Exercícios de Cadeias de Markov

1. Uma urna contém duas bolas, duas bolas pretas. Em cada passo uma bola é escolhida ao acaso e trocada por outra bola que é da mesma cor com probabilidade $0,8$$0{,}8$ de de outra cor com probabilidade $0,2$$0{,}2$. Só há bolas pretas e brancas. Com que probabilidade a quinta bola escolhida é preta? Você deve usar cadeia de Markov para formular e resolver o problema.

    

2. Uma loja de eletrônicos vende um videogame e adota uma política de controle de estoque do tipo $(s,S)$$(s, S)$. Essa política funciona da seguinte forma: se, ao final de um dia, o estoque disponível é menor ou igual a $s$$s$, a loja realiza um pedido para que o estoque no início do dia seguinte seja reposto para $S$$S$ unidades.

   Seja $X_n$$X_n$ o número de unidades em estoque ao final do dia $n$$n$, e $D_{n+1}$$D_{n+1}$ a demanda no dia $n+1$$n+1$. O estoque evolui segundo a regra:

   $$\begin{array}{c}{X}_{n+1}=\{\begin{array}{ll}(X_n-D_{n+1}{)}^{+},& \text{se }{X}_n>s,\\ (S-D_{n+1}{)}^{+},& \text{se }{X}_n\le s,\end{array}\end{array}$$

   onde $x^{+}=max\{x,0\}$$x^+ = \max\{x,0\}$.

   Suponha que a loja adote a política $(s,S)=(1,5)$$(s,S) = (1,5)$, isto é, sempre que o estoque ao final do dia for $0$$0$ ou $1$$1$, ele é reposto para $5$$5$ no início do dia seguinte. A demanda diária $D_{n+1}$$D_{n+1}$ é uma variável aleatória com a seguinte distribuição de probabilidades:

   $$\mathbb{P}(D_{n+1}=0)=0.3,\mathbb{P}(D_{n+1}=1)=0.4,\mathbb{P}(D_{n+1}=2)=0.2,\mathbb{P}(D_{n+1}=3)=0.1.$$

   (2.1) Modele o processo $(X_n{)}_{n\ge 0}$$(X_n)_{n \geq 0}$ como uma cadeia de Markov, identificando o espaço de estados. (2.2) Construa a matriz de transição $P$$P$ correspondente. (2.3) Interprete o significado das transições: por exemplo, explique o que acontece quando $X_n=2$$X_n = 2$ e a demanda é $D_{n+1}=3$$D_{n+1} = 3$. (2.4) Assuma que o precesso tenha uma distribuição estacionária π=[0.09 0.15 0.23 0.21 0.20 0.12]. Calcule, no longo prazo, a esperança do estoque ao final do dia. (2.5) Suponha que a loja tenha um lucro de R$12 por unidade vendida, mas um custo de R$2 por dia por unidade em estoque. Qual o lucro médio de longo prazo por dia dessa política de estoque?

    

3. Verifique que a condição de Markov é equivalente a (1) e (2) abaixo: (1) $\mathbb{P}(X_{n+1}=j\mid X_{n_1}=i_{n_1},X_{n_2}=i_{n_2},\dots ,X_{n_k}=i_{n_k})=\mathbb{P}(X_{n+1}=j\mid X_{n_k}=i_{n_k})$$\mathbb P (X_{n+1} = j \mid X_{n_1}=i_{n_1},X_{n_2}=i_{n_2},\dots,X_{n_k}=i_{n_k}) = \mathbb P(X_{n+1} = j \mid X_{n_k}=i_{n_k})$ para $n_1<n_2<\cdots <n_k\le n$$n_1<n_2<\cdots<n_k\leq n$. (2) $\mathbb{P}(X_{m+n}=j\mid X_0=i_0,X_1=i_1,\dots ,X_m=i_m)=\mathbb{P}(X_{m+n}=j\mid X_m=i_m)$$\mathbb P (X_{m+n} = j \mid X_{0}=i_{0},X_{1}=i_{1},\dots,X_{m}=i_{m}) = \mathbb P(X_{m+n} = j \mid X_{m}=i_{m})$ para $n,m\ge 0$$n,m\geq0$.

    

4. No jogo das apostas da lista de revisão, suponha as jogadas CCC (cara-cara-cara) contra KCC (coroa-cara-cara). Faça um modelo markoviano para esse jogo, isto é, descreva um conjunto de estados, as probabilidades de transição e distribuição inicial.

5. (Ruína) Um jogador participa de um jogo em que, a cada rodada, ganha ou perde 1 dinheiro conforme o resultado de uma aposta simples; o jogador ganha $1 com probabilidade $p$$p$ ou o jogador perde $1 com probabilidade $q=1-p$$q = 1 - p$. O jogo termina se a fortuna do jogador atingir $0 (ruína) ou $N (meta). O jogador começa com uma fortuna inicial de $x, onde $0<x<N$$0 < x < N$. Represente a fortuna do jogador ao longo do tempo por um processo estocástico $\{X_n:n\ge 0\}$$\{X_n : n \ge 0\}$.