Exercícios Classificação dos estados

$(X_n)_{n\geq 0}$ $S$ $P$ $\lambda$ $T_j$ $j$ $N_j$ $j$ $1$ . Alguns exercícios podem exigir a Propriedade Forte de Markov, deixe explícito quando usar essa propriedade.

$\{1,2,3,4\}$ com matriz de transição
$\begin{matrix} P = (\begin{matrix} 0 & p & 0 & 1 - p \\ 1 - p & 0 & p & 0 \\ 0 & 1 - p & 0 & p \\ p & 0 & 1 - p & 0 \end{matrix}), 0 \leq p \leq 1. \end{matrix}$
Classifique os os estados.
$S = \{1,2,3\}$ e matriz de transição
$\begin{matrix} P = [\begin{matrix} 0.7 & 0.2 & 0.1 \\ 0.3 & 0.5 & 0.2 \\ 0.2 & 0.4 & 0.4 \end{matrix}] \end{matrix}$
$3$ $\mathbb{P} (T_3 > n \mid X_0=3) \leq (0.9)^n \to 0$ $n \to \infty$ $3$ $\mathbb {E}[T_3\mid X_0=3] \leq 10$ .
$\mathbb{P}(T_j \leq k \mid X_0=i) \geq \alpha > 0,$ $i \in S$ .
Prove que
$P (T_{j} > n k ∣ X_{0} = i) \leq (1 - α)^{n} .$

$S = \{1,2,3,4\}$ e matriz de transição
$\begin{matrix} P = [\begin{matrix} 0 & 1 & 0 & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} & 0 \\ 0 & 0 & 0 & 1 \\ 0 & \frac{1}{2} & 0 & \frac{1}{2} \end{matrix}] . \end{matrix}$
$i \in S$ , se ele é transiente, recorrente não absorvente ou absorvente. (4.2) Identifique as classes de comunicação da cadeia. Quais classes são fechadas? (4.3) Calcule o período de cada estado (período é assunto da semana que vem).
O $k$ $j$ é:
$\begin{matrix} T_{j}^{(k)} = {\begin{cases} T_{j}, & se k = 1 \\ min {n > T_{j}^{(k - 1)} : X_{n} = j} & se k > 1. \end{cases} \end{matrix}$
ciclos da cadeia $j$ $j$ por
$\begin{matrix} C_{j}^{(k)} := {\begin{cases} T_{j}^{(k)} - T_{j}^{(k - 1)} & se T_{j}^{(k - 1)} < \infty \\ 0 & caso sontrário \end{cases} \end{matrix}$
$k\geq 2$ $T_j^{(k-1)}<\infty$ $C_j^{(k)}$ $\{X_m : m\leq T_j^{(k-1)}\}$ $T_j^{(k-1)}<\infty$ $[C_j^{(k)}=n]$ $\mathbb P(T_j=n\mid X_0=j)$ . (5.3) Use a Lei Forte dos Grandes Números para para mostrar que, com probabilidade 1 vale:
$lim_{k \to \infty} \frac{T_{j}^{(k)}}{k} = m_{j}$
$m_j$ é o tempo médio de recorrência.
$\mathbb E [ N_j \mid X_0=i] = \frac{f_{ij}}{1-f_{jj}}$ .
Problema do Colecionador de Cupons $n$ cupons diferentes e recebe todo dia um cupom aleatório pelo correio, quanto tempo precisa esperar? Dica:
$T^{(i)}$ $i$ $T^{(1)}= 0 < T^{(2)} = 1 < T^{(3)} < \dots < T^{(n)}.$ $\mathbb E (T^{(n+1)} - T^{(n)})$ .
$1/4$ $1/4$ $v$ $w$ $v$ . Calcule: primeiro retorno $v$ , primeira visita $w$ , $w$ $v$ .
O objetivo deste exercício é deduzir equação de renovação:
$p_{i j}^{(n)} = \sum_{k = 1}^{n} f_{i j}^{(k)} p_{j j}^{(n - k)} .$
(9.1) Mostre que
$[X_{n} = j] = ⋃_{k = 1}^{n} [T_{j} = k, X_{n} = j],$
e que a união é disjunta. Use a decomposição anterior para escrever
$P (X_{n} = j ∣ X_{0} = i) = \sum_{k = 1}^{n} P (T_{j} = k, X_{n} = j ∣ X_{0} = i) .$
$j$ $k$ . Mostre que
$P (X_{n} = j ∣ T_{j} = k, X_{k} = j, X_{0} = j) = P (X_{n - k} = j ∣ X_{0} = j) = p_{j j}^{(n - k)} .$
$k$ $j$ ). (9.3) Separando os fatores. Conclua que
$P (T_{j} = k, X_{n} = j ∣ X_{0} = i) = P (T_{j} = k ∣ X_{0} = i) P (X_{n - k} = j ∣ X_{0} = j) = f_{i j}^{(k)} p_{j j}^{(n - k)} .$
(9.4) Substitua na soma do item (1) e obtenha
$p_{i j}^{(n)} = \sum_{k = 1}^{n} f_{i j}^{(k)} p_{j j}^{(n - k)} .$
$i=j$ , a equação se reduz a
$p_{i i}^{(n)} = f_{i i}^{(n)} + \sum_{k = 1}^{n - 1} f_{i i}^{(k)} p_{i i}^{(n - k)},$
que é a forma clássica da equação de renovação para retornos ao mesmo estado.
$(X_n)_{n \ge 0}$ $J$ $J$ $(Y_m)_{m \ge 0}$ pode ser obtido formalmente definindo
$Y_{m} := X_{τ_{m}},$
$\tau_m$ $m$ $J$
$τ_{0} := min {n > 0 : X_{n} \in J} e τ_{m + 1} := min {n > τ_{m} : X_{n} \in J} .$
$m = 1, 2, \dots$ $\mathbb{P}(\tau_m < \infty\mid X_0) = 1$ $m$ $i_0, \dots, i_{m+1} \in J$ ,
$P (Y_{m + 1} = i_{m + 1} ∣ Y_{0} = i_{0}, \dots, Y_{m} = i_{m}) = P (X_{τ_{1}} = i_{m + 1} ∣ X_{τ_{0}} = i_{m}) = a_{i_{m} i_{m + 1}}$
$a_{ij} = p_{ik} + \sum_{k\not\in J}p_{ik}a_{kj}$ $(Y_m)$ $(a_{ij})$ $J$ .