Introducción a la probabilidad y estadística (2001) Práctico 13

1. Consideremos una cadena de Markov con matriz de transición P = [ \begin{matrix}p & 1 − p \\ 1 − r & r \end{matrix} ] donde

0 < p < 1, 0 < r < 1. Calcular P^{n} y lim_{n→∞} P^{n}. Sugerencia: Observar que

[ \begin{matrix}1 & 0 \\ −1 & 1 \end{matrix} ] [ \begin{matrix}p & 1 − p \\ 1 − r & r \end{matrix} ] [ \begin{matrix}1 & 0 \\ 1 & 1 \end{matrix} ] = [ \begin{matrix}1 & 1 − p \\ 0 & p + r − 1 \end{matrix} ] , [ \begin{matrix}1 & 0 \\ −1 & 1 \end{matrix} ] [ \begin{matrix}1 & 0 \\ 1 & 1 \end{matrix} ] = [ \begin{matrix}1 & 0 \\ 0 & 1 \end{matrix} ]

y obtener P^{n} en función de las potencias de una matriz triangular.

2. Sea {Y_{n}}_{n≥1} una sucesión de variables aleatorias independientes con distribución común de Poisson con parámetro λ = 1. Sea X_{0} = 1, X_{n} = Y_{1} + … + Y_{n}. (a) Observar que X_{0}, X_{1}, … es una cadena de Markov homogénea y hallar su matriz de transición P. (b) Hallar P^{n} (Sugerencia: determinar la distribución de X_{n}). (c) Determinar estados esenciales y no esenciales. (d) Hallar el límite cuando n → ∞ de las probabilidades de transición p_{1,i}^{n}.

3. Se considera un paseo al azar simple X_{0}, X_{1}, … (es decir, Z es el espacio de estados, p_{i,i+1} = p, p_{i,i−1} = 1 − p, p_{ij} = 0 en otro caso), con \frac{1}{2} < p < 1. Sea r(i) = P_{i}(∃n: X_{n} = 0) es decir, la probabilidad de alcanzar 0 cuando la cadena parte de i ≥ 0. (a) Demostrar que r(i) = pr(i + 1) + (1 − p)r(i − 1). (b) Hallar los dos valores de α para que a_{i} = α^{i} sea solución de la ecuación en diferencias finitas de la parte (a), y escribir la solución general de dicha ecuación. (c) Determinar r(i) suponiendo que r(i) → 0 si i → ∞ y r(0) = 1.

4. Paseo al azar simple en Z^{2}. Consideremos una cadena de Markov con espacio de estados Z^{2}, definida mediante X_{0} = (0, 0), X_{n+1} − X_{n} = Y_{n+1}, donde Y_{1}, Y_{2}, … es una sucesión de variables aleatorias independientes, cada una de las cuales toma uno de los cuatro valores (±1, 0), (0, ±1) con probabilidad \frac{1}{4}. (a) Si Y_{n} = (A_{n}, B_{n}), demostrar que las variables aleatorias A_{n} + B_{n} y A_{n} − B_{n} son independientes, y determinar su distribución. (b) Observando que P(X_{2n} = 0) = P (A_{1} + … + A_{2n} = 0, B_{1} + …, B_{2n} = 0), calcular la probabilidad de retorno al origen en 2n pasos.

(c) Estudiar la recurrencia para la cadena.

5. Sea da la cadena de Markov con distribución inicial p = (\frac{4}{5}, \frac{1}{5}) y matriz de transición

P = [ \begin{matrix}5/6 & 1/6 \\ 2/3 & 1/3 \end{matrix} ]

Demostrar que la distribución en tiempo n, p^{n} cumple p^{n} = p.

6. Paseo al azar en un tetraedro. Consideremos una partícula que pasea por los vértices de un tetraedro eligiendo con equiprobabilidad a que vértice ir (i) entre los tres vértices accesibles desde el vértice en que se encuentra, (ii) entre los dos vértices accesibles para no volver al vértice en que se encontraba un paso antes. (a) Determinar en cual de los casos anteriores estamos en presencia de una cadena de Markov, determinar el conjunto de estados y la matriz de transición P. (b) Discutir periodicidad. (c) Verificar que el vector de distribución uniforme discreta u = (\frac{1}{n}, …, \frac{1}{n}) con n el número de estados, es invariante, es decir u = uP, y determinar el límite de las probabilidades para el paso n si partimos con la distribución uniforme (Comparar con el problema del turista desmemoriado del práctico 9).

7. Una matriz P con entradas no negativas se dice estocástica si la suma de los elementos de cada fila es la unidad. Una matriz P se dice doblemente estocástica si además de ser estocástica, la suma de los elementos de cada columna también es la unidad. Si se trata de una matriz finita n × n, sea u = (\frac{1}{n}, …, \frac{1}{n}) el vector de probabilidades uniformes. Verificar u = uP, y calcular el límite de las distribuciones de la cadena de Markov con matriz doblemente estocástica, cuando la distribución inicial es u.