Tema 5. Sucesiones de Variables Aleatorias

Tema 5. Sucesiones de Variables Aleatorias

1. CONCEPTO

En muchos problemas de procesado de señal o imagen, control digital y comunicaciones disponemos de datos muestreados en un determinado orden temporal; estos datos pueden modelarse como observaciones de una VA que va cambiando de distribución a lo largo del tiempo. En otras ocasiones no dispondremos de muestras, sino de los valores verdaderos de la variable en distintos instantes de tiempo (piénsese, por ejemplo, en el valor de un registro en un ordenador, o en algo tan simple como el lanzamiento repetido de una moneda). Estos problemas se solucionan utilizando un modelo probabilístico más general que el estudiado hasta ahora: las secuencias aleatorias. En este tema estudiaremos el concepto y las principales propiedades de estos modelos. Como veremos las secuencias estocásticas se pueden pensar como un vector aleatorio infinito-dimensional. Si la dimensión del vector es numerable hablaremos de procesos en tiempo discreto y en otro caso hablaremos de procesos en tiempo continuo, que serán tratados en el próximo tema.

Formalmente, diremos que una sucesión de VA o proceso estocástico en tiempo discreto es una familia numerable de variables aleatorias {X₁, …, X_n, …} tal que cualquier subfamilia finita de ella es una VA n-dimensional. La representaremos por:

Xn _n=1 ∞

o X[n]_n=1∞

Para un valor concreto de cada VA tendremos una sucesión de números reales llamada realización o trayectoria del proceso.

En muchas ocasiones es interesante estudiar las propiedades asintóticas de las secuencias aleatorias, propiedades que, inevitablemente vendrán ligadas a conceptos como límite o convergencia. Al trabajar con variables aleatorias, tendremos que definir una “medida” de convergencia para las sucesiones. A continuación definimos los criterios de convergencia más utilizados habitualmente:

Convergencia puntual: Es la convergencia de una trayectoria pensada como una sucesión de números reales. Se utiliza poco, pues nada nos asegura que el límite sea una VA.

Convergencia en probabilidad o débil:

X_nP→X ⇔lim_n→∞P{ω/ |X_n(ω)-X(ω)| <

ε

ε

X_ncs→X ⇔P{ω/ lim_n→∞X_n(ω) = X(ω)} = 1

Convergencia en distribución:

X_nD→X ⇔lim_n→∞F_n(x) = F(x) para todo punto de continuidad de F Convergencia en media cuadrática:

X_nmc→X ⇔lim_n→∞E{ |X_n-X| 2_{} = 0}

Los distintos tipos de convergencia están relacionados entre ellos: Las convergencias casi segura y en media cuadrática implican convergencia en probabilidad, mientras que ésta implica convergencia en distribución. El siguiente esquema ilustra la situación en un espacio de sucesiones de VA.

D

cs

mc

P

2. LEYES DE LOS GRANDES NÚMEROS

En muchas situaciones nos interesará estudiar el límite de alguna función de la sucesión tal como la suma o el promedio. En los temas anteriores hemos visto algunas propiedades de la suma finita de variables aleatorias:

- La esperanza de la suma es la suma de las esperanzas

- Si las variables son incorreladas, la varianza de la suma es la suma de las varianzas

- Si las variables son independientes, la fdp de la suma es el producto de convolución de las fdp (caso continuo) y la función característica de la suma es el producto de las funciones características.

A continuación enunciaremos algunos resultados relativos a la convergencia de promedios de variables aleatorias: las leyes de los grandes números.

Leyes débiles de los grandes números Teorema de Markov :

Sea {X_n} una sucesión de VA tales que todas las VA tengan esperanza y varianza finita, sean incorreladas dos a dos y verifique la condición:

1 n2 Var(Xk) → n→∞ 0

∑

∑

∑

idénticamente distribuidas, es decir, todas tienen la misma distribución con los mismos parámetros, por lo que tienen la misma media y varianza; en este caso el teorema de Markov nos diría que el promedio de las VA converge a la media de la distribución.

Leyes fuertes de los grandes números

Teorema: Dada una sucesión de VA mutuamente independientes, idénticamente distribuidas y con esperanza finita µ, entonces el promedio de VA converge casi seguro a la media de la distribución.

1 n

∑

Esta es una versión del teorema de Markov con hipótesis más duras, pero también se obtiene una convergencia fuerte.

Obs: La importancia práctica de las leyes de los grandes números radica en que nos garantiza que promediando una cantidad suficientemente grande de valores observados de una V.A. obtenemos una buena estimación de la media.

Como corolario de las leyes de los grandes números se puede concluir el conocido como teorema de Bernoulli que nos dice lo siguiente:

Dado un espacio de probabilidad (Ω,

F

F

La demostración es muy sencilla. Planteemos la repetición sucesiva e independientemente del experimento y en la realización n-ésima definimos la VA X_nque toma valor 1 si ocurre el suceso A y valor 0 en otro caso. Evidentemente:

P(X_n = 1) = p; P(X_n = 0) = 1-p; E{X_n} = p y las VA X_n son independientes e idénticamente distribuidas. Por las leyes de los grandes números:

1 1 n_k Xk p n c s =

∑

Dado que el promedio de las VA coincide con la frecuencia relativa del suceso A, se verifica el teorema.

Con este resultado cerramos un camino que habíamos iniciado en el primer tema, cuando hablábamos de las posibles definiciones de probabilidad. En aquel momento dimos una definición frecuencial, pero optamos por utilizar una definición axiomática. A lo largo de los temas anteriores hemos ido realizando distintas interpretaciones frecuenciales de diferentes conceptos. Gracias al teorema de Bernoulli, vemos que las dos definiciones coinciden, por lo que todas las interpretaciones que hemos hecho dejan de ser simplemente un punto de vista complementario para pasar a ser una realidad.

3. EL TEOREMA CENTRAL DEL LÍMITE

Sentémonos delante de un ordenador y procedamos a obtener valores como suma de números generados aleatoriamente de acuerdo a una ley uniforme. Si representamos gráficamente en un histograma una cantidad suficientemente grande de los valores obtenidos, observaremos que el histograma se parece a una campana de Gauss. Si en lugar de partir de una distribución uniforme lo hacemos desde una exponencial, una Rayleigh, una Cauchy o cualquier otra distribución observaremos que el resultado es el mismo. Ello es debido al teorema central del límite.

El gran uso que la distribución normal tiene en la ciencia y en la ingeniería es debido, en parte, al hecho de que el error de medida o el ruido en sistemas de comunicación son debidos, a menudo, a la suma de muchos términos aleatorios, independientes entre sí, con poca importancia si consideramos cada uno de ellos por separado, pero que sumados producen una desviación apreciable sobre la medida o la señal. En estas condiciones la distribución resultante de la suma de todos estos términos se aproxima a una distribución normal. La bondad de esta aproximación depende de distintos elementos, como el tipo de distribución de los sumandos y su número. En general, la aproximación es mejor en torno a la media de la distribución, de ahí la inclusión del término “central” en la denominación del teorema que describe este fenómeno.

Formalmente, el teorema central del límite (en una de sus múltiples versiones) nos dice que si tenemos una sucesión de VA continuas independientes e idénticamente distribuidas, con esperanza y varianza finitas, entonces su suma es asintóticamente normal; es decir:

Si X(n) = X1 +…+Xn, entonces

X(n) -E(X(n))

Var(X(n)) D→ N(0,1) o, llamando µy σ a la media y desviación típica de una cualquiera de las VA:

X(n) - nµ

n σ D→ N(0,1)

Existen distintas versiones de este teorema, por ejemplo la hipótesis de que las variables sean idénticamente distribuidas puede sustituirse por la de uniformemente acotadas (es decir, existe un valor que acota todos los posibles valores de todas las VA, ie. existe un número M/ |X_n| < M para todo valor de n).

El teorema central del límite puede pensarse como una propiedad de la convolución de funciones positivas.

Ejemplo: La suma de uniformes converge muy rápidamente a una normal (las distribuciones representadas han sido previamente estandarizadas).

-4 -2 0 2 4 0 0.1 0.2 0.3 0.4 TCL (uniforme) -4 -2 0 2 4 0 0.1 0.2 0.3 0.4 TCL (suma de 2 uniformes) -4 -2 0 2 4 0 0.1 0.2 0.3 TCL (suma de 4 uniformes) -4 -2 0 2 4 0 0.1 0.2 0.3 TCL (suma de 8 uniformes)

Ejemplo 5.1: Disponiendo de un generador uniforme de números aleatorios, ¿cómo simularías de modo eficiente una N(0,1)?

Existe una versión del teorema para variables discretas que puede enunciarse como sigue:

Si tenemos una sucesión de VA independientes; bajo las mismas hipótesis del caso continuo, si X= X₁+…+X_n, E(X) = µy Var(X) = σ2; para una valor de n suficientemente grande se verifica que:

P(X=k) ≠ 1 σ 2π e

- (k-µ) 2

2σ2

Es decir, f(x) tiende a una sucesión de impulsos cuya envolvente es una normal.

-10 -8 -6 -4 -2 0 2 4 6 8 10 0 0.05 0.1 0.15 0.2

Figura: Representación de una envolvente normal para una VA discreta

Si aplicamos esta versión del teorema a una sucesión de VA independientes con distribución de Bernoulli (cuya suma es exactamente una distribución binomial), tendremos el teorema de DeMoivre-Laplace que nos asegura que una distribución binomial X de parámetros n y p se puede aproximar, para valores de n suficientemente grandes, por una normal de media np y varianza np(1-p). Es decir:

P X k n k p p np p e k n k k np np p ( ) ( ) ( ) ( ) ( ) = =     − − ≈ − − − − 1 1 2 1 2 2 1 π

Este resultado es especialmente útil para calcular probabilidades acumuladas en una binomial cuando el parámetro n es suficientemente grande.

Ejemplo 5.2: A través de una línea telefónica se transmite una serie de 1000 bits (ceros o unos con igual probabilidad). Aproxima la probabilidad de que el número de unos no difiera de 500 en más de cuatro.

EJERCICIOS PROPUESTOS: TCL. Stark. Ejemplo 4.7.9. Pag. 217.

Promedio de VA. Stark. Problema 4.23. Pag 222. Problema 4.24. Pag 222

Teorema de DeMoivre-Laplace. Papoulis. 2ª Ed.: Ej. 8.12. Pag. 196. El mismo problema está en Papoulis 3ª Ed.: Ej. 8.16. Pag 216.

Nota: Las referencias indicadas para los problemas son válidas para la 2ª edición del Stark.

LECTURAS RECOMENDADAS:

Convergencia y teoremas límite. Papoulis. Sección 8.4 (3ª Ed.) o Secciones 8.4 y 8.5 (2ª Ed.) Distribución gaussiana y teorema central del límite. Li. Sección 3.5

INFORMACIÓN Y DOCUMENTACIÓN ADICIONAL:

La documentación de este tema se complementa con un boletín de problemas. En clases de laboratorio se realizará una práctica de ordenador (práctica #7). Esta práctica dispone de un enunciado que es recomendable leer antes de asistir al laboratorio. Todo el material de la asignatura está disponible en la fotocopiadora y en la dirección:

http://www.tsc.uvigo.es/Docencia/FichasAsignaturas/csa.php