Distribución normal multivariante

Modelo:Outros homónimos Modelo:Modelo de distribución de probabilidade En probabilidade e estatística, unha distribución normal multivariante, tamén chamada distribución gaussiana multivariante, é unha xeneralización da distribución normal unidimensional a dimensións superiores.

Caso xeral

Un vector aleatorio $X=[X_1,\dots ,X_n{]}^T$ segue unha distribución normal multivariante se satisfai as seguintes condicións equivalentes:

• Toda combinación linear $Y=a_1{X}_1+\cdots +a_n{X}_n$ está normalmente distribuída.
• Hai un vector aleatorio $Z=[Z_1,\dots ,Z_m{]}^T$, con compoñentes que son variables aleatorias independentes distribuídas segundo a normal estándar, un vector $\mu =[{\mu }_1,\dots ,{\mu }_n{]}^T$ e unha matriz $n\times m$ $A$ tal que $X=AZ+\mu$.
• Hai un vector $\mu$ e unha matriz semidefinida positiva simétrica $\mathrm{\Sigma }$ tal que a función característica de X es

Modelo:Ecuación Se $\mathrm{\Sigma }$ é unha matriz non singular, entón a distribución pode describirse pola seguinte función de densidade: Modelo:Ecuación onde $\left|\mathrm{\Sigma }\right|$ é o determinante de $\mathrm{\Sigma }$. A ecuación redúcese á distribución normal se $\mathrm{\Sigma }$ é un escalar (é dicir, unha matriz 1x1).

O vector μ nestas circunstancias é a esperanza de X e a matriz $\mathrm{\Sigma }=A{A}^T$ é a matriz de covarianza das compoñentes X_i.

É importante comprender que a matriz de covarianza pode ser singular (aínda que non estea así descrita pola fórmula de arriba, para a que ${\mathrm{\Sigma }}^{-1}$ está definida).

Este caso aparece con frecuencia en estatística; por exemplo, na distribución do vector de residuos en problemas ordinarios de regresión linear. Ademais, os X_i son en xeral non independentes; poden verse como o resultado de aplicar a transformación linear A a unha colección de variables normais Z.

Esta distribución dun vector aleatorio X que segue unha distribución normal multivariante pode ser descrita coa seguinte notación: Modelo:Ecuación ou facer explícito que X é n-dimensional, Modelo:Ecuación

Función de distribución

A función de distribución $F(x)$ defínese como a probabilidade de que todos os valores dun vector aleatorio $X$ sexan menores ou iguais que os valores correspondentes dun vector $x$. Aínda que F non teña unha fórmula, hai unha serie de algoritmos que permiten estimala numericamente.

Contraexemplo

O feito de que dúas variables aleatorias X e Y sigan unha distribución normal, cada unha, non implica que o par (X, Y) siga unha distribución normal conxunta. Un exemplo simple dáse con X Normal(0,1), Y = X se |X| > 1 e Y = −X se |X| < 1. isto tamén é certo para máis de dúas variables aleatorias.

Normalmente distribuídas e independencia

Se X e Y están normalmente distribuídas e son independentes, a súa distribución conxunta tamén está normalmente distribuída, é dicir, o par (X, Y) debe ter unha distribución normal bivariante. En calquera caso, un par de variables aleatorias normalmente distribuídas non teñen por que ser independentes ao seren consideradas de forma conxunta.

Caso bivariante

No caso particular de dúas dimensións, a función de densidade (con media (0, 0)) é

$f(x,y)=\frac{1}{2\pi {\sigma }_x{\sigma }_y\sqrt{1-{\rho }^2}}\exp (-\frac{1}{2(1-{\rho }^2)}(\frac{x^2}{{\sigma }_x^2}+\frac{y^2}{{\sigma }_y^2}-\frac{2\rho xy}{({\sigma }_x{\sigma }_y)}))$

onde $\rho$ é o coeficiente de correlación entre $X$ e $Y$. Neste caso,

$\mathrm{\Sigma }=\left[\begin{array}{cc}{\sigma }_x^2& \rho {\sigma }_x{\sigma }_y\\ \rho {\sigma }_x{\sigma }_y& {\sigma }_y^2\end{array}\right].$

Transformación afín

Se $Y=c+BX$ é unha transformación afín de $X\sim 𝒩(\mu ,\mathrm{\Sigma }),$ onde $c$ é un vector de constantes $M\times 1$ e $B$ unha matriz $M\times N$, entón $Y$ ten unha distribución normal multivariante con esperanza $c+B\mu$ e varianza $B\mathrm{\Sigma }{B}^T$ é dicir, $Y\sim 𝒩(c+B\mu ,B\mathrm{\Sigma }{B}^T)$. En particular, calquera subconxunto dos $X_i$ ten unha distribución marxinal que é tamén unha normal multivariante.

Para ver isto, pode considerarse o seguinte exemplo: para extraer o subconxunto $(X_1,X_2,X_4{)}^T$, emprégase

$B=\left[\begin{array}{ccccccc}1& 0& 0& 0& 0& \dots & 0\\ 0& 1& 0& 0& 0& \dots & 0\\ 0& 0& 0& 1& 0& \dots & 0\end{array}\right]$

o que extrae directamente os elementos desexados.

Outro corolario sería que a distribución de $Z=b\cdot X$, onde $b$ é un vector da mesma lonxitude que $X$ e o punto indica un produto vectorial, é unha distribución gaussiana unidimensional con $Z\sim 𝒩(b\cdot \mu ,b^T\mathrm{\Sigma }b)$. Este resultado obtense empregando

$B=\left[\begin{array}{cccc}{b}_1& b_2& \dots & b_n\\ 0& 0& \dots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \dots & 0\end{array}\right]$

e considerando só a primeira compoñente do produto (a primeira fila de $B$ é o vector $b$). A definición positiva de $\mathrm{\Sigma }$ implica que a varianza do produto vectorial debería ser positiva.

Interpretación xeométrica

As curvas de equidensidade dunha distribución normal multivariante son elipsoides (é dicir, transformacións lineares de hiperesferas) centrados na media. as direccións dos eixes principais dos elipsoides veñen dadas polos vectores propios da matriz de covarianza $\mathrm{\Sigma }$. As lonxitudes relativas dos cadrados dos eixes principais veñen dadas polos correspondentes vectores propios.

Se $\mathrm{\Sigma }=U\mathrm{\Lambda }{U}^T=U{\mathrm{\Lambda }}^{1/2}(U{\mathrm{\Lambda }}^{1/2}{)}^T$ é unha descomposición espectral onde as columnas de U son vectores propios unitarios e $\mathrm{\Lambda }$ é unha matriz diagonal de valores propios, entón temos

$X\sim N(\mu ,\mathrm{\Sigma })⟺X\sim \mu +U{\mathrm{\Lambda }}^{1/2}N(0,I)⟺X\sim \mu +UN(0,\mathrm{\Lambda }).$

Ademais, U pode escollerse de tal modo que sexa unha matriz de rotación, tal que invertendo un eixe non teña ningún efecto en $N(0,\mathrm{\Lambda })$, pero invertendo unha columna, cambie o signo do determinante de U'. A distribución $N(\mu ,\mathrm{\Sigma })$ é en efecto $N(0,I)$ escalada por ${\mathrm{\Lambda }}^{1/2}$, rotada por U e trasladada por $\mu$.

Reciprocamente, calquera escolla de $\mu$, matriz de rango completo U, e valores diagonais positivos ${\mathrm{\Lambda }}_i$ cede o paso a unha distribución normal non singular multivariante. Se calquera ${\mathrm{\Lambda }}_i$ é cero e U é cadrada, a matriz de covarianza $U\mathrm{\Lambda }{U}^T$ é singular. Xeometricamente isto significa que cada curva elipsoide é infinitamente delgada e ten volume cero nun espazo n-dimensional, así como, polo menos, un dos principais eixes ten lonxitude cero.

Correlacións e independencia

En xeral, as variables aleatorias poden ser incorreladas, pero altamente dependentes, mais se un vector aleatorio ten unha distribución normal multivariante, entón calquera dúas ou máis das súas compoñentes que sexan incorreladas, son independentes.

Porén, non é certo que dúas variables aleatorias que están (separadamente, marxinalmente) normalmente distribuídas e incorreladas sexan independentes. Dúas variables aleatorias que están normalmente distribuídas poden que non o estean conxuntamente.

Momentos máis altos

O momento estándar de k-ésima orde de X defínese como

${\mu }_{1,\dots ,N}(X)\stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}{\mu }_{r_1,\dots ,r_N}(X)\stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}E\left[\prod _{j=1}^N{X}_j^{r_j}\right]$

onde $r_1+r_2+\cdots +r_N=k.$

Os momentos centrais de orde k veñen dados como segue:

(a) Se k é impar, ${\mu }_{1,\dots ,N}(X-\mu )=0$.

(b) Se k é par, con $k=2\lambda$, entón

${\mu }_{1,\dots ,2\lambda }(X-\mu )=\sum ({\sigma }_{ij}{\sigma }_{k\ell }\cdots {\sigma }_{XZ})$

onda a suma se toma sobre todas as disposicións de conxuntos $\{1,\dots ,2\lambda \}$ en $\lambda$ pares (non ordenados). É dicir, se se ten un k-ésimo ($=2\lambda =6$) momento central, estaranse a sumar os produtos de $\lambda =3$ covarianzas (a notación -$\mu$ suprimiuse para facilitar a lectura):

$\begin{array}{cc}& E[X_1{X}_2{X}_3{X}_4{X}_5{X}_6]\\ & =E[X_1{X}_2]E[X_3{X}_4]E[X_5{X}_6]+E[X_1{X}_2]E[X_3{X}_5]E[X_4{X}_6]+E[X_1{X}_2]E[X_3{X}_6]E[X_4{X}_5]\\ & +E[X_1{X}_3]E[X_2{X}_4]E[X_5{X}_6]+E[X_1{X}_3]E[X_2{X}_5]E[X_4{X}_6]+E[X_1{X}_3]E[X_2{X}_6]E[X_4{X}_5]\\ & +E[X_1{X}_4]E[X_2{X}_3]E[X_5{X}_6]+E[X_1{X}_4]E[X_2{X}_5]E[X_3{X}_6]+E[X_1{X}_4]E[X_2{X}_6]E[X_3{X}_5]\\ & +E[X_1{X}_5]E[X_2{X}_3]E[X_4{X}_6]+E[X_1{X}_5]E[X_2{X}_4]E[X_3{X}_6]+E[X_1{X}_5]E[X_2{X}_6]E[X_3{X}_4]\\ & +E[X_1{X}_6]E[X_2{X}_3]E[X_4{X}_5]+E[X_1{X}_6]E[X_2{X}_4]E[X_3{X}_5]+E[X_1{X}_6]E[X_2{X}_5]E[X_3{X}_4].\end{array}$

Isto dá lugar a $(2\lambda -1)!/(2^{\lambda -1}(\lambda -1)!)$ termos na suma (15 no caso superior), nos que cada un é o produto de $\lambda$ (3 neste caso) covarianzas. Para momentos de orde cuarta (catro variables) hai tres termos. Para momentos de orde sexta hai 3 × 5 = 15 termos, e para momentos de orde oitava hai 3 × 5 × 7 = 105 termos.

As covarianzas son entón determinadas mediante a substitución dos termos da lista $[1,\dots ,2\lambda ]$ polos termos correspondentes da lista que consiste en $r_1$ uns, logo $r_2$ douses etc... Para ilustrar isto, pode examinarse o seguinte caso de momento central de orde cuarta:

$E\left[X_i^4\right]=3{\sigma }_{ii}^2$

$E\left[X_i^3{X}_j\right]=3{\sigma }_{ii}{\sigma }_{ij}$

$E\left[X_i^2{X}_j^2\right]={\sigma }_{ii}{\sigma }_{jj}+2{\left({\sigma }_{ij}\right)}^2$

$E\left[X_i^2{X}_j{X}_k\right]={\sigma }_{ii}{\sigma }_{jk}+2{\sigma }_{ij}{\sigma }_{ik}$

$E\left[X_i{X}_j{X}_k{X}_n\right]={\sigma }_{ij}{\sigma }_{kn}+{\sigma }_{ik}{\sigma }_{jn}+{\sigma }_{in}{\sigma }_{jk}.$

onde ${\sigma }_{ij}$ é a covarianza de $X_i$ e $X_j$. A idea do método descrito é que primeiro se atopa o caso xeral para o momento $k$-ésimo, onde se teñen $k$ diferentes variables $X$ - $E\left[X_i{X}_j{X}_k{X}_n\right]$ e entón pódense simplificar apropiadamente. Se se ten $E\left[X_i^2{X}_k{X}_n\right]$ entón, simplemente se considera $X_i=X_j$ e dedúcese que ${\sigma }_{ii}={\sigma }_i^2$.

Distribucións condicionais

Se $\mu$ y $\mathrm{\Sigma }$ se dividen como segue:

$\mu =\left[\begin{array}{c}{\mu }_1\\ {\mu }_2\end{array}\right]$ con tamaños $\left[\begin{array}{c}q\times 1\\ (N-q)\times 1\end{array}\right]$

$\mathrm{\Sigma }=\left[\begin{array}{cc}{\mathrm{\Sigma }}_{11}& {\mathrm{\Sigma }}_{12}\\ {\mathrm{\Sigma }}_{21}& {\mathrm{\Sigma }}_{22}\end{array}\right]$ con tamaños $\left[\begin{array}{cc}q\times q& q\times (N-q)\\ (N-q)\times q& (N-q)\times (N-q)\end{array}\right]$

entón a distribución de $x_1$ condicionada a $x_2=a$ é unha normal multivariante $(X_1|X_2=a)\sim N(\overline{\mu },\bar{\mathrm{\Sigma }})$ onde

$\overline{\mu }={\mu }_1+{\mathrm{\Sigma }}_{12}{\mathrm{\Sigma }}_{22}^{-1}(a-{\mu }_2)$

e matriz de covarianza

$\bar{\mathrm{\Sigma }}={\mathrm{\Sigma }}_{11}-{\mathrm{\Sigma }}_{12}{\mathrm{\Sigma }}_{22}^{-1}{\mathrm{\Sigma }}_{21}.$

Esta matriz é o complemento de Schur de ${\mathrm{\Sigma }}_{22}$ en $\mathrm{\Sigma }$. Isto significa que para calcular a matriz condicional de covarianza se inverte a matriz global de covarianza, desprézanse as filas e as columnas correspondentes ás variables baixo as que está condicionada e entón invértese de novo para conseguir a matriz condicional de covarianza.

Sábese que $x_2=a$ altera a varianza, aínda que a nova varianza non dependa do valor específico de $a$; quizais resulta máis sorprendente que a media se cambia por ${\mathrm{\Sigma }}_{12}{\mathrm{\Sigma }}_{22}^{-1}(a-{\mu }_2)$; pode compararse isto coa situación na que non se coñece o valor de $a$, caso no que $x_1$ tería como distribución

$N_q({\mu }_1,{\mathrm{\Sigma }}_{11})$.

A matriz ${\mathrm{\Sigma }}_{12}{\mathrm{\Sigma }}_{22}^{-1}$ coñécese como a matriz de coeficientes de regresión.

Esperanza condicional bivariante

No caso

$\left(\begin{array}{c}{X}_1\\ X_2\end{array}\right)\sim 𝒩(\left(\begin{array}{c}0\\ 0\end{array}\right),\left(\begin{array}{cc}1& \rho \\ \rho & 1\end{array}\right))$

entón

$E(X_1|X_2>z)=\rho \frac{\varphi (z)}{\mathrm{\Phi }(-z)}$

onde esta última razón adoita chamarse razón inversa de Mills.

Matriz de información de Fisher

A matriz de información de Fisher (MIF) para unha distribución normal toma unha formulación especial. O elemento $(m,n)$ da MIF para $X\sim N(\mu (\theta ),\mathrm{\Sigma }(\theta ))$ é

${ℐ}_{m,n}=\frac{\partial \mu }{\partial {\theta }_m}{\mathrm{\Sigma }}^{-1}\frac{\partial {\mu }^{\mathrm{\top }}}{\partial {\theta }_n}+\frac{1}{2}\mathrm{t}\mathrm{r}\left({\mathrm{\Sigma }}^{-1}\frac{\partial \mathrm{\Sigma }}{\partial {\theta }_m}{\mathrm{\Sigma }}^{-1}\frac{\partial \mathrm{\Sigma }}{\partial {\theta }_n}\right)$

onde

• $\frac{\partial \mu }{\partial {\theta }_m}=\left[\begin{array}{ccccc}\frac{\partial {\mu }_1}{\partial {\theta }_m}& \frac{\partial {\mu }_2}{\partial {\theta }_m}& \cdots & \frac{\partial {\mu }_N}{\partial {\theta }_m}& \end{array}\right]$
• $\frac{\partial {\mu }^{\mathrm{\top }}}{\partial {\theta }_m}={\left(\frac{\partial \mu }{\partial {\theta }_m}\right)}^{\mathrm{\top }}=\left[\begin{array}{c}\frac{\partial {\mu }_1}{\partial {\theta }_m}\\ \\ \frac{\partial {\mu }_2}{\partial {\theta }_m}\\ \\ ⋮\\ \\ \frac{\partial {\mu }_N}{\partial {\theta }_m}\\ \end{array}\right]$
• $\frac{\partial \mathrm{\Sigma }}{\partial {\theta }_m}=\left[\begin{array}{cccc}\frac{\partial {\mathrm{\Sigma }}_{1,1}}{\partial {\theta }_m}& \frac{\partial {\mathrm{\Sigma }}_{1,2}}{\partial {\theta }_m}& \cdots & \frac{\partial {\mathrm{\Sigma }}_{1,N}}{\partial {\theta }_m}\\ \\ \frac{\partial {\mathrm{\Sigma }}_{2,1}}{\partial {\theta }_m}& \frac{\partial {\mathrm{\Sigma }}_{2,2}}{\partial {\theta }_m}& \cdots & \frac{\partial {\mathrm{\Sigma }}_{2,N}}{\partial {\theta }_m}\\ \\ ⋮& ⋮& \ddots & ⋮\\ \\ \frac{\partial {\mathrm{\Sigma }}_{N,1}}{\partial {\theta }_m}& \frac{\partial {\mathrm{\Sigma }}_{N,2}}{\partial {\theta }_m}& \cdots & \frac{\partial {\mathrm{\Sigma }}_{N,N}}{\partial {\theta }_m}\end{array}\right]$
• $\mathrm{t}\mathrm{r}$ é a función traza dunha matriz.

Diverxencia de Kullback-Leibler

A diverxencia de Kullback-Leibler de $N{0}_N({\mu }_0,{\mathrm{\Sigma }}_0)$ a $N{1}_N({\mu }_1,{\mathrm{\Sigma }}_1)$ é:

$D_{\text{KL}}(N0\Vert N1)=\frac{1}{2}({\log }_e\left(\frac{\det {\mathrm{\Sigma }}_1}{\det {\mathrm{\Sigma }}_0}\right)+\mathrm{t}\mathrm{r}\left({\mathrm{\Sigma }}_1^{-1}{\mathrm{\Sigma }}_0\right)+{({\mu }_1-{\mu }_0)}^{\mathrm{\top }}{\mathrm{\Sigma }}_1^{-1}({\mu }_1-{\mu }_0)-N).$

O logaritmo debe tomarse con base e nos dous termos (logaritmos neperianos); seguindo o logaritmo están os logaritmos neperianos das expresións que son ambos os factores da función de densidade ou se non, xorden naturalmente. A diverxencia de arriba mídese en nats. Dividindo a expresión de arriba por log_e 2 dáse paso a a diverxencia en bits.

Estimación de parámetros

A función de densidade de probabilidade dunha normal multivariante N-dimensional é

$f(x)=(2\pi {)}^{-N/2}\det (\mathrm{\Sigma }{)}^{-1/2}\exp (-\frac{1}{2}(x-\mu {)}^T{\mathrm{\Sigma }}^{-1}(x-\mu ))$

e o estimador de máxima verosimilitude da matriz de covarianza para unha mostra de n observacións é

$\hat{\mathrm{\Sigma }}=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X})(X_i-\bar{X}{)}^T$

o que é, simplemente, a matriz da mostra de covarianza. Este é un estimador con nesgo que ten como esperanza

$E[\hat{\mathrm{\Sigma }}]=\frac{n-1}{n}\mathrm{\Sigma }.$

Unha covarianza da mostra sen nesgo é

$\hat{\mathrm{\Sigma }}=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X})(X_i-\bar{X}{)}^T.$

Entropía

A entropía diferencial da distribución normal multivariante é

$\begin{array}{cc}h\left(f\right)& =-\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}\cdots \underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}f(x)\ln f(x)dx\\ & =\frac{1}{2}(N+N\ln \left(2\pi \right)+\ln \left|\mathrm{\Sigma }\right|)\\ & =\frac{1}{2}\ln \{(2\pi e{)}^N\left|\mathrm{\Sigma }\right|\}\end{array}$

onde $\left|\mathrm{\Sigma }\right|$ é o determinante da matriz de covarianza $\mathrm{\Sigma }$.

Tests de normalidade multivariante

Os tests de normalidade multivariante comproban a similitude dun conxunto dado de datos coa distribución normal multivariante. A hipótese nula é que o conxunto de datos é similar á distribución normal e polo tanto un p-valor suficientemente pequeno indica datos non normais. Os tests de normalidade multivariante inclúen o test de Cox-Small e a adaptación de Smith y Jain do test de Friedman-Rafsky.

Simulando valores da distribución

Un método amplamente empregado para simular un vector aleatorio $X$ da distribución normal multivariada $N$-dimensional con vector de medias $\mu$ e matriz de covarianza $\mathrm{\Sigma }$ (requirida para que sexa simétrica e definida positiva) funciona como segue:

1. Calcúlase a descomposición de Cholesky de $\mathrm{\Sigma }$, é dicir, atópase a única matriz triangular inferior $A$ tal que $A{A}^T=\mathrm{\Sigma }$. Podería empregarse calquera outra matriz $A$ que satisfaga esta condición, ou sexa, que é un a raíz cadrada de $\mathrm{\Sigma }$, mais habitualmente atopar esa matriz, distinta da da descomposición de Cholesky, sería bastante máis custoso en termos de computación.
2. Sexa $Z=(z_1,\dots ,z_N{)}^T$ un vector con compoñentes $N$ normais e independentes que varían e que pode xerarse, por exemplo, empregando o método de Box-Muller.
3. Sexa $X=$ $\mu +AZ.$