Máxima verosimilitude

En estatística, a estimación por máxima verosimilitude ou máxima verosemellanza (coñecida tamén como EMV e, en ocasións, MLE polas súas siglas en inglés) é un método habitual para axustar un modelo e estimar os seus parámetros.

Historia

Ronald Fisher en 1913

O método foi recomendado, analizado e popularizado por R. A. Fisher entre 1912 e 1922, aínda que fora utilizado antes por Carl Friedrich Gauss, Pierre-Simon Laplace, Thorvald N. Thiele e Francis Edgeworth.

Fundamento

Supóñase que se ten unha mostra x₁, x₂, …, x_n de n observacións independentes e identicamente distribuídas extraídas dunha función de distribución descoñecida con función de densidade (ou función de probabilidade) f₀(·). Sábese, con todo, que f₀ pertence a unha familia de distribucións Modelo:Nowrap}, chamada modelo paramétrico, de maneira que f₀ corresponde a Modelo:Nowrap, que é o verdadeiro valor do parámetro. Deséxase atopar o valor $\hat{\theta }$ (ou estimador) que estea o máis próximo posible ao verdadeiro valor θ₀.

Tanto x_i como θ poden ser vectores.

A idea deste método é a de atopar primeiro a función de densidade conxunta de todas as observacións, que baixo condicións de independencia, é

$f(x_1,x_2,\dots ,x_n|\theta )=f(x_1|\theta )\cdot f(x_2|\theta )\cdots f(x_n|\theta )$

Observando esta función baixo un ángulo lixeiramente distinto, pódese supor que os valores observados x₁, x₂, …, x_n son fixos mentres que θ pode variar libremente. Esta é a función de verosimilitude:

$ℒ(\theta |x_1,\dots ,x_n)=\prod _{i=1}^{n}f(x_i|\theta ).$

Na práctica, adóitase utilizar o logaritmo desta función:

$\hat{\ell }(\theta |x_1,\dots ,x_n)=\ln ℒ=\sum _{i=1}^n\ln f(x_i|\theta ).$

O método da máxima verosimilitude estima θ₀ buscando o valor de θ que maximiza $\hat{\ell }(\theta |x)$. Este é o chamado estimador de máxima verosimilitude (MLE) de θ₀:

${\hat{\theta }}_{\mathrm{m}\mathrm{l}\mathrm{e}}=\underset{\theta \in \mathrm{\Theta }}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}\hat{\ell }(\theta |x_1,\dots ,x_n).$

En ocasións este estimador é unha función explícita dos datos observados x₁, …, x_n, pero moitas veces hai que recorrer a optimizacións numéricas. Tamén pode ocorrer que o máximo non sexa único ou non exista.

Na exposición anterior asumiuse a independencia das observacións, pero non é un requisito necesario: abonda con poder construír a función de probabilidade conxunta dos datos para poder aplicar o método. Un contexto no que isto é habitual é o da análise de series temporais.

Propiedades do estimador de máxima verosimilitude

En moitos casos, o estimador obtido por máxima verosimilitude posúe un conxunto de propiedades asintóticas atractivas:

• consistencia,
• normalidade asintótica,
• eficiencia,
• e mesmo eficiencia de segunda orde tras corrixir o nesgo.

Consistencia

Baixo certas condicións bastante habituais, o estimador de máxima verosimilitude é consistente: se o número de observacións n tende a infinito, o estimador $\hat{\theta }$ converxe en probabilidade ao seu valor verdadeiro:

${\hat{\theta }}_{\mathrm{m}\mathrm{l}\mathrm{e}}\stackrel{p}{\to }{\theta }_0.$

Baixo condicións algo máis fortes, a converxencia é case segura:

${\hat{\theta }}_{\mathrm{m}\mathrm{l}\mathrm{e}}\stackrel{a.s.}{\to }{\theta }_0.$

Normalidade asintótica

Se as condicións para a consistencia se cumpren e ademais

1. ${\theta }_0\in \mathrm{int}(\mathrm{\Theta })$ ;
2. $f(x|\theta )>0$e é dúas veces continuamente diferenciable respecto a $\theta$nalgunha veciñanza N de ${\theta }_0$;
3. $\int \underset{\theta \in \mathbb{N}}{\sup }\Vert {\mathrm{\nabla }}_{\theta }f(x|\theta )\Vert dx<\mathrm{\infty }$e$\int \underset{\theta \in \mathbb{N}}{\sup }\Vert {\mathrm{\nabla }}_{\theta \theta }f(x|\theta )\Vert dx<\mathrm{\infty }$
4. $I=𝔼[{\mathrm{\nabla }}_{\theta }\ln f(x|{\theta }_0){\mathrm{\nabla }}_{\theta }\ln f(x|{\theta }_0{)}^{\prime }]$ existe e non é singular;
5. $𝔼[\underset{\theta \in \mathbb{N}}{\sup }\Vert {\mathrm{\nabla }}_{\theta \theta }\ln f(x|\theta )\Vert ]<\mathrm{\infty }$,

entón o estimador de máxima verosimilitude ten unha distribución asintótica normal:

$\sqrt{n}({\hat{\theta }}_{\mathrm{m}\mathrm{l}\mathrm{e}}-{\theta }_0)\stackrel{d}{\to }𝒩(0,I^{-1}).$

Invariancia funcional

Se $\hat{\theta }$ é o EMV de θ e g(θ) é unha transformación de θ, entón o EMV de α = g(θ) é

$\hat{\alpha }=g(\hat{\theta }).$

Ademais, o EMV é invariante fronte a certas transformacións dos datos. En efecto, se $Y=g(X)$ e $g$ é unha aplicación bixectiva que non depende dos parámetros que se estiman, entón a función de densidade de Y é

$f_Y(y)=f_X(x)/|g^{\prime }(x)|$

É dicir, as funcións de densidade de X e Y difiren unicamente nun termo que non depende dos parámetros. Así, por exemplo, o EMV para os parámetros dunha distribución lognormal son os mesmos que os dunha distribución normal axustada sobre o logaritmo dos datos de entrada.

Outras propiedades

O EMV é √n-consistente e asintóticamente eficiente. En particular, isto significa que o nesgo é cero até a orde n^−1/2. Con todo, ao obter os termos de maior orde da expansión de Edgeworth da distribución do estimador, θ_emv ten un nesgo de orde ⁻¹. Este nesgo é igual a

$b_s\equiv \mathrm{E}[({\hat{\theta }}_{\mathrm{m}\mathrm{l}\mathrm{e}}-{\theta }_0{)}_s]=\frac{1}{n}\cdot I^{si}{I}^{jk}(\frac{1}{2}{K}_{ijk}+J_{j,ik}),$

fórmula onde se adoptou a convención de Einstein para expresar sumas; I^jk representa a j,k-ésima compoñente da inversa da matriz de información de Fisher e

$\frac{1}{2}{K}_{ijk}+J_{j,ik}=\mathrm{E}[\frac{1}{2}\frac{{\partial }^3\ln f_{{\theta }_0}(x_t)}{\partial {\theta }_i\partial {\theta }_j\partial {\theta }_k}+\frac{\partial \ln f_{{\theta }_0}(x_t)}{\partial {\theta }_j}\frac{{\partial }^2\ln f_{{\theta }_0}(x_t)}{\partial {\theta }_i\partial {\theta }_k}].$

Grazas a estas fórmulas é posible estimar o nesgo de segunda orde do estimador e corrixilo mediante subtracción:

${\hat{\theta }}_{\mathrm{m}\mathrm{l}\mathrm{e}}^{*}={\hat{\theta }}_{\mathrm{m}\mathrm{l}\mathrm{e}}-\hat{b}.$

Este estimador, non nesgado até a orde n⁻¹, chámase estimador de máxima verosimilitud con corrección do nesgo.

Exemplos

Distribución uniforme discreta

Supóñase que n bólas numeradas de 1 a n se colocan nunha urna e que unha delas se extrae ao azar. Se se descoñece n, o seu EMV é o número m que aparece na bóla extraída: a función de verosimilitude é 0 para n < m e 1/n para n ≥ m; que alcanza o seu máximo cando n = m. A esperanza matemática de $\hat{n}$, é (n + 1)/2. Como consecuencia, o EMV de n infravalorará o verdadeiro valor de n por (n − 1)/2.

Distribución discreta con parámetros discretos

Supóñase que se lanza unha moeda nesgada ao aire 80 veces. A mostra resultante pode ser x₁ = H, x₂ = T, ..., x₈₀ = T, e cóntase o número de caras, "H". A probabilidade de que saia cara é p e a de que saia cruz, 1 − p (de modo que p é o parámetro θ). Supóñase que se obteñen 49 caras e 31 cruces. Imaxínese que a moeda se extraeu dunha caixa que contiña tres delas e que estas teñen probabilidades p iguais a 1/3, 1/2 e 2/3 aínda que non se sabe cal delas é cal.

A partir dos datos obtidos do experimento pódese saber cal é a moeda coa máxima verosimilitude. Empregando a función de probabilidade da distribución binomial cunha mostra de tamaño 80, número de éxitos igual a 49 e distintos valores de p, a función de verosimilitude toma os tres valores seguintes:

$\begin{array}{cc}\mathrm{Pr}(\mathrm{H}=49\mid p=1/3)& =(\genfrac{}{}{0ex}{}{80}{49})(1/3{)}^{49}(1-1/3{)}^{31}\approx 0.000,\\ \mathrm{Pr}(\mathrm{H}=49\mid p=1/2)& =(\genfrac{}{}{0ex}{}{80}{49})(1/2{)}^{49}(1-1/2{)}^{31}\approx 0.012,\\ \mathrm{Pr}(\mathrm{H}=49\mid p=2/3)& =(\genfrac{}{}{0ex}{}{80}{49})(2/3{)}^{49}(1-2/3{)}^{31}\approx 0.054.\end{array}$

A verosimilitude é máxima cando p = 2/3 e este é, polo tanto, o EMV de p.

Aplicacións

O estimador de máxima verosimilitude úsase dentro dun gran número de modelos estatísticos:

• modelos lineares xeneralizados
• análise factorial
• análise de ecuacións estruturais
• tests estatísticos

Véxase tamén

Bibliografía

• Aldrich, John (1997). Modelo:Cita publicación periódica
• Anderson, Erling B. 1970. "Asymptotic Properties of Conditional Maximum Likelihood Estimators". Journal of the Royal Statistical Society B 32, 283-301.
• Andersen, Erling B. 1980. Discrete Statistical Models with Social Science Applications. North Holland, 1980.
• Debabrata Basu. Statistical Information and Likelihood : A Collection of Critical Essays by Dr. D. Basu ; J.K. Ghosh, editor. Lecture Notes in Statistics Volume 45, Springer-Verlag, 1988.
• Cox, D.R.; Snell, E.J. (1968). Modelo:Cita publicación periódica
• Modelo:Cita publicación periódica, F.E. (Sep de 1908). ()
• Modelo:Cita publicación periódica, F.E. (Dec de 1908). ()
• Ferguson, Thomas S (1996). Modelo:Cita libro
• Hald, Anders (1998). Modelo:Cita libro
• Hald, Anders (1999). Modelo:Cita publicación periódica
• Kano, E. (1996). Modelo:Cita publicación periódica
• Lle Cam, Lucien (1990). Modelo:Cita publicación periódica
• Lle Cam, Lucien; O Yang, Grace (2000). Modelo:Cita libro
• Lle Cam, Lucien (1986). Modelo:Cita libro
• Modelo:Cita libro, E.L.; Casella, G. (1998).
• Newey, Whitney K.; McFadden, Daniel (1994). Modelo:Cita libro
• Pratt, John W. (1976). Modelo:Cita publicación periódica
• Savage, Leonard J. (1976). Modelo:Cita publicación periódica
• Stigler, Stephen M. (1978). Modelo:Cita publicación periódica
• Stigler, Stephen M. (1986). Modelo:Cita libro
• Stigler, Stephen M. (1999). Modelo:Cita libro
• van der Vaart, A.W. (1998). Modelo:Cita libro

Outros artigos

• Función de verosimilitude
• Algoritmo esperanza-maximización

Ligazóns externas

• Tutorial
• Introdución da estimación por máxima verosimilitud usando R
• Tutorial on maximum likelihood estimation no Journal of Mathematical Psychology