Egiantz handieneko estimazio

Estatistikan, egiantz handieneko estimazioa (EMV eta, batzuetan, MLE izenez ere ezaguna ingelesezko siglengatik) eredu bat egokitzeko eta bere parametroak estimatzeko metodo arrunta da, behatutako datu batzuk kontuan hartuta. Hori probabilitate-funtzio bat maximizatuz lortzen da, horrela, suposatutako eredu estatistikoaren arabera, behatutako datuak ziurrenak izan daitezen. Probabilitate-funtzioa maximizatzen duen parametro-espazioko puntuari, probabilitate maximoaren estimazioa deitzen zaio^[1]. Probabilitate maximoaren logika, izan ere, intuitiboa eta malgua da, eta, beraz, metodoa inferentzia estatistikorako bide nagusi bihurtu da^[2]^[3]^[4].

Probabilitate funtzioa deribagarria bada, maximoak aurkitzeko deribatuaren proba aplika daiteke. Zenbait kasutan, probabilitate funtzioaren lehen mailako baldintzak analitikoki ebatz daitezke; adibidez, erregresio lineal eredu baterako karratu txikienen estimatzaileak probabilitatea maximizatzen du behatutako emaitza guztiek bariantza bereko banaketa Normalak dituztela suposatzen denean^[5].

Bayesen inferentziaren ikuspegitik, MLE, oro har, a posteriori maximoaren (MAP) estimazioaren baliokide da, aldez aurretiko banaketa uniformeekin (edo aldez aurretiko banaketa normal bat infinituaren desbideratze estandarra duena). Inferentzia frekuentzian, MLE muturreko estimatzaile baten kasu berezia da, funtzio objektiboa egiantza izanik.

Historia aldatu

Ronald Fisher 1913an

R.A. Fisher-ek gomendatu, aztertu eta ezagun egin zuen 1912 eta 1922 artean, nahiz eta aurretik Carl Friedrich Gauss, Pierre-Simon Laplace, Thorvald N. Thiele eta Francis Edgeworth-ek erabilia izan^[6]

Oinarria aldatu

Demagun lagin bat dugula $n$ behaketa independenteak eta berdin banatuak ( $x_{1},x_{2},\dots ,x_{n}$ ) dentsitate funtzioa (edo probabilitate-funtzioa) duen banaketa-funtzio ezezagun batetik aterata $f_{0}(\cdot )$ . Jakina da $f_{0}$ banaketa-familia batekoa dela $\{f(\cdot |\theta ),\theta \in \Theta \}$ , eredu parametriko deritzona, beraz, $f_{0}$ dagokion $\theta =\theta _{0}$ da, parametroaren benetako balioa . ${\hat {\theta }}$ (edo estimatzailea) balioa aurkitu nahi da, benetako $\theta _{0}$ baliotik ahalik eta hurbilen dagoena.

$x_{i}$ zein $\theta$ bektoreak izan daitezke.

Metodo horren ideia, lehenik, behaketa guztien dentsitate-funtzioa aurkitzea da, zeina, independentzia baldintzetan, hau den:.

f(x_{1},x_{2},\ldots ,x_{n}\;|\;\theta )=f(x_{1}|\theta )\cdot f(x_{2}|\theta )\cdots f(x_{n}|\theta )\,

Funtzio hori angelu apur bat ezberdinetik begiratuta, behatutako $x_{1},x_{2},\dots ,x_{n}$ balioak finkoak direla pentsa daiteke, $\theta$ libreki alda daitekeen bitartean. Hau da probabilitate funtzioa:

{\mathcal {L}}(\theta \,|\,x_{1},\ldots ,x_{n})=\prod _{i=1}^{n}f(x_{i}|\theta ).

Praktikan, datuak sortu dituen banaketaren arabera, funtzio honen logaritmoa erabili ohi da:

{\hat {\ell }}(\theta \,|\,x_{1},\ldots ,x_{n})=\ln {\mathcal {L}}=\sum _{i=1}^{n}\ln f(x_{i}|\theta ).

Egiantz handieneko metodoak $\theta _{0}$ estimuan du $\ln {\mathcal {L}}$ maximizatzen duen $\theta$ balioa bilatzean. Hau da $\theta _{0}$ -ren egiantz handieneko estimatzaile (MLE) deritzona:

{\hat {\theta }}_{\mathrm {mle} }={\underset {\theta \in \Theta }{\operatorname {arg\,max} }}\ {\hat {\ell }}(\theta \,|\,x_{1},\ldots ,x_{n}).

Batzuetan, estimatzaile hau $x_{1},x_{2},\dots ,x_{n}$ behatutako datuen funtzio esplizitua da, baina, askotan, beharrezkoa da zenbakizko optimizazioetara jotzea. Gerta daiteke, halaber, maximoa bakarra ez izatea edo ez existitzea.

Aurreko paragrafoan, behaketen independentzia suposatu da, baina ez da beharrezko baldintza: nahikoa da datuen probabilitate-funtzio bateratua eraikitzea metodoa aplikatu ahal izateko. Hori ohikoa den testuinguru bat denbora serien analisia da.

Aplikazioak aldatu

Egiantz handieneko estimatzailea estatistika-eredu ugaritan erabiltzen da:

eredu linealak, eredu lineal orokortuak;
Faktore-analisia, esploratzailea zein baieztapena;
egitura-ekuazioaren analisia;
eta beste hainbat egoera proba estatistikoen testuinguruan

Erreferentziak aldatu

↑ Rossi, Richard J. (2018). Mathematical Statistics : An Introduction to Likelihood Based Inference. New York: John Wiley & Sons. p. 227. ISBN 978-1-118-77104-4.
↑ Hendry, David F.; Nielsen, Bent (2007). Econometric Modeling: A Likelihood Approach. Princeton: Princeton University Press. ISBN 978-0-691-13128-3
↑ Chambers, Raymond L.; Steel, David G.; Wang, Suojin; Welsh, Alan (2012). Maximum Likelihood Estimation for Sample Surveys. Boca Raton: CRC Press. ISBN 978-1-58488-632-7
↑ Ward, Michael Don; Ahlquist, John S. (2018). Maximum Likelihood for Social Science : Strategies for Analysis. New York: Cambridge University Press. ISBN 978-1-107-18582-1
↑ Press, W.H.; Flannery, B.P.; Teukolsky, S.A.; Vetterling, W.T. (1992). "Least Squares as a Maximum Likelihood Estimator". Numerical Recipes in FORTRAN: The Art of Scientific Computing (2nd ed.). Cambridge: Cambridge University Press. pp. 651–655. ISBN 0-521-43064-X
↑ Edgeworth (Sep 1908, Dec 1908)

Oharrak aldatu

Aldrich, John. (1997). R.A. Fisher and the making of maximum likelihood 1912–1922. 12, 162–176 or. doi:10.1214/ss/1030037906..
Anderson, Erling B. 1970. "Asymptotic Properties of Conditional Maximum Likelihood Estimators". Journal of the Royal Statistical Society B 32, 283-301.
Andersen, Erling B. 1980. Discrete Statistical Models with Social Science Applications. North Holland, 1980.
Debabrata Basu. Statistical Information and Likelihood : A Collection of Critical Essays by Dr. D. Basu ; J.K. Ghosh, editor. Lecture Notes in Statistics Volume 45, Springer-Verlag, 1988.
A general definition of residuals. , 248–275 or..
Edgeworth, F.Y.. (Sep de 1908). On the probable errors of frequency-constants. 71, 499–512 or..
Edgeworth, F.Y.. (Dec de 1908). On the probable errors of frequency-constants. 71, 651–678 or..
Ferguson, Thomas S (1996). A course in large sample theory. Chapman & Hall.
Hald, Anders (1998). A history of mathematical statistics from 1750 to 1930. Nueva York: Wiley.
Hald, Anders. (1999). On the history of maximum likelihood in relation to inverse probability and least squares. 14, 214–222 or..
^{[Esteka hautsia]}
Le Cam, Lucien. (1990). Maximum likelihood — an introduction. 58, 153–171 or..
Le Cam, Lucien; Lo Yang, Grace (2000). Asymptotics in statistics: some basic concepts. Springer. ISBN 0-387-95036-2.
Le Cam, Lucien (1986). Asymptotic methods in statistical decision theory. Springer-Verlag.
Lehmann, E.L.; Casella, G. (1998). Theory of Point Estimation, 2nd ed. Springer. ISBN 0-387-98502-6.
Newey, Whitney K.; McFadden, Daniel (1994). Large sample estimation and hypothesis testing. Handbook of econometrics, vol.IV, Ch.36. Elsevier Science. pp. 2111-2245.
Pratt, John W.. (1976). F. Y. Edgeworth and R. A. Fisher on the efficiency of maximum likelihood estimation. 4, 501–514 or..
Savage, Leonard J.. (1976). On rereading R. A. Fisher. 4, 441–500 or..
Stigler, Stephen M.. (1978). Francis Ysidro Edgeworth, statistician. 141, 287–322 or..
Stigler, Stephen M. (1986). The history of statistics: the measurement of uncertainty before 1900. Harvard University Press. ISBN 0-674-40340-1.
Stigler, Stephen M. (1999). Statistics on the table: the history of statistical concepts and methods. Harvard University Press. ISBN 0-674-83601-4.
van der Vaart, A.W. (1998). Asymptotic Statistics. ISBN 0-521-78450-6.

Kanpo estekak aldatu

Datuak: Q1045555
Multimedia: Maximum likehood / Q1045555

[1] Rossi, Richard J. (2018). Mathematical Statistics : An Introduction to Likelihood Based Inference. New York: John Wiley & Sons. p. 227. ISBN 978-1-118-77104-4.

[2] Hendry, David F.; Nielsen, Bent (2007). Econometric Modeling: A Likelihood Approach. Princeton: Princeton University Press. ISBN 978-0-691-13128-3

[3] Chambers, Raymond L.; Steel, David G.; Wang, Suojin; Welsh, Alan (2012). Maximum Likelihood Estimation for Sample Surveys. Boca Raton: CRC Press. ISBN 978-1-58488-632-7

[4] Ward, Michael Don; Ahlquist, John S. (2018). Maximum Likelihood for Social Science : Strategies for Analysis. New York: Cambridge University Press. ISBN 978-1-107-18582-1

[5] Press, W.H.; Flannery, B.P.; Teukolsky, S.A.; Vetterling, W.T. (1992). "Least Squares as a Maximum Likelihood Estimator". Numerical Recipes in FORTRAN: The Art of Scientific Computing (2nd ed.). Cambridge: Cambridge University Press. pp. 651–655. ISBN 0-521-43064-X

[6] Edgeworth (Sep 1908, Dec 1908)

[1]

[2]

[3]

[4]

[5]

[6]