Да предположим, че имаме a случайна извадка от население от интерес. Може да имаме теоретичен модел за начина, по който население се разпределя. Въпреки това може да има няколко населения параметри от които не знаем стойностите. Максималната оценка на вероятността е един от начините за определяне на тези неизвестни параметри.
Основната идея за максималната оценка на вероятността е, че ние определяме стойностите на тези неизвестни параметри. Правим това по такъв начин, за да увеличим максимално свързаната функция на плътност на вероятността на съвместни или вероятностна маса функция. Ще видим това по-подробно в следващото. Тогава ще изчислим някои примери за максимална оценка на вероятността.
Стъпки за максимална оценка на вероятността
Горната дискусия може да бъде обобщена чрез следните стъпки:
- Започнете с извадка от независими случайни променливи X1, Х2,... хн от общо разпределение, всяко с функция на плътност на вероятността f (x; θ1,.. .θк). Тетите са неизвестни параметри.
- Тъй като нашата извадка е независима, вероятността да получим конкретната извадка, която наблюдаваме, се установява чрез умножаване на нашите вероятности заедно. Това ни дава вероятностна функция L (θ 1,.. .θк) = f (x1 ;θ1,.. .θк) f (x2 ;θ1,.. .θк)... е (хн ;θ1,.. .θк) = Π f (xаз ;θ1,.. .θк).
- След това използваме смятане за да намерим стойностите на тета, които максимално увеличават нашата вероятностна функция L.
- По-конкретно, диференцираме вероятностната функция L по отношение на θ, ако има един единствен параметър. Ако има множество параметри, ние изчисляваме частични производни на L по отношение на всеки от тета параметрите.
- За да продължите процеса на максимизиране, задайте производната на L (или частични производни), равна на нула и решете за theta.
- След това можем да използваме други техники (като втори тест за производни), за да потвърдим, че сме намерили максимум за нашата вероятностна функция.
пример
Да предположим, че имаме пакет със семена, всеки от които има постоянна вероятност р на успех на покълването. Засаждаме н от тях и пребройте броя на тези, които поникват. Да приемем, че всяко семе пониква независимо от останалите. Как да определим максималната вероятностна оценка на параметъра р?
Започваме с отбелязването, че всяко семе се моделира от дистрибуция на Бернули с успех от стр. Оставяме х да бъде или 0, или 1, а вероятностната функция на масата за едно семе е е( х; р ) = рх(1 - р)1 - х.
Нашата извадка се състои от н различно хаз, всеки от които има дистрибуция на Бернули. Семената, които покълват, имат хаз = 1 и семената, които не успяват да покълнат, имат хаз = 0.
Вероятността функция се дава от:
L ( р ) = Π рхаз(1 - р)1 - хаз
Виждаме, че е възможно да се пренапише функцията на вероятността, като се използват законите на експонентите.
L ( р ) = рΣ xаз(1 - р)н - Σ xаз
След това разграничаваме тази функция по отношение на р. Приемаме, че стойностите за всички хаз са известни и следователно са постоянни. За да разграничим функцията на вероятността, трябва да използваме правило за продукта, заедно с правилото за мощност:
L '( р ) = Σ xазр-1 + Σ xаз (1 - р)н - Σ xаз- (н - Σ xаз ) рΣ xаз(1 - р)н-1 - Σ xаз
Ние пренаписваме някои от отрицателните показатели и имаме:
L '( р ) = (1/р) Σ xазрΣ xаз (1 - р)н - Σ xаз- 1/(1 - р) (н - Σ xаз ) рΣ xаз(1 - р)н - Σ xаз
= [(1/р) Σ xаз - 1/(1 - р) (н - Σ xаз)]азрΣ xаз (1 - р)н - Σ xаз
Сега, за да продължим процеса на максимизиране, ние поставяме тази производна равна на нула и решаваме за р:
0 = [(1/р) Σ xаз - 1/(1 - р) (н - Σ xаз)]азрΣ xаз (1 - р)н - Σ xаз
От р и (1- р) са ненулеви ние имаме това
0 = (1/р) Σ xаз - 1/(1 - р) (н - Σ xаз).
Умножавайки двете страни на уравнението по р(1- р) дава ни:
0 = (1 - р) Σ xаз - р (н - Σ xаз).
Разширяваме дясната страна и виждаме:
0 = Σ xаз - р Σ xаз - рн + pΣ xаз = Σ xаз - рн.
Така Σ xаз = рн и (1 / n) Σ xаз = p. Това означава, че максималната вероятност за оценка на р е средна проба. По-конкретно това е примерната част от семената, които покълнаха. Това е напълно в съответствие с това, което интуицията би ни казала. За да определите съотношението на семената, които ще покълнат, първо помислете за извадка от интересуващата се популация.
Промени в стъпките
Има някои промени в горния списък от стъпки. Например, както видяхме по-горе, обикновено си струва да отделите известно време, използвайки някаква алгебра, за да опростите изразяването на вероятностната функция. Причината за това е да се улесни извършването на диференциацията.
Друга промяна в горния списък от стъпки е да се разгледат естествените логаритми. Максимумът за функцията L ще възникне в същата точка, както и за естествения логаритъм на L. По този начин максимизирането на ln L е еквивалентно на максимизиране на функцията L.
Много пъти, поради наличието на експоненциални функции в L, приемането на естествения логаритъм на L значително ще опрости част от нашата работа.
пример
Виждаме как да използваме естествения логаритъм, като преразгледаме примера отгоре. Започваме с функцията на вероятността:
L ( р ) = рΣ xаз(1 - р)н - Σ xаз .
След това използваме нашите закони за логаритъм и виждаме, че:
R ( р ) = ln L ( р ) = Σ xаз Въ p + (н - Σ xаз) ln (1 - р).
Вече виждаме, че производната е много по-лесна за изчисляване:
R '( р ) = (1/р) Σ xаз - 1/(1 - р)(н - Σ xаз) .
Сега, както преди, ние задаваме тази производна равна на нула и умножаваме двете страни по р (1 - р):
0 = (1- р ) Σ xаз - р(н - Σ xаз) .
Ние решаваме за р и да намерите същия резултат като преди.
Използването на естествения логаритъм на L (p) е полезно по друг начин. Много по-лесно е да се изчисли втората производна на R (p), за да се провери дали наистина имаме максимум в точката (1 / n) Σ xаз = p.
пример
За друг пример, да предположим, че имаме произволна извадка X1, Х2,... хн от популация, която моделираме с експоненциално разпределение. Функцията на плътността на вероятностите за една случайна променлива е от формата е( х ) = θ-1д -х/θ
Функцията на вероятността се дава от функцията на съвместната плътност на вероятностите. Това е продукт на няколко от тези функции на плътност:
L (θ) = Π θ-1д -хаз/θ = θ-нд -Σхаз/θ
Още веднъж е полезно да разгледаме естествения логаритъм на вероятностната функция. Диференцирането на това ще изисква по-малко работа, отколкото диференциране на функцията на вероятността:
R (θ) = ln L (θ) = ln [θ-нд -Σхаз/θ]
Ние използваме нашите закони на логаритмите и получаваме:
R (θ) = ln L (θ) = - н ln θ + -Σхаз/θ
Разграничаваме се по отношение на θ и имаме:
R '(θ) = - н / θ + Σхаз/θ2
Задайте тази производна равна на нула и виждаме, че:
0 = - н / θ + Σхаз/θ2.
Умножете двете страни по θ2 и резултатът е:
0 = - н θ + Σхаз.
Сега използвайте алгебра, за да решите за θ:
θ = (1 / n) Σхаз.
От това виждаме, че средният пример е това, което увеличава максимално вероятната функция. Параметърът θ, за да отговаря на нашия модел, трябва просто да бъде средната стойност на всички наши наблюдения.
Връзки
Има и други видове оценители. Един алтернативен тип оценка се нарича an безпристрастен оценител. За този тип трябва да изчислим очакваната стойност на нашата статистика и да определим дали тя съответства на съответния параметър.