Eksempler på maksimal sannsynlighet

Anta at vi har en tilfeldig utvalg fra en populasjon av interesse. Vi kan ha en teoretisk modell for måten befolkning er distribuert. Imidlertid kan det være flere innbyggere parametere som vi ikke kjenner verdiene til. Maksimal sannsynlighetsestimering er en måte å bestemme disse ukjente parametrene på.

Den grunnleggende ideen bak estimering av maksimal sannsynlighet er at vi bestemmer verdiene til disse ukjente parametrene. Vi gjør dette på en slik måte å maksimere en tilhørende leddsannsynlighetstetthetsfunksjon eller sannsynlighetsmassefunksjon. Vi vil se dette mer detaljert i det som følger. Deretter vil vi beregne noen eksempler på maksimal sannsynlighetsestimering.

Diskusjonen ovenfor kan oppsummeres ved følgende trinn:

1. Start med et utvalg av uavhengige tilfeldige variabler X₁, X₂,... X_n fra en felles fordeling hver med sannsynlighetstetthetsfunksjon f (x; θ₁,.. .θ_k). Tetasene er ukjente parametere.
2. Siden utvalget vårt er uavhengig, blir sannsynligheten for å oppnå den spesifikke prøven vi observerer ved å multiplisere sannsynlighetene våre sammen. Dette gir oss en sannsynlighetsfunksjon L (θ
   instagram viewer
   ₁,.. .θ_k) = f (x₁ ;θ₁,.. .θ_k) f (x₂ ;θ₁,.. .θ_k)... f (x_n ;θ₁,.. .θ_k) = Π f (x_Jeg ;θ₁,.. .θ_k).
3. Deretter bruker vi kalkulus å finne verdiene til theta som maksimerer vår sannsynlighetsfunksjon L
4. Mer spesifikt skiller vi sannsynlighetsfunksjonen L med hensyn til θ hvis det er en enkelt parameter. Hvis det er flere parametere, beregner vi partielle derivater av L med hensyn til hver av theta-parametrene.
5. For å fortsette maksimeringsprosessen, sett derivatet til L (eller partielle derivater) lik null og løst for theta.
6. Vi kan deretter bruke andre teknikker (for eksempel en andre derivattest) for å bekrefte at vi har funnet et maksimum for vår sannsynlighetsfunksjon.

Anta at vi har en pakke med frø, som hver har en konstant sannsynlighet p av suksess med spiring. Vi planter n av disse og telle antall de som spirer. Anta at hvert frø spirer uavhengig av de andre. Hvordan bestemmer vi den maksimale sannsynlighetsestimatoren for parameteren p?

Vi begynner med å merke oss at hvert frø er modellert av en Bernoulli-distribusjon med suksess s. Vi la X være enten 0 eller 1, og sannsynlighetsmassefunksjonen for et enkelt frø er f(x; p ) = p^x(1 - p)^{1 - x}.

Utvalget vårt består av n annerledes X_Jeg, hver med har en Bernoulli-distribusjon. Frøene som spirer har X_Jeg = 1 og frøene som ikke klarer å spire har X_Jeg = 0.

Sannsynlighetsfunksjonen er gitt av:

L ( p ) = Π p^x_Jeg(1 - p)^{1 - x}_Jeg

Vi ser at det er mulig å omskrive sannsynlighetsfunksjonen ved å bruke eksponenters lover.

L ( p ) = p^{Σ x}_Jeg(1 - p)^{n - Σ x}_Jeg

Deretter skiller vi denne funksjonen mht p. Vi antar at verdiene for alle X_Jeg er kjent, og følgelig er konstante. For å skille sannsynlighetsfunksjonen vi trenger å bruke produktregel sammen med strømregelen:

L '( p ) = Σ x_Jegp^{-1 + Σ x}_Jeg (1 - p)^{n - Σ x}_Jeg- (n - Σ x_Jeg ) p^{Σ x}_Jeg(1 - p)^{n-1 - Σ x}_Jeg

Vi skriver om noen av de negative eksponentene og har:

L '( p ) = (1/p) Σ x_Jegp^{Σ x}_Jeg (1 - p)^{n - Σ x}_Jeg- 1/(1 - p) (n - Σ x_Jeg ) p^{Σ x}_Jeg(1 - p)^{n - Σ x}_Jeg

= [(1/p) Σ x_Jeg - 1/(1 - p) (n - Σ x_Jeg)]_Jegp^{Σ x}_Jeg (1 - p)^{n - Σ x}_Jeg

Nå, for å fortsette prosessen med å maksimere, setter vi dette derivatet lik null og løser for p:

0 = [(1/p) Σ x_Jeg - 1/(1 - p) (n - Σ x_Jeg)]_Jegp^{Σ x}_Jeg (1 - p)^{n - Σ x}_Jeg

Siden p og (1- p) er ikke-andre vi har det

0 = (1/p) Σ x_Jeg - 1/(1 - p) (n - Σ x_Jeg).

Multiplisere begge sider av ligningen med p(1- p) gir oss:

0 = (1 - p) Σ x_Jeg - p (n - Σ x_Jeg).

Vi utvider høyresiden og ser:

0 = Σ x_Jeg - p Σ x_Jeg - pn + pΣ x_Jeg = Σ x_Jeg - pn.

Dermed Σ x_Jeg = pn og (1 / n) Σ x_Jeg = p. Dette betyr at den maksimale sannsynlighetsestimatoren for p er et eksempelmiddel. Mer spesifikt er dette prøveandelen av frøene som spirte. Dette er perfekt i tråd med hva intuisjonen ville fortalt oss. For å bestemme andelen frø som skal spire, bør du først vurdere en prøve fra populasjonen av interesse.

Det er noen endringer i trinnlisten over. Som vi har sett ovenfor, er det for eksempel typisk verdt å bruke litt tid på å bruke litt algebra for å forenkle uttrykket for sannsynlighetsfunksjonen. Årsaken til dette er å gjøre differensieringen lettere å gjennomføre.

En annen endring av listen over trinn ovenfor er å vurdere naturlige logaritmer. Maksimumet for funksjonen L vil skje på samme punkt som for den naturlige logaritmen til L. Dermed tilsvarer maksimalisering av Ln L maksimalisering av funksjonen L.

Mange ganger, på grunn av tilstedeværelsen av eksponentielle funksjoner i L, vil det å ta den naturlige logaritmen til L i stor grad forenkle noe av vårt arbeid.

Vi ser hvordan du bruker den naturlige logaritmen ved å gå tilbake til eksemplet ovenfra. Vi begynner med sannsynlighetsfunksjonen:

L ( p ) = p^{Σ x}_Jeg(1 - p)^{n - Σ x}_Jeg .

Vi bruker deretter våre logaritmeregler og ser at:

R ( p ) = ln L ( p ) = Σ x_Jeg ln p + (n - Σ x_Jeg) ln (1 - p).

Vi ser allerede at derivatet er mye lettere å beregne:

R '( p ) = (1/p) Σ x_Jeg - 1/(1 - p)(n - Σ x_Jeg) .

Nå som før setter vi dette derivatet lik null og multipliserer begge sider med p (1 - p):

0 = (1- p ) Σ x_Jeg - p(n - Σ x_Jeg) .

Vi løser for p og finn samme resultat som før.

Bruken av den naturlige logaritmen til L (p) er nyttig på en annen måte. Det er mye lettere å beregne et andre derivat av R (p) for å bekrefte at vi virkelig har et maksimum på punktet (1 / n) Σ x_Jeg = p.

For et annet eksempel, antar at vi har en tilfeldig prøve X₁, X₂,... X_n fra en befolkning som vi modellerer med en eksponentiell fordeling. Sannsynlighetstetthetsfunksjonen for en tilfeldig variabel er av formen f( x ) = θ^-1e ^-x/θ

Sannsynlighetsfunksjonen er gitt av leddens sannsynlighetstetthetsfunksjon. Dette er et produkt av flere av disse tetthetsfunksjonene:

L (θ) = Π θ^-1e ^-x_Jeg^/θ = θ^-ne ^-Σx_Jeg^/θ

Nok en gang er det nyttig å vurdere den naturlige logaritmen for sannsynlighetsfunksjonen. Å differensiere dette vil kreve mindre arbeid enn å differensiere sannsynlighetsfunksjonen:

R (θ) = ln L (θ) = ln [θ^-ne ^-Σx_Jeg^/θ]

Vi bruker våre lover om logaritmer og oppnår:

R (θ) = ln L (θ) = - n ln θ + -Σx_Jeg/θ

Vi differensierer med hensyn til θ og har:

R '(θ) = - n / θ + Σx_Jeg/θ²

Sett dette derivatet lik null, og vi ser at:

0 = - n / θ + Σx_Jeg/θ².

Multipliser begge sider med θ² og resultatet er:

0 = - n θ + Σx_Jeg.

Bruk nå algebra til å løse for θ:

θ = (1 / n) Σx_Jeg.

Vi ser av dette at utvalget mener det er det som maksimerer sannsynlighetsfunksjonen. Parameteren θ for å passe til vår modell skal ganske enkelt være middelet for alle observasjonene våre.

tilkoblinger

Det er andre typer estimater. En alternativ type estimering kalles en objektiv estimator. For denne typen må vi beregne forventet verdi på statistikken vår og bestemme om den samsvarer med en tilsvarende parameter.