Eksempel på en permutasjonstest

Et spørsmål som det alltid er viktig å stille i statistikk er, "Er det observerte resultatet på grunn av tilfeldigheter alene, eller er det Statistisk signifikant?” Én klasse av hypotetester, kalt permutasjonstester, tillater oss å teste dette spørsmålet. Oversikten og trinnene i en slik test er:

• Vi delte fagene våre i en kontroll og en eksperimentell gruppe. Nullhypotesen er at det ikke er noen forskjell mellom disse to gruppene.
• Bruk en behandling til den eksperimentelle gruppen.
• Mål responsen på behandlingen
• Vurder alle mulige konfigurasjoner av den eksperimentelle gruppen og den observerte responsen.
• Beregn en p-verdi basert på vår observerte respons i forhold til alle potensielle eksperimentelle grupper.

Dette er en oversikt over en permutasjon. Vi vil bruke tid på å se på et gjennomarbeidet eksempel på en slik permutasjonstest i detalj.

Anta at vi studerer mus. Spesielt er vi interessert i hvor raskt musene avslutter en labyrint som de aldri har opplevd før. Vi ønsker å fremlegge bevis til fordel for en eksperimentell behandling. Målet er å demonstrere at mus i behandlingsgruppen vil løse labyrinten raskere enn ubehandlede mus.

Vi begynner med fagene våre: seks mus. For enkelhets skyld vil musene bli referert til av bokstavene A, B, C, D, E, F. Tre av disse musene skal velges tilfeldig for den eksperimentelle behandlingen, og de tre andre blir satt inn i en kontrollgruppe der forsøkspersonene får placebo.

Vi vil neste tilfeldig velge rekkefølgen musene blir valgt for å kjøre labyrinten. Tiden brukt til å fullføre labyrinten for alle musene vil bli notert, og et middel av hver gruppe vil bli beregnet.

Anta at vårt tilfeldige utvalg har mus A, C og E i eksperimentgruppen, med de andre musene i placebo kontrollgruppe. Etter at behandlingen er implementert, velger vi tilfeldig rekkefølgen for musene som skal løpe gjennom labyrinten.

Kjøringstidene for hver mus er:

• Mus A kjører løpet på 10 sekunder
• Mus B kjører løpet på 12 sekunder
• Mus C kjører løpet på 9 sekunder
• Mus D kjører løpet på 11 sekunder
• Mus E kjører løpet på 11 sekunder
• Mus F kjører løpet på 13 sekunder.

Gjennomsnittlig tid for å fullføre labyrinten for musene i den eksperimentelle gruppen er 10 sekunder. Gjennomsnittlig tid for å fullføre labyrinten for de i kontrollgruppen er 12 sekunder.

Vi kan stille et par spørsmål. Er behandlingen virkelig grunnen til den raskere gjennomsnittstiden? Eller var vi bare heldige i vårt utvalg av kontroll- og eksperimentgruppe? Behandlingen kan ha hatt ingen effekt, og vi valgte tilfeldig de tregere musene til å motta placebo og raskere mus for å motta behandlingen. En permutasjonstest vil bidra til å svare på disse spørsmålene.

Hypotesene for permutasjonstesten vår er:

• De nullhypotesen er uttalelsen om ingen effekt. For denne spesifikke testen har vi H₀: Det er ingen forskjell mellom behandlingsgrupper. Gjennomsnittstiden for å kjøre labyrinten for alle mus uten behandling er den samme som gjennomsnittstiden for alle musene med behandlingen.
• Den alternative hypotesen er hva vi prøver å etablere bevis til fordel for. I dette tilfellet ville vi ha H_en: Gjennomsnittlig tid for alle mus med behandlingen vil være raskere enn gjennomsnittet for alle mus uten behandling.

Det er seks mus, og det er tre steder i eksperimentgruppen. Dette betyr at antall mulige eksperimentelle grupper er gitt med antall kombinasjoner C (6,3) = 6! / (3! 3!) = 20. De gjenværende individene ville være en del av kontrollgruppen. Så det er 20 forskjellige måter å tilfeldig velge individer i de to gruppene våre.

Tildelingen av A, C og E til eksperimentgruppen ble utført tilfeldig. Siden det er 20 slike konfigurasjoner, har den spesifikke med A, C og E i den eksperimentelle gruppen en sannsynlighet på 1/20 = 5% som forekommer.

Vi må bestemme alle 20 konfigurasjonene av den eksperimentelle gruppen av individene i studien.

1. Eksperimentell gruppe: A B C og kontrollgruppe: D E F
2. Eksperimentell gruppe: A B D og Kontrollgruppe: C E F
3. Eksperimentell gruppe: A B E og kontrollgruppe: C D F
4. Eksperimentell gruppe: A B F og kontrollgruppe: C D E
5. Eksperimentell gruppe: A C D og kontrollgruppe: B E F
6. Eksperimentell gruppe: A C E og kontrollgruppe: B D F
7. Eksperimentell gruppe: A C F- og kontrollgruppe: B D E
8. Eksperimentell gruppe: A D E og kontrollgruppe: B C F
9. Eksperimentell gruppe: A D F og kontrollgruppe: B C E
10. Eksperimentell gruppe: A E F og kontrollgruppe: B C D
11. Eksperimentell gruppe: B C D og Kontrollgruppe: A E F
12. Eksperimentell gruppe: B C E og Kontrollgruppe: A D F
13. Eksperimentell gruppe: B C F og kontrollgruppe: A D E
14. Eksperimentell gruppe: B D E og Kontrollgruppe: A C F
15. Eksperimentell gruppe: B D F og Kontrollgruppe: A C E
16. Eksperimentell gruppe: B E F og Kontrollgruppe: A C D
17. Eksperimentell gruppe: C D E og Kontrollgruppe: A B F
18. Eksperimentell gruppe: C D F og kontrollgruppe: A B E
19. Eksperimentell gruppe: C E F og Kontrollgruppe: A B D
20. Eksperimentell gruppe: D E F og kontrollgruppe: A B C

Vi ser deretter på hver konfigurasjon av eksperimentelle og kontrollgrupper. Vi beregner gjennomsnittet for hver av de 20 permutasjonene i listen ovenfor. For eksempel har A, B og C tidspunkter på henholdsvis 10, 12 og 9. Gjennomsnittet av disse tre tallene er 10.3333. Også i denne første permutasjonen har D, E og F tider på henholdsvis 11, 11 og 13. Dette har et gjennomsnitt på 11.6666.

Etter beregning av gjennomsnitt for hver gruppe, beregner vi forskjellen mellom disse midlene. Hver av følgende tilsvarer forskjellen mellom eksperimentelle og kontrollgrupper som ble listet over.

1. Placebo - Behandling = 1,333333333 sekunder
2. Placebo - Behandling = 0 sekunder
3. Placebo - Behandling = 0 sekunder
4. Placebo - Behandling = -1.333333333 sekunder
5. Placebo - Behandling = 2 sekunder
6. Placebo - Behandling = 2 sekunder
7. Placebo - Behandling = 0.666666667 sekunder
8. Placebo - Behandling = 0.666666667 sekunder
9. Placebo - Behandling = -0.666666667 sekunder
10. Placebo - Behandling = -0.666666667 sekunder
11. Placebo - Behandling = 0.666666667 sekunder
12. Placebo - Behandling = 0.666666667 sekunder
13. Placebo - Behandling = -0.666666667 sekunder
14. Placebo - Behandling = -0.666666667 sekunder
15. Placebo - Behandling = -2 sekunder
16. Placebo - Behandling = -2 sekunder
17. Placebo - Behandling = 1,333333333 sekunder
18. Placebo - Behandling = 0 sekunder
19. Placebo - Behandling = 0 sekunder
20. Placebo - Behandling = -1.333333333 sekunder

Nå rangerer vi forskjellene mellom midlene fra hver gruppe som vi bemerket ovenfor. Vi tabellerer også prosentandelen av våre 20 forskjellige konfigurasjoner som er representert med hver forskjell i virkemidler. For eksempel hadde fire av de 20 ingen forskjell mellom middelene til kontroll- og behandlingsgruppene. Dette utgjør 20% av de 20 konfigurasjonene som er nevnt over.

• -2 for 10%
• -1,33 for 10%
• -0,667 for 20%
• 0 for 20%
• 0,667 for 20%
• 1,33 for 10%
• 2 for 10%.

Her sammenligner vi denne oppføringen med det observerte resultatet. Vårt tilfeldige utvalg av mus for behandlings- og kontrollgrupper resulterte i en gjennomsnittlig forskjell på 2 sekunder. Vi ser også at denne forskjellen tilsvarer 10% av alle mulige prøver. Resultatet er at for denne studien har vi en p-verdien på 10%.