Nivå av betydning i hypotesetesting

Hypotetesting er en utbredt vitenskapelig prosess som brukes på tvers av statistiske og samfunnsvitenskapelige fagdisipliner. I studien av statistikk oppnås et statistisk signifikant resultat (eller et med statistisk signifikans) i en hypotesetest når p-verdien er mindre enn det definerte signifikansnivået. De p-verdien er sannsynligheten for å oppnå en teststatistikk eller prøveresultat så ekstrem som eller mer ekstrem enn den som er observert i studien mens signifikansnivået eller alfa forteller en forsker hvordan ekstreme resultater må være for å avvise de nullhypotesen. Med andre ord, hvis p-verdien er lik eller mindre enn det definerte signifikansnivået (typisk betegnet av α) kan forskeren trygt anta at de observerte dataene er i strid med antagelsen om at de nullhypotesen er sant, noe som betyr at nullhypotesen, eller forutsetningen om at det ikke er noen sammenheng mellom de testede variablene, kan avvises.

Ved å avvise eller motbevise nullhypotesen, konkluderer en forsker at det er et vitenskapelig grunnlag for troen er en viss sammenheng mellom variablene og at resultatene ikke skyldtes samplingsfeil eller sjanse. Selv om å avvise nullhypotesen er et sentralt mål i de fleste vitenskapelige studier, er det viktig å merke seg at avvisningen av nullhypotesen tilsvarer ikke beviset for forskerens alternativ hypotese.

Begrepet statistisk betydning er grunnleggende for hypotesetesting. I en studie som involverer å trekke et tilfeldig utvalg fra en større populasjon i et forsøk på å bevise et resultat som kan brukes på populasjonen som helhet, er det det konstante potensialet for at studiedataene kan være et resultat av samplingsfeil eller enkel tilfeldighet eller sjanse. Ved å bestemme et signifikansnivå og teste p-verdien mot den, kan en forsker med sikkerhet opprettholde eller avvise nullhypotesen. Betydningsnivået, i de enkleste vilkårene, er terskelsannsynligheten for å avvise nullhypotesen feil når den faktisk er sann. Dette er også kjent som type I-feil vurdere. Betydningsnivået eller alfa er derfor assosiert med testens samlede konfidensnivå, noe som betyr at jo høyere verdien av alfa, desto større er tilliten til testen.

En type I-feil, eller en feil av den første typen, oppstår når nullhypotesen blir avvist når den i realiteten er sann. Med andre ord, en type I-feil kan sammenlignes med en falsk positiv. Type I-feil kontrolleres ved å definere et passende nivå av betydning. Beste praksis innen vitenskapelig hypotesetesting krever valg av et signifikansnivå før datainnsamlingen begynner. Det vanligste signifikansnivået er 0,05 (eller 5%), noe som betyr at det er 5% sannsynlighet for at testen vil lide en type I-feil ved å avvise en sann nullhypotese. Dette betydningsnivået tilsvarer omvendt 95% nivå av selvtillit, noe som betyr at over en serie hypotetester, vil 95% ikke resultere i en type I-feil.