Fastslå utfall i statistikk

Outliers er dataverdier som skiller seg veldig fra majoriteten av et sett med data. Disse verdiene faller utenfor en samlet trend som er til stede i dataene. En nøye undersøkelse av et sett med data for å lete etter utliggere forårsaker noen problemer. Selv om det er lett å se, muligens ved bruk av en stamplot, at noen verdier skiller seg fra resten av dataene, hvor mye forskjellig må verdien for å bli betraktet som en utligger? Vi vil se på en spesifikk måling som vil gi oss en objektiv standard på hva som utgjør en outlier.

De interkvartil rekkevidde er hva vi kan bruke for å bestemme om en ekstrem verdi virkelig er en utligger. Interkvartilområdet er basert på en del av fem-talls sammendrag av et datasett, nemlig første kvartil og tredje kvartil. Beregningen av interkvartilområdet involverer en enkelt aritmetisk operasjon. Alt vi trenger å gjøre for å finne interkvartilområdet er å trekke den første kvartilen fra den tredje kvartilen. Den resulterende forskjellen forteller oss hvor spredt den midtre halvdelen av dataene våre er.

Å multiplisere interkvartilområdet (IQR) med 1,5 vil gi oss en måte å bestemme om en viss verdi er en outlier. Hvis vi trekker fra 1,5 x IQR fra den første kvartilen, blir dataverdier som er mindre enn dette tallet betraktet som outliers. På samme måte, hvis vi legger til 1,5 x IQR til den tredje kvartilen, blir dataverdier som er større enn dette antallet, betraktet som outliers.

Noen outliers viser ekstrem avvik fra resten av datasettet. I disse tilfellene kan vi ta trinnene ovenfra, bare endre tallet som vi multipliserer IQR med, og definere en viss type utligger. Hvis vi trekker fra 3,0 x IQR fra den første kvartilen, kalles alle punkter som er under dette tallet en sterk outlier. På samme måte lar tilsettingen av 3,0 x IQR til den tredje kvartilen oss definere sterke outliers ved å se på punkter som er større enn dette tallet.

Foruten sterke outliers er det en annen kategori for outliers. Hvis en dataverdi er en outlier, men ikke en sterk outlier, sier vi at verdien er en svak outlier. Vi vil se på disse konseptene ved å utforske noen få eksempler.

Anta først at vi har datasettet {1, 2, 2, 3, 3, 4, 5, 5, 9}. Nummer 9 ser absolutt ut som det kan være en utligger. Det er mye større enn noen annen verdi fra resten av settet. For å objektivt bestemme om 9 er en utligger, bruker vi metodene ovenfor. Den første kvartilen er 2 og den tredje kvartilen er 5, noe som betyr at interkvartilområdet er 3. Vi multipliserer interkvartilområdet med 1,5, får 4,5, og legger deretter dette tallet til den tredje kvartilen. Resultatet, 9,5, er større enn noen av dataverdiene våre. Derfor er det ingen outliers.

Nå ser vi på det samme datasettet som før, med unntak av at den største verdien er 10 i stedet for 9: {1, 2, 2, 3, 3, 4, 5, 5, 10}. Den første kvartil, tredje kvartil og interkvartil er identisk med eksempel 1. Når vi legger til 1,5 x IQR = 4,5 til den tredje kvartilen, er summen 9,5. Siden 10 er større enn 9,5 regnes det som en utligger.

Er 10 en sterk eller svak outlier? For dette må vi se på 3 x IQR = 9. Når vi legger 9 til den tredje kvartilen, ender vi opp med en sum på 14. Siden 10 ikke er større enn 14, er det ikke en sterk outlier. Dermed konkluderer vi at 10 er en svak outlier.

Vi må alltid være på utkikk etter outliers. Noen ganger er de forårsaket av en feil. Andre ganger antyder outliers tilstedeværelsen av et tidligere ukjent fenomen. En annen grunn til at vi må være flittige med å sjekke etter utliggere er på grunn av alle beskrivende statistikk som er følsomme for outliers. Gjennomsnittet, standardavvik og korrelasjonskoeffisient for sammenkoblede data er bare noen få av disse typene statistikker.