Hypotesetesting

Hypotesen $$ H_0$$ skal si noe om hvordan det har vært tidligere. Da kan vi skrive følgende:

Fraværet $$ f$$ på skolen ligger på 8 %, det vil si $$ f=0,08$$.

Det gir

$$ H_0:f=0,08$$

Den alternative hypotesen $$ H_1$$ kan gjelde dersom $$ H_0$$ ikke gjelder, og må si noe om i hvilken retning vi mistenker at fraværsprosenten går. Her er den alternative hypotesen at fraværet er større enn 8 %.

$$ H_1$$: $$ f>0,08$$.

Testdata her er fraværet på 10 % i den ene uka.

Testens $$ P$$-verdi betyr her sannsynligheten for at fraværet er 10 % eller større.

Det er tre krav til en binomisk sannsynlighetsmodell:

To mulige utfall: Her er en elev enten til stede eller borte.

Lik sannsynlighet hele tida: Siden sannsynligheten er regnet ut fra andelen elever som er borte, kan vi anta at denne sannsynligheten gjelder for hele skolen.

Uavhengige forsøk: Her antar vi at elevenes fravær er uavhengig av hverandre, noe som kanskje kan være litt usannsynlig med tanke på smitte og liknende. Men siden det er såpass mange elever på skolen, kan vi velge å likevel anta at hver elevs fravær er uavhengig av de andres.

Her lar rektor $$ X$$ stå for antall elever som er borte.

Fra oppgave d) har vi at vi må regne ut sannsynligheten for at fraværet er på minst 10 %, eller minst 50 elever. Matematisk skriver vi at vi ønsker å finne $$ P\left(X\ge 50\right)$$. Vi bruker sannsynlighetskalkulatoren i GeoGebra med binomisk fordeling. Siden det totalt er 500 elever, har vi at $$ n=500$$. Fra nullhypotesen $$ H_0$$ har vi at $$ p=0,08$$.

Testens $$ P$$-verdi er 0,062 2.

Det betyr at hvis testens $$ P$$-verdi er mindre enn 0,05, så forkaster han nullhypotesen $$ H_0$$. Det er den ikke, derfor kan ikke rektor si ut ifra denne testen at fraværet på skolen har økt.

Sagt med andre ord: Det er 6,22 % sjanse for at fraværet på skolen er 10 % eller større. Det er for stor sannsynlighet for at dette skal skje når fraværet normalt er på 8 % ut ifra at signifikansnivået skal være på 5 %, til at vi kan forkaste nullhypotesen. Rektor konkluderer med at den originale sannsynligheten er gjeldende.

Siden $$ P$$-verdien er større enn signifikansnivået, kan vi ikke forkaste nullhypotesen.

Siden $$ P$$-verdien er mindre enn signifikansnivået, forkaster vi nullhypotesen.

Nullhypotesen er at terningen er i orden. Dette gir følgende:

$$ H_0$$: Sannsynligheten for å få en sekser ved å kaste terningen er $$ \frac{1}{6}$$, det vil si at $$ p=\frac{1}{6}$$.

$$ H_1$$: Sannsynligheten for å få en sekser ved å kaste terningen er større enn $$ \frac{1}{6}$$, det vil si at $$ p>\frac{1}{6}$$.

Dette er fem binomiske situasjoner der alle har $$ p=\frac{1}{6}$$ og $$ n=1 200$$.

Vi bruker sannsynlighetskalkulatoren i GeoGebra. Terning 1:

Testens $$ P$$-verdi er 0,279. Dette resultatet betyr at ved å kaste en terning som det ikke er noe galt med, 1 200 ganger, vil det i 27,9 % av tilfellene bli 208 eller flere seksere. Med et signifikansnivå på 5 % gir dette ikke noe grunnlag for å forkaste $$ H_0$$ for denne terningen – det er altfor sannsynlig at det skal bli 208 eller flere seksere i dette forsøket.

Ved å gjøre likedan med de andre terningene får vi følgende resultat:

Det er bare for terning nummer 3 vi får en $$ P$$-verdi som er mindre enn signifikansnivået. Sannsynligheten for å få 225 eller flere seksere er bare 0,030, så resultatet med terning 3 er lite sannsynlig. Ut fra signifikansnivået kan vi dermed forkaste nullhypotesen her og konkludere med at Maren har en "jukseterning", terning nummer 3.

Vi skriver inn 0,05 på høyre side i kalkulatoren.

Dersom resultatet med en terning er 221 seksere, er vi akkurat på grensa til at vi kan forkaste nullhypotesen for denne terningen.

Vi sjekker om normaltilnærming kan brukes, det vil si at både forventningsverdien, $$ np$$, og $$ n\left(1-p\right)$$ er større enn 10.

$$ \mu =np=1 200·\frac{1}{6}=200$$

$$ n\left(1-p\right)=1 200·\frac{5}{6}=1 000$$

Det betyr at kravene er innfridd. For å bruke sannsynlighetskalkulatoren i GeoGebra med normalfordeling må vi regne ut standardavviket $$ \sigma $$.

Standardavvik: $$ \sigma =\sqrt{np\left(1-p\right)}=\sqrt{200·\frac{5}{6}}=166,7$$

Vi setter inn resultatet for terning nummer 1.

Sannsynligheten for å få 208 eller flere seksere er 0,268, testens $$ P$$-verdi. Dette er nokså nært det vi fikk ved å bruke en binomisk modell. Som i den binomiske modellen får vi at $$ P$$-verdien er mye høyere enn signifikansnivået, så vi kan ikke forkaste nullhypotesen.

Ved å gjøre det samme for de andre terningene får vi dette resultatet:

Alle $$ P$$-verdiene er omtrent som ved bruk av binomisk modell, men ligger litt under. Vi kommer til samme konklusjon: På grunn av resultatet for terning nummer 3 må vi forkaste nullhypotesen og si at terning nummer 3 er en "jukseterning".

Vi skriver inn 0,05 på høyre side i kalkulatoren.

Dette betyr at dersom resultatet med en terning er 222 seksere, må vi forkaste nullhypotesen for denne terningen. Dette er ett kast mer enn resultatet vi fikk ved å bruke binomisk fordeling, så det er ikke avgjørende hvilken av de to fordelingene vi bruker.

En slik hypotesetest vil uansett inneholde en viss usikkerhet, og $$ P$$-verdier helt i nærheten av signifikansnivået bør i det virkelige liv innebære at man utvider forsøket slik at man kan være tryggere på å ta rett avgjørelse.

Vi bruker funksjonen "pmf()" fra modulen "binom" i biblioteket "scipy.stats". Funksjonen gir sannsynlighetsfordelingen innenfor det området vi spesifiserer.

1from scipy.stats import binom
2
3p = 1/6
4n = 1200
5X = list(range(n+1))
6signifikans = 0.05
7
8resultater = [208,195, 225, 185, 220]
9
10fordeling = binom.pmf(X,n,p)
11
12for i in range(len(resultater)):
13    P = fordeling[resultater[i]:] #Dette henter ut fordelingen fra og med tallet i resultater[i].
14    Pverdi = sum(P)
15    print(f'Sannsynligheten er {Pverdi:.3f} for å få {resultater[i]} seksere med en rettferdig terning.')
16    if Pverdi <signifikans:
17        print(f'Vi kan forkaste nullhypotesen for terning nummer {i+1}.')
18    
19while 1-sum(fordeling[:n]) < signifikans:
20    n = n-1
21print(f'Grensa for å forkaste nullhypotesen er når resultatet er {n} seksere.')

Programmet skriver ut:

"Sannsynligheten er 0.279 for å få 208 seksere med en rettferdig terning.

Sannsynligheten er 0.662 for å få 195 seksere med en rettferdig terning.

Sannsynligheten er 0.030 for å få 225 seksere med en rettferdig terning.

Vi kan forkaste nullhypotesen for terning nummer 3.

Sannsynligheten er 0.886 for å få 185 seksere med en rettferdig terning.

Sannsynligheten er 0.067 for å få 220 seksere med en rettferdig terning.

Grensa for å forkaste nullhypotesen er når resultatet er 221 seksere."

Alternativ løsning: Vi kan bruke funksjonen "cdf()", som gir den kumulative binomiske sannsynligheten. Da må vi huske at vi er interessert i den motsatte sannsynligheten av den kumulative.

1from scipy.stats import binom
2
3p = 1/6
4n = 1200
5signifikans = 0.05
6
7resultater = [208,195, 225, 185, 220]
8
9for i in range(len(resultater)):
10    Pverdi = 1-binom.cdf(resultater[i]-1,n,p)
11    print(f'Sannsynligheten er {Pverdi:.3f} for å få {resultater[i]} seksere med en rettferdig terning.')
12    if Pverdi <signifikans:
13        print(f'Terning nummer {i+1} må forkastes.')
14X = n  
15while 1-binom.cdf(X,n,p) < signifikans:
16    X = X-1
17print(f'Grensa for å forkaste nullhypotesen er når resultatet er {X+1} seksere.')

Programmet gir samme utskrift som det første.

Vi bruker sannsynlighetskalkulatoren i GeoGebra og velger normalfordeling. Vi setter forventningsverdien $$ \mu =500$$ og standardavviket $$ \sigma =90$$. Så velger vi høyresidig sannsynlighet med 650 poeng som nedre grense.

Sannsynligheten for at eleven skåret minst 650 poeng, er 4,78 %.

Vi kan også løse med Python:

1from scipy.stats import norm
2
3P = 1-norm.cdf(650,500,90)
4print(f'Sannsynligheten for at eleven skåret minst 650 poeng, er {P:.4f}.')

Utskriften blir:

"Sannsynligheten for at eleven skåret minst 650 poeng, er 0,0478."

Vi velger nå intervall i sannsynlighetskalkulatoren og setter inn nedre og øvre grense i poengintervallet.

Sannsynligheten for at eleven skåret mellom 475 og 535 poeng, er 26,1 %.

Alternativ med Python:

1from scipy.stats import norm
2
3P = norm.cdf(535,500,90)-norm.cdf(475,500,90)
4print(f'Sannsynligheten for at eleven skåret mellom 475 og 535 poeng, er {P:.4f}.')

Vi må sette opp hypoteser.

Nullhypotese: Norske elever var like gode som elever fra land som skåret 495 poeng.

Alternativ hypotese: Norske elever var bedre enn elever fra land som skåret 495 poeng.

Matematisk skriver vi slik:

$$ H_0:\mu =495$$

$$ H_1:\mu >495$$

Vi velger et signifikansnivå på 0,1 %. Vi bør være rimelig sikre før vi konkluderer med at vi er bedre. Vi antar altså at poengsummen til elevene er normalfordelt med forventningsverdi lik 495 poeng og med standardavvik på 90 poeng. Ifølge sentralgrensesetningen er gjennomsnittet for et utvalg av 4 700 elever normalfordelt med $$ \mu =495$$ og $$ \sigma =\frac{90}{\sqrt{4 700}}$$.

Vi finner så sannsynligheten for å få et gjennomsnitt på 500 i et slikt utvalg:

1from scipy.stats import norm  #importerer normalfordelingsfunksjonen
2import numpy as np
3                               
4my = 495
5sigma = 90/(np.sqrt(4700))
6snitt = 500
7
8print(f"P(X > {snitt}) = {1-norm.cdf(snitt, my, sigma):.4f}")

Utskriften gir: P(X > 500) = 0.0001

$$ P$$-verdien på 0,01 % er mindre enn signifikansnivået på 0,1 % og gir dermed grunnlag for å forkaste nullhypotesen. Det er derfor grunn til å si at norske elever er bedre enn elever fra land som skåret 495 poeng.

Vi lar $$ X$$ være antall kasser med ødelagt bær og antar at $$ X$$ er binomisk fordelt med $$ p=0,1$$. Vi har at $$ n=50$$.

Sannsynligheten for at akkurat 5 av 50 kasser har ødelagte bær, blir som følger:

Det er 18,5 % sannsynlighet for at akkurat 5 av de 50 kassene med jordbær inneholder ødelagte bær.

Sannsynligheten for at minst 5 kasser inneholder ødelagte bær, er 0,57.

Kontrollen grossisten foretar, viser at $$ \frac{15}{90}=\frac{1}{6}=\mathrm{16,7\; \%}$$ av kassene inneholder ødelagte bær. Vi skal undersøke om denne kontrollen gir grunnlag for å si at det generelt er mer enn 10 % av jordbærkassene som inneholder ødelagte bær. Det kan jo være tilfeldig at det akkurat var så mange som 15 av de 90 kontrollerte kassene som inneholdt ødelagte bær.

Vi setter opp en nullhypotese $$ H_0$$ der vi antar at prosentandelen på 10 % gjelder, og en alternativ hypotese $$ H_1$$ der vi antar at prosentandelen har økt.

$$ H_0$$: Andel jordbærkasser med ødelagte bær er 10 %, det vil si $$ p=0,1$$.

$$ H_1$$: Andel jordbærkasser med ødelagte bær er mer enn 10 %, det vil si $$ p>0,1$$.

Et signifikansnivå på 5 % sier at dersom vi forkaster nullhypotesen, er det 5 % sjanse for at vi gjør det på feil grunnlag.

Vi bruker binomisk fordeling i GeoGebra og finner sannsynligheten for at minst 15 av de 90 kassene inneholder ødelagte bær når $$ p=0,1$$. Siden vi har totalt 90 kasser, er $$ n=90$$.

Testens $$ P$$-verdi er 0,0333. Det betyr at det er 3,3 % sannsynlighet for at 15 kasser eller flere i en stikkprøve på 90 kasser helt tilfeldig vil inneholde ødelagte bær når $$ p=0,1$$. Vi satte et signifikansnivå på 5 %. Det betyr at vi forkaster nullhypotesen $$ H_0$$ og godtar den alternative hypotesen $$ H_1$$. Kvaliteten på jordbærene har blitt dårligere.

Vi må finne ut hvilken verdi den stokastiske variabelen $$ X$$ har når $$ P$$-verdien er lik signifikansnivået på 0,05. Vi skriver inn 0,05 til høyre for likhetstegnet i sannsynlighetskalkulatoren.

Resultatet er at når signifikansnivået er 0,05, må minst 14 kasser inneholde ødelagte bær for at vi skal forkaste nullhypotesen, det vil si for at vi skal kunne si at jordbærene har blitt dårligere.

Vi vil sjekke om det gode eksamensresultatet skyldes ren tilfeldighet, eller om det kan skyldes en omlegging av undervisningsmetodene. Vi setter opp en nullhypotese $$ H_0$$ som sier at vi ikke kan anta at de nye undervisningsmetodene har hatt innvirkning på antall seksere, og en alternativ hypotese $$ H_1$$ som sier at de nye undervisningsmetodene har hatt innvirkning på antall seksere.

$$ H_0$$: Andel seksere til eksamen er $$ p=0,043$$.

$$ H_1$$: Andel seksere til eksamen er $$ p>0,043$$.

Vi lar $$ X$$ være antall eksamensresultater av de 500 resultatene i stikkprøven som er seksere. Vi antar at $$ X$$ er binomisk fordelt med $$ p=0,043$$ og $$ n=500$$.

I stikkprøven ovenfor var 29 av 500 eksamenskarakterer seksere, det vil si 5,8 %. Vi skal finne ut om dette resultatet gir grunnlag til å forkaste nullhypotesen. 5,8 % er høyere enn 4,3 %, som tidligere har vært prosentandelen med seksere. Er dette tilfeldig, eller kan vi med rimelig sikkerhet si at de nye undervisningsmetodene har gitt uttelling? Vi velger et signifikansnivå på 5 % og bruker binomisk fordeling i GeoGebra.

Vi finner at det er 6,6 % sannsynlighet for at 29 eksamenskarakterer eller flere i en stikkprøve på 500 eksamenskarakterer vil være seksere, selv om den virkelige prosentandelen seksere ikke hadde økt.

Vi satte et signifikansnivå på 5 %. Det betyr at vi ikke forkaster nullhypotesen.

Bruk programmering til å løse oppgaven. La programmet regne ut $$ P$$-verdien for økende verdier for $$ p$$ (den vanlige andelen seksere). Kontroller svaret med sannsynlighetskalkulatoren i GeoGebra.

Vi setter $$ p$$, den vanlige andelen seksere, til en veldig lav verdi i første omgang (0,000 1) og lar programmet regne ut $$ P(X\ge 31)$$, det vil si testens $$ P$$-verdi, med stadig større og større verdier for $$ p$$ inntil $$ P$$-verdien blir like stor som signifikansnivået. Den verdien $$ p$$ har da, vil tilsvare den andelen seksere det vanligvis er på eksamen, og vi kan regne ut hvor mange elever dette tilsvarer ved å regne ut $$ n·p$$.

Forslag til kode:

1from scipy.stats import binom
2n = 500
3X = 31
4signifikans = 0.05
5p = 0.0001
6trinn = 0.00001
7P_verdi = 0
8while P_verdi < signifikans:
9    P_verdi = 1 - binom.cdf(X - 1, n, p)
10    p = p + trinn
11antall_seksere = (p + trinn)*n
12print(f"Antall elever som vanligvis får sekser på eksamen, er {antall_seksere:.0f}.")

Programmet gir denne utskriften:

"Antall elever som vanligvis får sekser på eksamen, er 23."

Dersom vi setter $$ p=\frac{23}{500}$$ i sannsynlighetskalkulatoren til GeoGebra, får vi at $$ P(X\ge 31)=0,059 5$$, noe som er litt høyere enn 0,05. Hvis vi prøver med $$ p=\frac{22}{500}$$, får vi at $$ P(X\ge 31)=0,037$$. Siden vi kommer nærmest signifikansnivået på 0,05 når $$ p=\frac{23}{500}$$, stemmer det med det vi fikk fra programmet.