Kahden otoksen suhteellisen osuuden testi

Käsittelen tässä tekstissä standardin tekniikan kahden otoksen suhteellisen osuuden z-testistä ja myöhemmässä tekstissä esittelen kenties keinon, joilla testin teknisistä rajoituksista päästään osittain eroon (laskelmat ovat työn alla). Standardin testin rajoitukset ovat ongelmallisia erityisesti rikostilastojen analyysissä, koska rikoksiin syyllistyy tavallisesti hyvin pieni osa populaatiosta vuoden aikana.

Käsitellään tässä vain niin sanottua kaksisuuntaista testiä, koska muutokset yksisuuntaiseen testiin pääsemiseksi ovat suoraviivaisia. Testin kehittelyn muotoilu on omani, joten siitä voi löytyä muun muassa merkintäteknistä huomautettavaa.

Olkoon meillä populaatiot X₁ ja X₂ ja vastaavasti populaatioiden koot ovat n₁ ja n₂. Merkitään f_k:lla populaatiossa olevien rikollisten määrää (ilmenee tilastosta), jolloin rikollisten määrän matemaattiseksi malliksi otetaan satunnaismuuttuja s_k, joka on Bin(n_k, f_k/n_k)-jakautunut (k = 1 tai k = 2), ja oletetaan näiden olevan riippumattomia. Merkitään p_k = s_k/n_k kaikilla k.

Nollahypoteesi H₀: p₁ = p₂ = p
Vaihtoehtoinen hypoteesi H₁: p₁ on erisuuri kuin p₂

Oletetaan H₀ todeksi, jolloin saadaan painotettuna keskiarvona harhaton estimaatti p = (p₁n₁+p₂n₂)/(n₁ + n₂).

Seuraava vaihe (erityisesti normaaliapproksimaatio) on testin teknisten rajoitusten kannalta kriittinen.

Tehdään satunnaismuuttujalle s_k = n_k(s_k/n_k) normaaliapproksimaatio ilman jatkuvuuskorjausta, jolloin "likimääräiseksi" jakaumaksi saadaan N(n_kp, n_kp(1-p)). Normaalijakauman ominaisuuksista (Properties 1.) seuraa, että satunnaismuuttuja s_k/n_k on N(p, p(1-p)/n_k)-jakautunut. Tällöin riippumattomuuden ja normaalijakauman ominaisuuksien nojalla p₁ - p₂ = s₁/n₁ - s₂/n₂ on N(0, p(1-p)(1/n₁ + 1/n₂))-jakautunut.

Näin siis saadaan testisuureelle z = (p₁ - p₂)/sqrt(p(1-p)(1/n₁ + 1/n₂)) (joka on standardinormaalijakautunut) sen tavallinen esitys (Two-proportion z-test, equal variances). Wikipediassa esiintyvät rajoitukset liittyvät normaaliapproksimaation kelvollisena pysymiseen ja tähän puutteeseen aion saada kehitystä myöhemmin Poisson-jakaumien avulla.

Testisuureen z itseisarvoltaan suuret arvot (kaksisuuntaisessa testissä) viittaavat siihen, että nollahypoteesi H₀ ei päde. Kriittiset arvot hylkäämiselle eri merkitsevyystasoilla ovat seuraavat:

z-testin kriittiset arvot
	5 %	1 %	0,1 %
2-suuntainen testi	1,960	2,576	3,291
1-suuntainen testi	1,645	2,326	3,090

Jos jollain on jokin ehdotus, joka parantaa tämän tyyppisen matemaattisen aineksen esitystapaa blogissa, ottaisin sen kiitollisena vastaan.