Kolmogorov – Smirnov test - Kolmogorov–Smirnov test

Illustration af Kolmogorov – Smirnov -statistikken. Den røde linje er en model CDF , den blå linje er en empirisk CDF , og den sorte pil er K – S -statistikken.

I statistikken er Kolmogorov – Smirnov-testen ( K – S-test eller KS-test ) en ikke-parametrisk test af ligestillingen af ​​kontinuerlige (eller diskontinuerlige, se afsnit 2.2 ), endimensionelle sandsynlighedsfordelinger, der kan bruges til at sammenligne en prøve med en reference sandsynlighedsfordeling (K-S-test med én prøve) eller at sammenligne to prøver (K-S-test med to prøver). Det er opkaldt efter Andrey Kolmogorov og Nikolai Smirnov .

Kolmogorov – Smirnov -statistikken kvantificerer en afstand mellem prøvens empiriske fordelingsfunktion og referencefordelingens kumulative fordelingsfunktion eller mellem to prøvers empiriske fordelingsfunktioner. Den null fordeling af denne statistik beregnes under nul hypotesen , at prøven trækkes fra henvisningen distribution (i one-sample tilfælde), eller at de udtages fra den samme fordeling (i to-stikprøve tilfælde). I tilfælde med en prøve kan fordelingen, der betragtes under nulhypotesen, være kontinuerlig (se afsnit 2 ), rent diskret eller blandet (se afsnit 2.2 ). I tilfælde med to stikprøver (se afsnit 3 ) er fordelingen, der betragtes under nulhypotesen, en kontinuerlig fordeling, men er ellers ubegrænset. Imidlertid kan de to prøvetest også udføres under mere generelle betingelser, der tillader diskontinuitet, heterogenitet og afhængighed på tværs af prøver.

K-S-testen med to prøver er en af ​​de mest nyttige og generelle ikke-parametriske metoder til sammenligning af to prøver, da den er følsom over for forskelle i både placering og form af de to prøvers empiriske kumulative fordelingsfunktioner.

Kolmogorov – Smirnov -testen kan ændres, så den fungerer som en god pasformtest . I det særlige tilfælde af test for normalitet af fordelingen standardiseres prøverne og sammenlignes med en normal normalfordeling. Dette svarer til at indstille middelværdi og varians for referencefordelingen lig med prøveestimaterne, og det er kendt, at brug af disse til at definere den specifikke referencefordeling ændrer nulfordelingen af ​​teststatistikken (se Test med estimerede parametre ). Forskellige undersøgelser har fundet ud af, at selv i denne korrigerede form er testen mindre kraftfuld til at teste normalitet end Shapiro -Wilk -testen eller Anderson -Darling -testen . Disse andre tests har imidlertid deres egne ulemper. For eksempel vides Shapiro – Wilk -testen ikke at fungere godt i prøver med mange identiske værdier.

Kolmogorov – Smirnov -statistik

Den empiriske fordelingsfunktion F _n for n uafhængige og identisk fordelte (iid) ordnede observationer X _i defineres som

${\ displaystyle F_ {n} (x) = {\ frac {{\ text {antal (elementer i prøven}} \ leq x)} {n}} = {\ frac {1} {n}} \ sum _ {i = 1}^{n} 1 _ {[-\ infty, x]} (X_ {i}),}$

hvor er indikatorfunktionen , lig med 1 hvis og lig med 0 ellers.${\ displaystyle 1 _ {[-\ infty, x]} (X_ {i})}$${\ displaystyle X_ {i} \ leq x}$

Kolmogorov – Smirnov -statistikken for en given kumulativ fordelingsfunktion F ( x ) er

${\ displaystyle D_ {n} = \ sup _ {x} | F_ {n} (x) -F (x) |}$

hvor sup _x er overordnet set af afstande. Intuitivt tager statistikken den største absolutte forskel mellem de to fordelingsfunktioner på tværs af alle x -værdier.

Ved Glivenko -Cantelli -sætningen , hvis prøven kommer fra distribution F ( x ), konvergerer D _n til næsten næsten i grænsen, når den går til uendelig. Kolmogorov forstærkede dette resultat ved effektivt at give denne konvergens hastighed (se Kolmogorov distribution ). Donskers sætning giver et endnu stærkere resultat. ${\ displaystyle n}$

I praksis kræver statistikken et relativt stort antal datapunkter (i sammenligning med andre godhedskriterier som f.eks. Anderson – Darling -teststatistikken) for korrekt at afvise nulhypotesen.

Kolmogorov distribution

Illustration af Kolmogorov -distributionens PDF .

Kolmogorov -fordelingen er fordelingen af ​​den tilfældige variabel

${\ displaystyle K = \ sup _ {t \ in [0,1]} | B (t) |}$

hvor B ( t ) er den brune bro . Den kumulative fordelingsfunktion for K er givet ved

${\ displaystyle \ operatorname {Pr} (K \ leq x) = 1-2 \ sum _ {k = 1}^{\ infty} (-1)^{k-1} e^{-2k^{2} x^{2}} = {\ frac {\ sqrt {2 \ pi}} {x}} \ sum _ {k = 1}^{\ infty} e^{-(2k-1)^{2} \ pi ^{2}/(8x ^{2})},}$

som også kan udtrykkes ved Jacobi theta -funktionen . Både formen for Kolmogorov – Smirnov -teststatistikken og dens asymptotiske fordeling under nulhypotesen blev udgivet af Andrey Kolmogorov , mens en tabel over fordelingen blev udgivet af Nikolai Smirnov . Tilbagefaldsrelationer for distribution af teststatistikken i begrænsede prøver er tilgængelige. ${\ displaystyle \ vartheta _ {01} (z = 0; \ tau = 2ix^{2}/\ pi)}$

Under nulhypotesen om, at prøven kommer fra den hypotetiserede fordeling F ( x ),

${\ displaystyle {\ sqrt {n}} D_ {n} {\ xrightarrow {n \ to \ infty}} \ sup _ {t} | B (F (t)) |}$

i distribution , hvor B ( t ) er den brune bro . Hvis F er kontinuert derefter under nulhypotesen konvergerer til Kolmogorov distribution, som ikke afhænger af F . Dette resultat kan også være kendt som Kolmogorov -sætningen. ${\ displaystyle {\ sqrt {n}} D_ {n}}$

Nøjagtigheden af denne grænse som en tilnærmelse til den nøjagtige cdf af når er endelig er ikke meget imponerende: selv når den tilsvarende maksimale fejl er om ; denne fejl stiger til hvornår og til et totalt uacceptabelt hvornår . Dog en meget enkel hensigtsmæssig erstatning ved ${\ displaystyle K}$${\ displaystyle n}$${\ displaystyle n = 1000}$${\ displaystyle 0,9 \%}$${\ displaystyle 2,6 \%}$${\ displaystyle n = 100}$${\ displaystyle 7 \%}$${\ displaystyle n = 10}$${\ displaystyle x}$

${\ displaystyle x+{\ frac {1} {6 {\ sqrt {n}}}}+{\ frac {x-1} {4n}}}$

i argument Jacobi theta funktion reducerer disse fejl til , og henholdsvis; en sådan nøjagtighed vil normalt blive betragtet som mere end tilstrækkelig til alle praktiske anvendelser. ${\ displaystyle 0,003 \%}$${\ displaystyle 0.027 \%}$${\ displaystyle 0,27 \%}$

Den goodness-of-fit testen eller Kolmogorov-Smirnov test kan konstrueres ved anvendelse af de kritiske værdier for Kolmogorov distribution. Denne test er asymptotisk gyldig, når . Det afviser nulhypotesen på niveau if ${\ displaystyle n \ to \ infty}$${\ displaystyle \ alpha}$

${\ displaystyle {\ sqrt {n}} D_ {n}> K _ {\ alpha}, \,}$

hvor K _α findes fra

${\ displaystyle \ operatorname {Pr} (K \ leq K _ {\ alpha}) = 1- \ alpha. \,}$

Den asymptotiske kraft ved denne test er 1.

Hurtige og nøjagtige algoritmer til at beregne cdf'en eller dens komplement til vilkårlige og er tilgængelige fra: ${\ displaystyle \ operatorname {Pr} (D_ {n} \ leq x)}$${\ displaystyle n}$${\ displaystyle x}$

• og for kontinuerlige nulfordelinger med kode i C og Java at finde i.

• for rent diskret, blandet eller kontinuerlig nulfordeling implementeret i KSgeneral-pakken i R-projektet til statistisk computing , som for en given prøve også beregner KS-teststatistikken og dens p-værdi. Alternativ C ++ implementering er tilgængelig fra.

Test med estimerede parametre

Hvis enten formen eller parametrene for F ( x ) bestemmes ud fra dataene X _{i, er} de kritiske værdier, der er bestemt på denne måde, ugyldige. I sådanne tilfælde kan Monte Carlo eller andre metoder være påkrævet, men der er i nogle tilfælde udarbejdet tabeller. Detaljer for de nødvendige ændringer af teststatistikken og for de kritiske værdier for normalfordelingen og den eksponentielle distribution er blevet offentliggjort, og senere publikationer omfatter også Gumbel -distributionen . Den Lilliefors testen repræsenterer et særligt tilfælde af dette for normalfordelingen. Logaritmetransformationen kan hjælpe med at overvinde tilfælde, hvor Kolmogorov -testdata ikke synes at passe til antagelsen om, at de kom fra normalfordelingen.

Ved hjælp af estimerede parametre opstår spørgsmålet, hvilken estimeringsmetode der skal bruges. Normalt ville dette være den maksimale sandsynlighedsmetode, men f.eks. For normalfordelingen har MLE en stor biasfejl på sigma. Anvendelse af en øjeblikkelig pasform eller KS -minimering har i stedet en stor indvirkning på de kritiske værdier, og også en vis indvirkning på testkraften. Hvis vi skal beslutte for Student-T-data med df = 2 via KS-test, om dataene kunne være normale eller ej, så ville et ML-estimat baseret på H ₀ (data er normale, så brug af standardafvigelsen for skala) give meget større KS -afstand end en pasform med minimum KS. I dette tilfælde bør vi afvise H ₀ , hvilket ofte er tilfældet med MLE, fordi prøvestandardafvigelsen kan være meget stor for T-2-data, men med KS-minimering kan vi stadig få en for lav KS til at afvise H ₀ . I Student-T-tilfælde gør en modificeret KS-test med KS-estimat i stedet for MLE KS-testen faktisk lidt dårligere. I andre tilfælde fører en sådan modificeret KS -test dog til lidt bedre testkraft.

Diskret og blandet nulfordeling

Under den antagelse, at det er ikke-faldende og højrekontinuerligt, med tælleligt (muligvis uendeligt) antal spring, kan KS-teststatistikken udtrykkes som: ${\ displaystyle F (x)}$

${\ displaystyle D_ {n} = \ sup _ {x} | F_ {n} (x) -F (x) | = \ sup _ {0 \ leq t \ leq 1} | F_ {n} (F^{ -1} (t))-F (F^{-1} (t)) |.}$

Fra højre-kontinuitet , følger det, at og og dermed fordelingen af afhænger af null fordeling , dvs. ikke længere fordeling-fri som i den løbende sag. Derfor er der udviklet en hurtig og præcis metode til at beregne den nøjagtige og asymptotiske fordeling af hvornår rent diskret eller blandet, implementeret i C ++ og i KSgeneral -pakken med R -sproget . Funktioner , og beregne også KS-testen statistik og P-værdier for rent diskrete, blandede eller kontinuerlige null fordelinger og vilkårlige prøvestørrelser. KS-testen og dens p-værdier for diskrete nulfordelinger og små stikprøvestørrelser beregnes også som en del af dgof-pakken til R-sproget. Store statistiske pakker, blandt hvilke SAS , Stata implementerer KS -testen under den antagelse, at den er kontinuerlig, hvilket er mere konservativt, hvis nulfordelingen faktisk ikke er kontinuerlig (se). ${\ displaystyle F (x)}$${\ displaystyle F (F^{-1} (t)) \ geq t}$${\ displaystyle F^{-1} (F (x)) \ leq x}$${\ displaystyle D_ {n}}$${\ displaystyle F (x)}$${\ displaystyle D_ {n}}$${\ displaystyle F (x)}$disc_ks_test()mixed_ks_test()cont_ks_test() PROC NPAR1WAY ksmirnov${\ displaystyle F (x)}$

Kolmogorov – Smirnov-test med to prøver

Illustration af statistikken med to prøver Kolmogorov – Smirnov. Røde og blå linjer svarer hver til en empirisk fordelingsfunktion, og den sorte pil er KS-statistikken med to prøver.

Kolmogorov – Smirnov-testen kan også bruges til at teste, om to underliggende endimensionelle sandsynlighedsfordelinger er forskellige. I dette tilfælde er Kolmogorov – Smirnov -statistikken

${\ displaystyle D_ {n, m} = \ sup _ {x} | F_ {1, n} (x) -F_ {2, m} (x) |,}$

hvor og er de empiriske fordelingsfunktioner for henholdsvis den første og den anden prøve, og er supremum -funktionen . ${\ displaystyle F_ {1, n}}$${\ displaystyle F_ {2, m}}$${\ displaystyle \ sup}$

For store prøver afvises nulhypotesen på niveau if ${\ displaystyle \ alpha}$

${\ displaystyle D_ {n, m}> c (\ alpha) {\ sqrt {\ frac {n+m} {n \ cdot m}}}.}$

Hvor og er størrelserne på henholdsvis første og anden prøve. Værdien af er angivet i nedenstående tabel for de mest almindelige niveauer af${\ displaystyle n}$${\ displaystyle m}$${\ displaystyle c ({\ alpha})}$${\ displaystyle \ alpha}$

${\ displaystyle \ alpha}$	0,20	0,15	0,10	0,05	0,025	0,01	0,005	0,001
${\ displaystyle c ({\ alpha})}$	1.073	1.138	1.224	1.358	1,48	1.628	1.731	1.949

og generelt ved

${\ displaystyle c \ left (\ alpha \ right) = {\ sqrt {-\ ln \ left ({\ tfrac {\ alpha} {2}} \ right) \ cdot {\ tfrac {1} {2}}} },}$

så betingelsen læser

${\ displaystyle D_ {n, m}> {\ sqrt {-\ ln \ venstre ({\ tfrac {\ alpha} {2}} \ højre) \ cdot {\ tfrac {1+{\ tfrac {m} {n }}} {2m}}}}.}$

Her igen, jo større stikprøverne er, desto mere følsomme er den minimale grænse: For et givet forhold mellem prøvestørrelser (f.eks. ) Er den minimale bundne skala i størrelsen af ​​en af ​​prøverne i henhold til dens inverse kvadratrod. ${\ displaystyle m = n}$

Bemærk, at toprøvetesten kontrollerer, om de to datasampler kommer fra den samme distribution. Dette angiver ikke, hvad den fælles distribution er (f.eks. Om den er normal eller ikke normal). Igen er tabeller med kritiske værdier blevet offentliggjort. En mangel ved den univariate Kolmogorov – Smirnov -test er, at den ikke er særlig kraftig, fordi den er tænkt til at være følsom over for alle mulige typer forskelle mellem to fordelingsfunktioner. Nogle hævder, at Cucconi -testen , der oprindeligt blev foreslået til samtidig sammenligning af placering og skala, kan være meget mere kraftfuld end Kolmogorov – Smirnov -testen, når man sammenligner to fordelingsfunktioner.

Fastsættelse af tillidsgrænser for formen af ​​en fordelingsfunktion

Mens Kolmogorov – Smirnov -testen normalt bruges til at teste, om et givet F ( x ) er den underliggende sandsynlighedsfordeling for F _n ( x ), kan proceduren være omvendt for at give tillidsgrænser for selve F ( x ). Hvis man vælger en kritisk værdi af teststatistikken D _α således at P ( D _n  >  D _α ) = α , så vil et bånd med bredde ± D _α omkring F _n ( x ) helt indeholde F ( x ) med sandsynlighed 1 -  α .

Kolmogorov – Smirnov -statistikken i mere end én dimension

En distributionsfri multivariat Kolmogorov – Smirnov godhedstest- test er blevet foreslået af Justel , Peña og Zamar (1997). Testen bruger en statistik, der er bygget ved hjælp af Rosenblatt's transformation, og en algoritme er udviklet til at beregne den i det bivariate tilfælde. En omtrentlig test, der let kan beregnes i enhver dimension, præsenteres også.

Kolmogorov – Smirnov -teststatistikken skal ændres, hvis en lignende test skal anvendes på multivariate data . Dette er ikke ligetil, fordi den maksimale forskel mellem to fælles kumulative fordelingsfunktioner generelt ikke er den samme som den maksimale forskel for nogen af ​​de komplementære fordelingsfunktioner. Således vil den maksimale forskel variere afhængigt af hvilken af eller eller nogen af ​​de to andre mulige arrangementer, der bruges. Man kan kræve, at resultatet af den anvendte test ikke skal afhænge af, hvilket valg der træffes. ${\ displaystyle \ Pr (x <X \ land y <Y)}$${\ displaystyle \ Pr (X <x \ land Y> y)}$

En tilgang til at generalisere Kolmogorov -Smirnov -statistikken til højere dimensioner, som opfylder ovenstående bekymring, er at sammenligne cdfs'erne for de to prøver med alle mulige bestillinger og tage den største af sættet af resulterende K -S -statistikker. I d -dimensioner er der 2 ^d −1 sådanne ordninger. En sådan variation skyldes Peacock (se også Gosset for en 3D -version) og en anden til Fasano og Franceschini (se Lopes et al. For en sammenligning og beregningsdetaljer). Kritiske værdier for teststatistikken kan opnås ved simuleringer, men afhænger af afhængighedsstrukturen i leddistributionen.

I en dimension er Kolmogorov – Smirnov-statistikken identisk med den såkaldte stjerne-uoverensstemmelse D, så en anden indbygget KS-udvidelse til højere dimensioner ville simpelthen være at bruge D også til højere dimensioner. Desværre er stjerneafvigelsen svær at beregne i høje dimensioner.

I 2021 blev den funktionelle form for den multivariate KS -teststatistik opdaget, hvilket forenklede problemet med at estimere halesandsynlighederne for den multivariate KS -teststatistik, som er nødvendig for den statistiske test. I det multivariate tilfælde, hvis F _i er den i kontinuert marginale fra en sandsynlighedsfordeling med k variabler, så

${\ displaystyle {\ sqrt {n}} D_ {n} \ xrightarrow {n \ to \ infty} \ max _ {1 \ leq i \ leq k} \ sup _ {t} | B (F_ {i} (t )) |}}$

så den begrænsende fordeling afhænger ikke af de marginale fordelinger.

Implementeringer

Kolmogorov-Smirnov-testen (en eller to prøveudtagninger verificerer fordelingen) er implementeret i mange softwareprogrammer:

• Mathematica har KolmogorovSmirnov -test .
• MATLAB har kstest i sin Statistikværktøjskasse.
• Den R pakke "KSgeneral" beregner KS teststatistikker og dets p-værdier under vilkårlige, eventuelt diskrete, blandede eller kontinuerlig null fordeling.
• R 's statistikbasepakke implementerer testen som ks.test {stats} i sin "statistik" -pakke.
• SAS implementerer testen i sin PROC NPAR1WAY -procedure.
• Python har en implementering af denne test leveret af SciPy af statistiske funktioner (scipy.stats).
• SYSTAT (SPSS Inc., Chicago, IL)
• Java har en implementering af denne test leveret af Apache Commons .
• KNIME har en node, der implementerer denne test baseret på ovenstående Java -implementering.
• Julia har pakken HypothesisTests.jl med funktionen ExactOneSampleKSTest (x :: AbstractVector {<: Real}, d :: UnivariateDistribution).
• StatsDirect (StatsDirect Ltd, Manchester, UK) implementerer alle almindelige varianter .
• Stata (Stata Corporation, College Station, TX) implementerer testen i ksmirnov (Kolmogorov – Smirnov ligestillingsfordelingstest) kommando.
• PSPP implementerer testen i sin KOLMOGOROV-SMIRNOV (eller ved hjælp af KS genvejsfunktion).
• Real Statistics Resource Pack til Excel kører testen som KSCRIT og KSPROB.

Fra 2021 håndterer disse programmer ikke den multivariate test.

Se også

• Lepage test
• Cucconi test
• Kuipers test
• Shapiro – Wilk test
• Anderson – Darling test
• Cramér – von Mises test

Referencer

Yderligere læsning

• Daniel, Wayne W. (1990). "Kolmogorov – Smirnov enkeltprøvetest" . Anvendt ikke -parametrisk statistik (2. udgave). Boston: PWS-Kent. s. 319–330. ISBN 978-0-534-91976-4.
• Eadie, WT; D. Drijard; FE James; M. Roos; B. Sadoulet (1971). Statistiske metoder i eksperimentel fysik . Amsterdam: Nordholland. s. 269–271. ISBN 978-0-444-10117-4.
• Stuart, Alan; Ord, Keith; Arnold, Steven [F.] (1999). Klassisk slutning og den lineære model . Kendalls avancerede teori om statistik. 2A (sjette udgave). London: Arnold. s. 25,37–25,43. ISBN 978-0-340-66230-4. MR  1687411 .
• Corder, GW; Værkfører, DI (2014). Ikke-parametrisk statistik: En trinvis fremgangsmåde . Wiley. ISBN 978-1118840313.
• Stephens, MA (1979). "Test af egnethed til den logistiske fordeling baseret på den empiriske fordelingsfunktion". Biometrika . 66 (3): 591–595. doi : 10.1093/biomet/66.3.591 .

eksterne links

• "Kolmogorov – Smirnov -test" , Encyclopedia of Mathematics , EMS Press , 2001 [1994]
• Kort introduktion
• KS test forklaring
• JavaScript-implementering af ensidige og tosidige tests
• Online lommeregner med KS -testen
• Open source C ++-kode for at beregne Kolmogorov-distributionen og udføre KS-testen
• Papir om evaluering af Kolmogorovs distribution ; indeholder C -implementering. Dette er den metode, der bruges i Matlab .
• Papir om beregning af den tosidige Kolmogorov – Smirnov-distribution ; beregning af cdf af KS -statistikken i C eller Java.
• Paper powerlaw: En Python-pakke til analyse af Heavy-Tailed distributioner ; Jeff Alstott, Ed Bullmore, Dietmar Plenz. Blandt andet udfører den også Kolmogorov – Smirnov -testen. Kildekode og installatører af powerlaw -pakken er tilgængelige på PyPi .