Odstające

W statystyce wartość odstająca (lub horsain w języku angielskim odstająca ) to wartość lub obserwacja, która jest „odległa” od innych obserwacji tego samego zjawiska, to znaczy ostro kontrastuje z wartościami mierzonymi „normalnie”. Wartość odstająca może wynikać ze zmienności właściwej dla obserwowanego zjawiska lub może również wskazywać na błąd eksperymentalny. Te ostatnie są czasami wykluczane ze zbioru danych .

Wartości odstające mogą pojawić się przypadkowo w dowolnym rozkładzie, ale często wskazują albo na błąd pomiaru, albo na to, że populacja jest rozmieszczona zgodnie z prawem o dużym prawdopodobieństwie . W pierwszym przypadku wskazane jest pozbycie się tych wartości lub zastosowanie wskaźników statystycznych, które są bardziej odporne na wartości odstające, podczas gdy w drugim przypadku wskazują one, że rozkład jest silnie wypaczony i dlatego jest trzeba być bardzo ostrożnym przy używaniu narzędzi lub rozumowania zaprojektowanego dla normalnej dystrybucji . Częstą przyczyną wartości odstających jest mieszanie się dwóch rozkładów, które mogą pochodzić z 2 bardzo różnych subpopulacji lub mogą wskazywać „prawidłowy pomiar” na „błąd pomiaru”: zjawisko to można zamodelować za pomocą modelu mieszanego .

W większych zestawach danych kilka wartości może znacznie różnić się od średniej . Może to być spowodowane systematycznym błędem zwanym również odchyleniem, który może być nieodłącznym elementem modelu używanego do opisu rozkładu zjawiska, lub może to być kilka wartości, które są daleko od centrum danych. Wartości odstające mogą również wskazywać na fałszywe dane, błędne obliczenia lub ograniczenia modelu statystycznego. Jednak w dużych próbkach oczekuje się niewielkiej liczby wartości odstających (co nie jest spowodowane jakimkolwiek nienormalnym stanem).

Wartości odstające, grupując razem bardziej skrajne wartości, mogą obejmować wartość maksymalną lub wartość minimalną lub obie - zależy to od tego, czy te wartości są ekstremalnie wysokie, czy niskie. Jednak wartości maksymalne i minimalne nie zawsze są wartościami odstającymi, ponieważ mogą nie odbiegać zbytnio od innych wartości.

Naiwna statystyczna interpretacja zbioru danych zawierającego wartości odstające może wprowadzać w błąd i wprowadzać w błąd. Na przykład, jeśli ktoś zdecyduje się obliczyć średnią temperaturę 10 obiektów w pomieszczeniu, a 9 z nich ma temperaturę między 20 a 25 stopni Celsjusza, a ostatni to piec pracujący w 175 ° C , to mediana zakresu będzie pomiędzy 20 i 25 ° C, a średnia temperatura wynosi od 35,5 i 40 ° C . W tym przypadku mediana jest lepszym wskaźnikiem temperatury obiektów niż średnia. Błędem jest myślenie, że średnia i mediana są wskaźnikami równoważnymi. Jak zilustrowano w tym przykładzie, wartości odstające niektórych danych mogą ujawnić, że należą one do innej populacji niż pozostałe wartości w szeregu.

Mówi się, że wskaźniki lub estymatory zdolne do radzenia sobie z wartościami odstającymi są solidne: mediana jest solidnym wskaźnikiem, podczas gdy średnia nie.

Wydarzenie i przyczyny

W przypadku normalnego rozkładu danych , z reguły trzy sigma stwierdza się, że około 1 na 22 obserwacje ma odchylenie od średniej równa lub większa niż 2 razy odchylenie standardowe i który w przybliżeniu u 1 na 370 obserwacje ma odchylenie od średnie odchylenie od średniej równe lub większe niż 3-krotność odchylenia standardowego. Zatem to empiryczne prawo pozwala nam określić, czy liczba znalezionych wartości odstających jest normalna, czy też konieczne jest poszukiwanie przyczyny innej niż przypadek statystyczny. Na przykład w próbie 1000 wartości znalezienie 5 wartości odstających, które różnią się od średniej ponad 3-krotność odchylenia standardowego, jest „normalne” - patrz rozkład Poissona - i sugeruje brak anomalii w szeregu wartości. Jeśli jednak wielkość próby wynosi 100 wartości, znalezienie tylko 3 wartości odstających wystarczy, aby wykazać, że istnieje powód inny niż zwykły przypadek (wartości z innej populacji lub błąd modelu ...), ponieważ jest to ponad 11-krotność liczby oczekiwany z zasadą trzech sigma.

W ogóle, jeśli charakter rozmieszczenia ludności jest znana a priori , możliwe jest, aby sprawdzić, czy liczba odstających różni się znacznie od tego, co oczekuje: dla danego progu (dlatego mają wartości prawdopodobieństwa p bycia leży w przedział [-próg; próg]) danego rozkładu, liczba wartości odstających będzie zgodna z rozkładem dwumianowym parametru p , który można ogólnie przybliżyć rozkładem Poissona parametru λ = pn . Tak więc, jeśli weźmiemy rozkład normalny z progiem przy 3 odchyleniach standardowych od średniej, p wynosi około 0,3%, a zatem dla 1000 wartości możemy przybliżyć liczbę wartości, których odchylenie jest większe niż próg (a zatem 3σ ) według rozkładu Poissona z λ = 3.

Przyczyny

Dane odstające mogą mieć wiele przyczyn. Urządzenie pomiarowe może mieć tymczasową awarię. Może wystąpić błąd w transmisji lub w transkrypcji danych. Mogła nastąpić zmiana procedur, oszukańcze zachowanie lub błąd ludzki. Próbka mogła być również „skażona” przez osobniki spoza badanej populacji. Ostrzeżenie ! dane może wydawać się odbiegające od normy, gdy jest tylko skrajne i zgodne z naturalnymi zmianami populacji. Jego pozornie anormalny charakter może również ujawnić słabą adekwatność modelu statystycznego zastosowanego do interpretacji danych, co wymaga dalszych badań badacza. Patologiczny aspekt wartości odstających w jakiejś postaci (słowo patologiczny jest używane w tym sensie, że niezależnie od warunków eksperymentu zawsze będą istniały dane ekstremalne z powodu przypadku), który pojawia się w różnych ciągach wartości, może wskazywać że mechanizm przyczynowy różni się między danymi na końcach szeregu ( efekt Kinga ).

Zidentyfikuj wartości odstające

Nie ma jasnej matematycznej definicji wartości odstającej. Ustalenie, czy obserwacja jest wartością odstającą, czy nie, jest zadaniem bardzo subiektywnym. Istnieją jednak różne metody wykrywania wartości odstających. Niektóre są graficzne, takie jak technika prawej ręki Henry'ego , inne są oparte na modelu, technika boxplot jest hybrydą.

Porównanie odchyleń do odchylenia standardowego

Metody oparte na modelach są używane do identyfikowania wartości odstających, gdy dane pochodzą z rozkładu normalnego. Metody te identyfikują obserwacje, które są uważane za „mało prawdopodobne” na podstawie średniej i odchylenia standardowego.

Test Chauveneta
Test Grubbsa (w)
MMS , test do identyfikacji wartości odstających w regresji liniowej.
Test Peirce (en) „Proponuje się ustalenie w serii obserwacji progu, od którego wszystkie obserwacje mogą zostać odrzucone, pod warunkiem, że istnieje kilka odrzuconych obserwacji. Problem ten rozwiązuje się, biorąc pod uwagę, że obserwacje należy odrzucić, gdy prawdopodobieństwo błędu uzyskane przez ich przechowywanie jest mniejsze niż prawdopodobieństwo błędu uzyskane przez odrzucenie ich pomnożone przez prawdopodobieństwo wykonania tylu, a nie więcej, nieprawidłowych obserwacji. " $m$ $nie$ (cytowane zdanie w artykule wstępnym na stronie 516 Peirce (wydanie z 1982) A Manual of Astronomy 2: 558 Chauvenet).
Test Q Dixona
Konwencje E178 określone przez ASTM International w odniesieniu do wartości odstających.
Odległość Mahalanobisa oraz techniki czynniki są często używane do wykrywania wartości oddalone, zwłaszcza gdy rozwój modelu regresji liniowej.

Inne oceny zmienności

Istnieją również inne metody, które opierają się na miarach, takich jak rozstęp międzykwartylowy . Na przykład, jeśli i są odpowiednio pierwszym i trzecim kwartylem, wówczas możemy zdefiniować wartość odstającą jako dowolną wartość znajdującą się poza przedziałem: $Q_ {1}$ $Q_ {3}$

{\ Displaystyle {\ duży [} Q_ {1} -k (Q_ {3} -Q_ {1}), Q_ {3} + k (Q_ {3} -Q_ {1}) {\ duży]}}

z dodatnią stałą. $k$

W zadaniu eksploracji danych polegającej na wykrywaniu anomalii , inne podejścia opierają się na odległościach lub gęstości, a wiele z nich wykorzystuje algorytm k-najbliższych sąsiadów do identyfikacji wartości jako wartości odstającej lub nie.

Zmodyfikowany test Tau Thompsona

Zmodyfikowany test Tau Thompsona jest metodą używaną do określania, czy w szeregu wartości występują wartości odstające. Siła tej metody polega na tym, że uwzględnia ona odchylenie standardowe i średnią z szeregu oraz zapewnia statystycznie określony próg odrzucenia; w związku z tym zapewnia obiektywną metodę określania, czy wartość jest wartością odstającą.

Przebieg testu: Najpierw określamy średnią z serii. Następnie określa się odchylenie od średniej każdej wartości. Następnie próg uwalniania jest określany przy użyciu następującego wzoru :; gdzie jest wartością krytyczną z tabeli Prawa studenta , jest wielkością próby i jest odchyleniem standardowym próbki . ${\ Displaystyle Seuil {=} {\ Frac {{t _ {\ alpha / 2}} {\ lewo (n-1 \ prawo)}} {{\ sqrt {n}} {\ sqrt {n-2 + { t_ {\ alpha / 2} ^ {2}}}}}}}$ ${\ displaystyle {t _ {\ alpha / 2}}}$ $nie$ $s$

Aby określić, czy wartość jest wartością odstającą, oblicz δ = : ${\ displaystyle {\ frac {X - {\ bar {x}}} {s}}}$

jeśli δ> Próg, wartość jest wartością odstającą; jeśli δ ≤ Próg, wartość nie jest wartością odstającą.

Zmodyfikowany test Tau Thompsona służy do znalezienia jednej wartości odstającej naraz (większa wartość δ jest zmieniana, jeśli jest wartością odstającą). W tym sensie, jeśli obliczona wartość jest wartością odstającą, jest usuwana z zestawu wartości i test jest ponownie stosowany z nową średnią i nowym progiem odrzucenia. Ten proces powtarza się, dopóki w szeregu nie będzie już żadnych wartości odstających.

Inne podejścia

W niektórych pracach próbowano również opisać wartości odstające dla serii wartości nominalnych. Na przykład, w kontekście serii przykładów (lub przypadków) w serii wartości, tworzony jest wskaźnik zwany siłą przypadku, który mierzy prawdopodobieństwo błędnej klasyfikacji przypadku ( gdzie jest przypisany termin do klasy i reprezentuje wartość przypisane do sprawy w serii przykładów ). W idealnym przypadku siła przypadku zostanie obliczona poprzez zsumowanie serii wszystkich możliwych założeń : ${\ Displaystyle 1-p (r | x)}$ $y$ $x$ $t$ $H.$

{\ Displaystyle {\ rozpocząć {wyrównane} IH (\ langle x, y \ rangle) & = \ suma _ {H} (1-p (r, x, h)) p (h | t) \\ & = \ sum _ {H} p (h | t) -p (y, x, h) p (h | t) \\ & = 1- \ sum _ {H} p (y, x, h) p (h | t). \ end {aligned}}}

W praktyce formuła ta jest niepraktyczna, ponieważ jest potencjalnie nieskończona, a obliczenie jest niemożliwe dla dużej liczby algorytmów. W związku z tym solidność przypadków można oszacować za pomocą podzbioru : $H.$ ${\ displaystyle p (h | t)}$ ${\ Displaystyle L \ podzbiór H}$

{\ Displaystyle IH_ {L} (\ langle x, y \ rangle) = 1 - {\ Frac {1} {| L |}} \ suma _ {j = 1} ^ {| L |} p (y | x , g_ {j} (t, \ alpha))}

gdzie jest hipoteza wywołana przez algorytm uczenia się utworzony na szeregu wartości z hiperparametrami . Siła przypadku stanowi wartość stałą w celu ustalenia, czy dana sprawa jest poboczna. ${\ Displaystyle g_ {j} (t, \ alfa)}$ $g_ {j}$ $t$ $\alfa$

Praca z wartościami odstającymi

Decyzja o tym, czy poradzić sobie z wartością odstającą, zależy od przyczyny tego ostatniego.

Zachowanie danych odstających

Nawet jeśli model rozkładu normalnego jest odpowiedni do analizy wartości, wartości odstające są oczekiwane dla dużych próbek i nie powinny być automatycznie wykluczane. Rzeczywiście, lepiej jest stosować solidne algorytmy w obliczu wartości odstających niż modele, które systematycznie odrzucają te wartości.

Wyłączenie wartości odstających

Usuwanie wartości odstających jest praktyką kontrowersyjną, na którą patrzy wielu naukowców i profesorów; Tak długo, jak nie ma matematycznych kryteriów oferujących obiektywną i ilościową metodę odrzucania wartości, niemożliwe będzie uczynienie praktyki tłumienia naukowych i metodologicznych wartości odstających bardziej akceptowalną. Szczególnie w przypadku małych próbek i jeśli charakter rozkładu jest nieznany i nie można go przybliżyć rozkładem normalnym. Odrzucenie wartości odstających jest bardziej akceptowalne, jeśli model leżący u podstaw zjawiska został zmierzony i rozkład błędów pomiaru jest dokładnie znany. Dane odstające wynikające z przyrządu, o którym wiadomo, że popełnia błędy, można wykluczyć, ale najlepiej najpierw sprawdzić, czy przyrząd faktycznie popełnia błędy.

Dwa najczęściej stosowane podejścia do wykluczania wartości odstających to dzielenie wyrazów (lub obcięcie) i metoda Winsorising . Dzielenie wyrazów eliminuje wartości odstające, podczas gdy Winsorising zastępuje wartości odstające najbliższymi „niepodejrzanymi” wartościami. Wykluczenie może być również konsekwencją procesu pomiaru. Rzeczywiście, jeśli podczas eksperymentu instrument nie jest w stanie zmierzyć tak skrajnych wartości, powstają wartości ocenzurowane .

W problemach regresji innym podejściem jest wykluczenie tylko tych wartości, które mają duży wpływ na szacowane współczynniki, zwłaszcza gdy używa się miary takiej jak odległość Cooka .

Jeżeli wartość (lub dane) są wyłączone z analizy danych , należy to wyraźnie zaznaczyć we wszystkich raportach wynikających z analizy.

Rozkłady nienormalne

Należy również wziąć pod uwagę, że wartości badanych szeregów nie mają rozkładu normalnego i mogą mieć „ grube ogony ”. Na przykład, podczas próbkowania z rozkładu Cauchy'ego , wariancja rośnie wraz z rozmiarem próby, średnia próby jest odchylona i nie jest zbieżna wraz ze wzrostem wielkości próby. Ponadto oczekuje się, że wartości odstające będą znacznie wyższe niż w przypadku rozkładu normalnego. Nawet niewielka różnica w grubości ogona może mieć duży wpływ na liczbę oczekiwanych wartości ekstremalnych.

Niepewność przynależności do całości

Zestaw podejście członków uważa, że niepewność odpowiadający pomiaru zmiennej losowej X jest reprezentowany przez zestaw X ı (zamiast funkcji gęstości prawdopodobieństwa). Jeśli nie pojawią się żadne wartości odstające, x należy do przecięcia wszystkich X i . Jeśli pojawi się wartość odstająca, to przecięcie jest puste i zwalniamy niewielką liczbę X i (tak małą, jak to możliwe), aby uniknąć niespójności. Można to zrobić za pomocą pojęcia przecięcia uwolnionego q . Jak zilustrowano na rysunku, przecięcie q- zwolnione odpowiada zbiorowi wszystkich x, które należą do wszystkich zbiorów X i z wyjątkiem q z nich. Zbiory X i, które nie przecinają przecięcia q- uwolnione, można podejrzewać o zbieranie wartości odstających.

Inne modele

W przypadku, gdy znana jest przyczyna wartości odstających, możliwe jest włączenie tego efektu do modelu. Na przykład przy użyciu hierarchicznego modelu Bayesa lub modelu mieszanego .

Uwagi i odniesienia

(in) FE Grubbs , „ Procedures for Detecting oddalonych obserwacji w próbkach ” , Technometrics , tom. 11, n o 1,Luty 1969, s. 1-21 ( DOI 10.1080 / 00401706.1969.10490657 ) :
„ Obserwacja odstająca lub„ obserwacja odstająca ”to taka, która wydaje się znacznie odbiegać od innych członków próby, w której występuje. "
(w) GS Maddala , Wprowadzenie do ekonometrii , Nowy Jork, MacMillan,1992, 2 II wyd. , 631 s. ( ISBN 0-02-374545-2 , czytaj online ) , „Odstające” , str. 88–96 [s. 89]
„Wartość odstająca to obserwacja, która jest daleko od reszty obserwacji. "
Grubbs 1969 , s. 1 stwierdzające: „Odległa obserwacja może być jedynie skrajnym przejawem losowej zmienności właściwej dla danych. ... Z drugiej strony, obserwacja odległa może być wynikiem rażącego odstępstwa od zalecanej procedury eksperymentalnej lub błędu w obliczeniach lub zapisach wartość liczbowa. "
Ripley, Brian D. 2004. Solidne statystyki
(w) Da Ruan , Guoqing Chen , Stephen Kerre i Geert Wets , Intelligent Data Mining: Techniques and Applications , Springer al. „Studies in Computational Intelligence, tom. 5 ",2005, 518 s. ( ISBN 978-3-540-26256-5 , czytaj online ) , str. 318
(w) Peter Rousseeuw i A. Leroy, Robust Regression and Outlier Detection , John Wiley & Sons,1996, 3 e ed.
(w) J. Victoria Hodge i Jim Austin, A Survey of Outlier Detection Methodologies ,1943
(w) Vic Barnett and Toby Lewis, Outliers in Statistical Data , Chichester / New York / Brisbane itp., Wiley,1994, 3 e ed. , 584, str. ( ISBN 0-471-93094-6 )
(w) KKLB Adikaram , MA Hussein , Mr. Effenberger i T. Becker , „ Metoda wykrywania wartości odstających w regresji liniowej w oparciu o sumę postępu arytmetycznego ” , The Scientific World Journal ,2014( DOI 10.1155 / 2014/821623 )
Benjamin Peirce , „Criterion for the Rejection of Doubtful Observations” , Astronomical Journal II 45 (1852) i Errata do oryginalnej pracy .
(w :) Benjamin Peirce , „ jest kryterium Peirce'a ” , Proceedings of the American Academy of Arts and Sciences , vol. 13 maja 1877 - maj 1878, s. 348–351 ( DOI 10.2307 / 25138498 , JSTOR 25138498 )
(w) Charles Sanders Peirce , " Dodatek nr 21. O teorii błędów obserwacji " , raport superintendent of the United States Coast Survey Pokazujący postęp badania w roku 1870 ,1873, s. 200–224. NOAA PDF Eprint (idzie do raportu str. 200, PDF na str. 215).
(w) Charles Sanders Peirce , „On the Theory of Errors of Observation [Dodatek 21, selon notatka redakcyjna na stronie 515]” w Kloesel Christian JW, et alia , Writings of Charles S. Peirce: A Chronological Edition , vol. 3: 1872–1878 , Bloomington, Indiana, Indiana University Press,1986( 1 st ed. 1982), 140-160 str. ( ISBN 0-253-37201-1 )
(in) EM Knorr , RT Ng i V. Tucakov , „ Distance-based outliers: Algorithms and Applications ” , The VLDB Journal the International Journal on Very Large Data Bases , Vol. 8, n kość 3-4,2000, s. 237 ( DOI 10.1007 / s007780050006 )
(w) S. Ramaswamy, R. i K. Rastogi Shim (2000) „Efektywne algorytmy wydobywania wartości odstających z szerokich zbiorów danych” w Proceedings of the 2000 ACM International Conference on Management of SIGMOD data - SIGMOD '00 : 427 str. ( DOI : 10.1145 / 342009.335437 ).
(en) MM Breunig, H.-P. Kriegel , RT Ng i J. Sander (2000) „ LOF: Identifying Local Density-based Outliers ”: 93–104 str. ( DOI : 10.1145 / 335191.335388 ).
(w) E. Schubert , A. Zimek i H. -P. Kriegel , „ Local outlier detection reconsidered: A General view on locality with applications to space, video, and network-outlier detection ” , Data Mining and Knowledge Discovery ,2012( DOI 10.1007 / s10618-012-0300-z )
(w) John M. Cimbala, " Outliers " na mne.psu.edu ,12 września 2011.
Smith, MR; Martinez, T.; Giraud-Carrier, C. (2014). „ Analiza złożoności danych na poziomie instancji ”. Uczenie maszynowe, 95 (2): 225–256.
(w) Edward L. Wike , Analiza danych: Podstawa statystyczna dla studentów psychologii ,2006, 256 pkt. ( ISBN 978-0-202-36535-0 , czytaj online ) , str. 24–25
(w) WJ Dixon , „ Uproszczone oszacowanie na podstawie cenzurowanych próbek normalnych ” , The Annals of Mathematical Statistics , Vol. 31 N O 2Czerwiec 1960, s. 385–391 ( DOI 10.1214 / aoms / 1177705900 , czytaj online )
Cook, R. Dennis (luty 1977). „Wykrywanie wpływowych obserwacji w regresji liniowej”. Technometrics (American Statistical Association) 19 (1): 15–18.
Weisstein, Eric W. Cauchy Distribution. Z MathWorld - zasób sieciowy Wolfram
(w) L. Jaulin , " Probabilistic set-członkostwo podejście do solidnej regresji " , Journal of Statistical Theory and Practice ,2010( czytaj online )
Roberts, S. i Tarassenko, L .: 1995, A probabilistyczna sieć przydzielania zasobów do wykrywania nowości. Neural Computation 6, 270–284.
(w) CM Bishop , „ Novelty Detection and Validation Neural Network ” , Proceedings of the IEEE Conference on Vision, Image and Signal Processing , tom. 141 n O 4,Sierpień 1994, s. 217–222 ( DOI 10.1049 / ip-vis: 19941330 )

Zobacz też

Powiązane artykuły

Anomalia szeregów czasowych
Solidna regresja
Pozostałość studentyzowana
Transformacja danych (statystyki)
Lokalny czynnik odstający
Solidność (statystyki)

Linki zewnętrzne

Dokumentacja urzędowa :
(en) Eric W. Weisstein , „ Outlier ” , na MathWorld
(en) N. Balakrishnan i A. Childs , „Outlier” , w: Michiel Hazewinkel , Encyclopædia of Mathematics , Springer ,2002( ISBN 978-1556080104 , czytaj online )
Test Grubbsa opisany w instrukcji NIST
„ Jak wykryć jednowymiarowe wartości odstające ” ( Archiwum • Wikiwix • Archive.is • Google • Co robić? ) (Dostęp 21 września 2017 r. ) , „ Jak wykryć wielowymiarowe wartości odstające ” ( Archiwum • Wikiwix • Archive.is • Google • Co to do? ) (dostęp 21 września 2017 r. ) i „ how to deal with outliers ” ( Archiwum • Wikiwix • Archive.is • Google • Que faire? ) (dostęp 21 września 2017 r. )