W matematyce , odchylenie standardowe (pisane również odchylenie standardowe ) jest miarą rozproszenia wartości w statystycznej próbek i prawdopodobieństwa rozkładu . Jest definiowany jako pierwiastek kwadratowy z wariancji lub, równoważnie, jako średni kwadratowy z odchyleń od średniej . Na ogół jest napisane grecką literą σ („ sigma ”), zgodnie ze standardowym odchyleniem nazwy w języku angielskim. Jest jednorodny z mierzoną zmienną.
Odchylenia standardowe występują we wszystkich dziedzinach, w których stosowane są prawdopodobieństwa i statystyki, w szczególności w dziedzinie badań ankietowych , fizyki , biologii lub finansów . Generalnie umożliwiają one syntezę wyników numerycznych powtarzanego eksperymentu. Zarówno w prawdopodobieństwie, jak iw statystyce służy do wyrażenia innych ważnych pojęć, takich jak współczynnik korelacji , współczynnik zmienności czy optymalny rozkład Neymana .
Gdy odchylenie standardowe populacji jest nieznane, jego wartość określa się w przybliżeniu za pomocą estymatorów .
Wyobraźmy sobie populację 4 osób o wielkości 2 metrów. Średnia wielkość to 2 metry. Odchylenia od średniej wynoszą 0, więc odchylenie standardowe wynosi 0 metrów.
Teraz wyobraź sobie populację 4 osób o rozmiarach 2 m, 1,80 m, 2,20 m i 2 m. Średnia wynosi również = 2 metry. Odchylenia od średniej wynoszą teraz 0 m, 0,20 m, 0,20 m i 0 m. Zatem odchylenie standardowe jest średnią kwadratową tych odchyleń, czyli równą w przybliżeniu 0,14 m.
Odchylenie standardowe jest wielkością, której wynalazek sięga XIX th Century, który widział statystyka rozwijać UK .
To właśnie Abraham de Moivre przypisał odkrycie pojęcia miary dyspersji, które pojawiło się w jego książce The Doctrine of Chances w 1718 r. Jednak termin odchylenie standardowe ( „ odchylenie standardowe ” ) został użyty po raz pierwszy przez Karla Pearsona w 1893 r. Towarzystwo Królewskie. Również Karl Pearson po raz pierwszy użył symbolu σ do przedstawienia odchylenia standardowego. W 1908 roku William Gosset , lepiej znany pod pseudonimem Student, zdefiniował empiryczne odchylenie standardowe próby i wykazał, że ważne jest, aby odróżnić ją od odchylenia standardowego populacji . Wariancja jest pojęciem, które pojawiły się później, w 1918 roku, w tekście Ronald Fisher pt krewnych Korelacja entre na przypuszczenie o Prawa Mendla .
Z wyczerpującego badania ( x 1 , ..., x n ) zmiennej ilościowej dla wszystkich osobników populacji odchylenie standardowe jest pierwiastkiem kwadratowym z wariancji, to znaczy:
Odchylenie standardowe jest jednorodne ze zmienną mierzoną, to znaczy, że jeśli przez zmianę jednostki wszystkie wartości zostaną pomnożone przez współczynnik α> 0 , odchylenie standardowe zostanie pomnożone przez ten sam współczynnik. Z drugiej strony odchylenie standardowe jest niezmienne przez przesunięcie addytywne: jeśli dodamy stałą do wszystkich zarejestrowanych wartości, nie zmieni to odchylenia standardowego. Te dwie właściwości czynią odchylenie standardowe wskaźnikiem dyspersji .
W przeciwieństwie do innych wskaźników dyspersji, takich jak rozstęp międzykwartylowy , odchylenie standardowe ma tę zaletę, że można je obliczyć ze średnich i odchyleń standardowych w podziale populacji, ponieważ wariancja ogólna jest sumą wariancji średnich i średnia wariancji. Umożliwia to równoległe obliczanie odchylenia standardowego .
Odchylenie standardowe jest implementowane w Pythonie w bibliotece numpyz metodą std, aw języku R z funkcją sd.
Odchylenie standardowe to odległość euklidesowa od współrzędnej punktu M ( x 1 , ..., x n ) po prawej przekątnej generowanej przez wektor (1, ..., 1) w , uzyskana przez jego współrzędne rzutu ortogonalnego ( x , ..., x ) .
Odchylenie standardowe jest więc minimum funkcji obliczającej odległość między M a punktem o współrzędnych ( t , ..., t ) .
Odchylenie standardowe można wykorzystać do porównania jednorodności kilku populacji w ramach tej samej zmiennej. Na przykład, biorąc pod uwagę dwie klasy o tym samym średnim poziomie i oceniane według tych samych kryteriów, klasa z wyższym odchyleniem standardowym ocen będzie bardziej niejednorodna. W przypadku punktacji od 0 do 20, minimalne odchylenie standardowe wynosi 0 (wszystkie identyczne wyniki) i może wynosić do 10, jeśli połowa klasy ma 0/20, a druga połowa 20/20.
Z drugiej strony nie możemy porównać odchyleń standardowych różnych zmiennych takimi, jakimi są i których rzędy wielkości niekoniecznie się pokrywają. Dla ściśle dodatniej zmiennej ilościowej definiujemy następnie współczynnik zmienności , równy ilorazowi odchylenia standardowego przez średnią. Ta bezwymiarowa liczba nie zależy od wybranej jednostki miary i umożliwia porównanie rozproszenia różnych zmiennych.
Wysoki współczynnik zmienności może prawdopodobnie sygnalizować istnienie wartości odstającej. Jednym z kryteriów jest odrzucenie wartości, które różnią się od średniej o ponad 3-krotność odchylenia standardowego. W przypadku rozkładu Gaussa prawdopodobieństwo takiego przeregulowania jest rzędu 3/1000.
Modelowanie prawdopodobieństwa rozkładu statystycznego polega na zdefiniowaniu zmiennej losowej , czyli aplikacji X z miarą prawdopodobieństwa , która umożliwia określenie prawdopodobieństw postaci . Dane z tych prawdopodobieństw jest prawo prawdopodobieństwo od X . Modelowanie jest dokładne, jeśli prawdopodobieństwo zdarzenia odpowiada częstotliwości występowania odpowiednich wartości w badanej populacji, zgodnie z prawem dużych liczb .
Interesują nas rzeczywiste lub wektorowe zmienne losowe z kwadratem całkowitoliczbowym, to znaczy dla których oczekiwanie E ( X 2 ) jest zbieżne. Dla zmiennej wektorowej (z wartościami w pełnej znormalizowanej przestrzeni wektorowej ) oczekiwanie jest wektorem o tej samej przestrzeni, a kwadrat oznacza kwadrat normy. Zbiór tych zmiennych sam w sobie jest przestrzenią wektorową .
Odchylenie standardowe X to pierwiastek kwadratowy z wariancji .
Istnienie odchylenia standardowego jest zapewnione dla ograniczonej zmiennej losowej lub przyjmującej funkcję gęstości zdominowaną do nieskończoności przez funkcję potęgową z α > 3 .
W przypadku dyskretnej zmiennej losowej , których wartości są oznaczone x I , z odchyleniem standardowym jest napisane jak seria statystycznej , gdzie μ jest oczekiwanie z prawem X .
W szczególności, jeśli X jest jednorodny w zbiorze skończonym , tj. Jeśli
dla wszystkich i między 1 a n ,więc
.W przypadku zmiennej losowej gęstości, dla której zapisano prawdopodobieństwa, gdzie f jest funkcją lokalnie integrowalną , na przykład dla miary Lebesgue'a , ale niekoniecznie funkcją ciągłą, odchylenie standardowe X jest zdefiniowane przez gdzie jest oczekiwanie x .
Dzięki tym formułom i definicji obliczenie odchyleń standardowych dla powszechnie spotykanych praw jest łatwe. Poniższa tabela przedstawia odchylenia standardowe niektórych z tych praw:
Nazwa prawa | Ustawienia) | Opis | Odchylenie standardowe |
---|---|---|---|
Prawo Bernoulliego | p ∈] 0; 1 [ | Dyskretne prawo dotyczące {0; 1} z prawdopodobieństwem p uzyskania 1 | |
Prawo dwumianowe | i p ∈] 0; 1 [ | Prawo sumy n zmiennych niezależnych według prawa Bernoulliego o tym samym parametrze p | |
Prawo geometryczne | p ∈] 0; 1 [ | Prawo rangowe pierwszej realizacji w ciągu niezależnych zmiennych Bernoulliego o tym samym parametrze p | |
Jednolite prawo segmentowe | a < b | Prawo stałej gęstości na [ a , b ] | |
Prawo wykładnicze | Prawo gęstości ze stałym współczynnikiem awaryjności λ | ||
Prawo Poissona | Ustawa o liczbie samodzielnych realizacji średnio λ | ||
Prawo χ² | nie | Prawo sumy n kwadratów niezależnych zredukowanych zmiennych normalnych |
Jeżeli zmienna X ma rozkład logarytmiczno- normalny, wówczas ln X ma rozkład normalny, a odchylenie standardowe X jest powiązane z geometrycznym odchyleniem standardowym .
Ale wszystkie prawa prawdopodobieństwa niekoniecznie dopuszczają skończone odchylenie standardowe: prawo Cauchy'ego (lub prawo Lorentza) nie ma odchylenia standardowego ani nawet matematycznego oczekiwania.
gdzie ρ ( X , T ) jest współczynnikiem korelacji dwóch zmiennych X i Y .
Nierówność trójkątna Odchylenie standardowe sumy jest powiększane o sumę odchyleń standardowych: . Co więcej, równość istnieje wtedy i tylko wtedy, gdy istnieje prawie pewna zależność afiniczna między dwiema zmiennymi. Odległość euklidesowa Odchylenie standardowe rzeczywistej zmiennej losowej X to odległość euklidesowa tej zmiennej na prawo od stałych w przestrzeni zmiennych dopuszczających wariancję. Jest to zatem minimum funkcji , osiągnięte na stałej c = E ( X ) .W nauce powszechnie uważa się, że pomiary wielkości są rozkładane zgodnie z rozkładem Gaussa , poprzez kumulację błędów pomiarowych lub niezależną interferencję z innymi zjawiskami, przy zastosowaniu centralnego twierdzenia granicznego . Histogramu z zaobserwowanych wielkości następnie zbliża się do krzywej dzwonowej charakterystycznych dla normalnej prawo . Krzywa całkowicie zdefiniowana przez dane wartości średniej i odchylenia standardowego, te dwie wartości pozwalają na zdefiniowanie przedziału fluktuacji, który koncentruje większość obserwacji.
Obliczenie kwantyli tego prawa pokazuje na przykład, że dla wielkości spełniającej ten rozkład na populacji osobników, przy średniej mi odchyleniu standardowym σ , 95% obserwowanych wartości będzie należeć do przedziału [ m - 1,96 σ; m + 1,96 σ] . Możemy zatem powiązać prawdopodobieństwa z przedziałami wartości wyśrodkowanymi na średniej i których amplituda jest wielokrotnością odchylenia standardowego.
Maksymalne odchylenie od średniej | Proporcja wartości |
---|---|
68,27% | |
95,45% | |
99,73% |
W przemyśle odchylenie standardowe jest wykorzystywane do obliczania wskaźnika jakości wytwarzanych wyrobów lub wskaźnika niezawodności urządzenia pomiarowego .
W fizyce cząstek elementarnych wykrywanie zdarzeń jest zatem określane ilościowo w postaci liczby sigm, reprezentujących różnicę między obserwowaną wartością a oczekiwaną średnią w przypadku braku zdarzenia. Wynik uznaje się za istotny, uzyskując 5 sigm, reprezentujących prawdopodobieństwo błędu mniejsze niż 0,00006% (tj. Poziom ufności wyższy niż 99,99994%).
W dziedzinie analizy technicznej od cen akcji , odchylenie standardowe jest miarą zmienności cen. W Wstęgi Bollingera są narzędzia ułatwiające analizę prognoz rynkowych. John Bollinger skonstruował 20-dniową krzywą średniej ruchomej i krzywe po obu stronach tej krzywej, zlokalizowane przy dwukrotnym odchyleniu standardowym w ciągu tych 20 dni. John Bollinger zastosował dostosowaną definicję odchylenia standardowego. Ponadto ryzyko aktywów giełdowych oraz ryzyka rynkowego są mierzone przez odchylenie standardowe zysków oczekiwanych w modelu wyceny aktywów kapitałowych z Harry Markowitz .
Jeśli X jest zmienną losową o niezerowym odchyleniu standardowym, możemy sprawić, by odpowiadała wyśrodkowanej i zredukowanej zmiennej Z zdefiniowanej przez . Dwie wyśrodkowane i zredukowane zmienne losowe Z 1 i Z 2 są łatwe do porównania, ponieważ E ( Z i ) = 0 i σ Z i = 1 .
Do głównych problemów granica twierdzenie limitu szereg obniżonych skupionych zmiennej losowej, asymetrii i spłaszczania współczynniki gęstości prawdopodobieństwa PL ( Z 3 ) i e ( Z 4 ) , umożliwiają porównanie różnych rozkładów.
Jeżeli X i Y są dwa zmiennymi losowymi rzeczywistym dopuszczające zarówno niezerowy wariancji liniowy współczynnik korelacji jest stosunek gdzie jest kowariancji zmiennych X i Y . Według Cauchy- Schwarz , ; współczynnik korelacji przyjmuje wartości z przedziału [–1; +1] .
Jeśli dwie zmienne są niezależne, współczynnik korelacji liniowej wynosi zero, ale odwrotność jest fałszywa.
Jeśli współczynnik korelacji liniowej wynosi 1 lub -1, to prawie na pewno dwie zmienne są w relacji afinicznej.
To dzięki nierówności Bienaymé-Czebyszewa odchylenie standardowe pojawia się jako miara rozrzutu wokół średniej. Rzeczywiście, ta nierówność wyraża to i pokazuje, że prawdopodobieństwo, że X odbiega od E ( X ) o więcej niż k- krotność odchylenia standardowego, jest mniejsze niż 1 / k 2 .
W mechanice kwantowej The zasada niepewność z Heisenberga wyrażone jako iloczyn odchylenia standardowe w pozycji X i tym impuls P z cząstek jest większa niż lub równa zmniejszonym stałą Plancka podzielonej przez dwa, albo .
Gdy nie jest możliwe poznanie wszystkich wartości rozważanej cechy, jesteśmy w ramach teorii statystycznej . Następnie statystyk przechodzi przez pobieranie próbek i oszacowanie, aby ocenić analizowane wielkości, takie jak odchylenie standardowe.
Estymator jest funkcją umożliwiającą zbliżenie parametr populacji używając próbki pobierano w losowych lub ilości na zjawisku losowej na podstawie ich różnych realizacji.
W przypadku próby o wielkości n , dla której znana jest prawdziwa średnia - lub oczekiwanie - μ , estymator wygląda następująco:
σX=1nie∑ja=1nie(xja-μ)2.{\ Displaystyle \ sigma _ {X} = {\ sqrt {{\ Frac {1} {n}} \ sum _ {i = 1} ^ {n} (x_ {i} - \ mu) ^ {2}} }.} Niestety, często nie wiemy, μ i musi być określona na podstawie próbki się poprzez następujący estymator: . Na ogół stosuje się różne estymatory odchylenia standardowego. Większość z tych estymatorów jest wyrażona wzorem: Sk=1k∑ja=1nie(Xja-X¯)2.{\ Displaystyle S_ {k} = {\ sqrt {{\ Frac {1} {k}} \ sum _ {i = 1} ^ {n} (X_ {i} - {\ overline {X}}) ^ { 2}}}.} S n - 1 (lub S ′ ) jest najczęściej używanym estymatorem, ale niektórzy autorzy zalecają używanie S n (lub S ).Dwie ważne właściwości estymatorów to zbieżność i brak uprzedzeń .
Dla wszystkich k takich, że k / n zbliża się do 1, prawo dużych liczb gwarantuje, że S2
nnastępnie S.2
tyssą zbieżne estymatory z Ď 2 . Dzięki twierdzeniu o ciągłości , stwierdzając, że jeśli f jest ciągłe, to . Funkcja pierwiastka kwadratowego jest ciągła, S k również zbiega się do σ . W szczególności S n i S n - 1 są zbieżnymi estymatorami σ , które odzwierciedlają aproksymację σ przez te dwa szeregi, gdy n staje się coraz większe i potwierdzają, że statystyk używa tych estymatorów.
Estymator wariancji S2
n - 1,5jest bezstronny. Jednak nieliniowość funkcji pierwiastka kwadratowego powoduje, że S n - 1 jest nieco obciążony. Estymatory S2
ni S n są również stronnicze. Fakt uwzględnienia w mianowniku nie n, ale n - 1 ( poprawka Bessela ) przy obliczaniu wariancji wynika z faktu, że wyznaczenie średniej x z próby traci pewien stopień swobody, ponieważ formuła łączy x z wartościami x ja . Dlatego po obliczeniu x mamy tylko n - 1 niezależnych wartości . W przypadku, gdy dąży się do oszacowania odchylenia standardowego rozkładu normalnego, uzyskuje się nieobciążony estymator σ bliski S n - 1,5 . Wybór { n - 1,5} umożliwia skorygowanie dodatkowego odchylenia związanego z pierwiastkiem kwadratowym.
Dokładność, jaką daje błąd średniokwadratowy, jest trudna do jednoznacznego obliczenia dla jakichkolwiek praw. Wydawałoby się jednak, że pomimo większego odchylenia S n jest dokładniejsze niż S n –1 .
Aby oszacować dokładność oszacowania średniej zmiennej, stosuje się metodę obliczania odchylenia standardowego rozkładu próbkowania średnich. Nazywany również błędem standardowym średniej ( „ błąd standardowy ” ), oznaczany jako odchylenie standardowe średnich próbek o identycznej wielkości populacji. Jeśli n jest wielkością próbek pobranych z populacji o odchyleniu standardowym σ i jeśli N jest wielkością populacji, to . Gdy odchylenie standardowe σ populacji jest nieznane, można je zastąpić estymatorem S n –1 . Gdy n jest dostatecznie duże ( n ≥ 30 ), rozkład próbkowania jest w przybliżeniu zgodny z prawem Laplace'a-Gaussa, które umożliwia wyprowadzenie przedziału ufności, funkcji , pozwalającej na umiejscowienie średniej populacji w odniesieniu do próbki oznaczać.
Ogólnie rzecz biorąc, obliczenie prawa rozkładu empirycznych odchyleń standardowych jest bardzo trudne. Ale jeśli X n jest sekwencją zmiennych losowych rozłożonych zgodnie z rozkładem normalnym , to zgodnie z prawem χ 2 przy n stopniach swobody . To prawo ma dla odchylenia standardowego √ 2 n, a zatem odchylenie standardowe rozkładu wariancji zmiennych normalnych ma dla wyrażenia .
W badaniach opinii publicznej odchylenie standardowe mierzy niepewność przypadkowych zmian x nieodłączną dla badania, zwaną marginesem błędu z powodu przypadkowych odchyleń.
Ponadto w przypadku reprezentatywnej metody próbkowania, gdy różne warstwy mają bardzo różne odchylenia standardowe, odchylenie standardowe jest używane do obliczenia optymalnego rozkładu Neymana, co umożliwia ocenę populacji w różnych warstwach zgodnie z ich odchyleniem standardowym; innymi słowy to liczebność próby w warstwie i , gdzie n to całkowita wielkość próby, N i to wielkość warstwy i , σ i odchylenie standardowe warstwy i .
Odchylenia standardowe uzyskane przez program komputerowy mogą być niepoprawne, jeśli nie używa się algorytmu dostosowanego do danych, na przykład, gdy używa się algorytmu, który bezpośrednio wykorzystuje wzór na dużych próbkach wartości od 0 do 1.
Jednym z najlepszych algorytmów jest algorytm BP Welford, który opisał Donald Knuth w swojej książce The Art of Computer Programming , vol. 2 .
Przybliżenie odchylenia standardowego kierunku wiatru podaje algorytm Yamartino, który jest stosowany we współczesnych anemometrach .
Twierdzenie - Jeśli g jest ciągłe, to:
. Ponieważ pierwiastek kwadratowy jest funkcją ciągłą , S n -1 i S n są zbieżnymi estymatorami odchylenia standardowego, innymi słowy: