Kowariancja
W teorii prawdopodobieństwa i statystyki , kowariancji pomiędzy dwoma zmiennymi losowymi jest liczbą dzięki czemu możliwe do oszacowania ich wspólnych odchyleń od ich odpowiednich oczekiwań . Jest również używany dla dwóch serii danych liczbowych (odchyleń od średnich ). Kowariancja dwóch niezależnych zmiennych losowych wynosi zero, chociaż nie zawsze jest odwrotnie.
Kowariancja jest rozszerzeniem pojęcia wariancji . Korelacja jest formą znormalizowane kowariancji (The wymiar kowariancji między tymi dwiema zmiennymi jest produktem ich wymiary, przy czym zależność jest zmienną wielkość bezwymiarowa ).
Pojęcie to jest naturalnie uogólnione na kilka zmiennych ( wektor losowy ) przez macierz kowariancji (lub macierz wariancji-kowariancji ), która dla zbioru p rzeczywistych zmiennych losowych X 1 , itd., X p jest macierzą kwadratową, której l 'element wiersz i i kolumna j to kowariancja zmiennych X i i X j . Ta macierz umożliwia ilościowe określenie zmienności każdej zmiennej w porównaniu do każdej z pozostałych. Znormalizowaną postacią macierzy kowariancji jest macierz korelacji .
Na przykład rozproszenie zbioru losowych punktów w przestrzeni dwuwymiarowej nie może być w pełni scharakteryzowane przez pojedynczą liczbę ani przez wariancje w samych tylko kierunkach x i y ; Macierz 2 × 2 pozwala w pełni zrozumieć dwuwymiarowy charakter wariacji.
Macierz kowariancji jest dodatnią pół- określoną macierz może być diagonalized i badanie wartości własnych i wektorami umożliwia scharakteryzowania rozkładu przy użyciu ortogonalną podstawę : metoda ta jest przedmiotem analizy głównych składowych , które mogą być postrzegane jako rodzaj kompresji informacji.
Definicja kowariancji
Kowariancji dwóch rzeczywistych zmiennych losowych X i Y, z których każdy ma skończoną) (odchylenie oznaczoną Cov ( X, Y ) albo czasami σ XY , jest wartością:
Definicja - Cov(X,Y)≡mi[(X-mi[X])(Y-mi[Y])]{\ displaystyle \ operatorname {Cov} (X, Y) \ equiv \ operatorname {E} [(X- \ operatorname {E} [X]) \, (Y- \ operatorname {E} [Y])]}
gdzie oznacza oczekiwanie matematyczne . Wariancja X wynosi zatem Var ( X ) = Cov ( X , X ).
mi[] {\ displaystyle \ operatorname {E} [] \}
Intuicyjnie, kowariancja charakteryzuje jednoczesne zmiany dwóch zmiennych losowych: będzie dodatnia, gdy różnice między zmiennymi i ich średnimi będą miały ten sam znak, w przeciwnym razie będą ujemne.
Zgodnie z wyrażeniem definicji, wymiar kowariancji jest iloczynem wymiarów zmiennych. Z drugiej strony korelacja , która jest wyrażona za pomocą wariancji i kowariancji, przyjmuje wartości w [-1, 1] i pozostaje bezwymiarowa.
Mówi się, że dwie zmienne losowe, których kowariancja wynosi zero, są nieskorelowane: ich korelacja również wynosi zero.
Dla dwóch dyskretnych zmiennych losowych X i Y przyjmując ich wartości odpowiednio w dwóch skończonych zbiorach i mamy
{xja|1≤ja≤nie},{\ Displaystyle \ \ {x_ {i} \, | \, 1 \ równoważnik i \ równoważnik n \},} {yjot|1≤jot≤m},{\ Displaystyle \ \ {y_ {j} \, | \, 1 \ równoważnik j \ równoważnik m \},}
Cov(X,Y)=∑ja=1nie∑jot=1mxjayjotP.(X=xja i Y=yjot)-mi[X]mi[Y].{\ displaystyle \ operatorname {Cov} (X, Y) = \ suma _ {i = 1} ^ {n} \ sum _ {j = 1} ^ {m} \, x_ {i} y_ {j} \ operatorname {P} (X = x_ {i} \ {\ textrm {and}} \ Y = y_ {j}) - \ operatorname {E} [X] \ operatorname {E} [Y].}
podczas:
σX2=∑ja=1niexja2P.(X=xja)-mi[X]2iσY2=∑jot=1myjot2P.(Y=yjot)-mi[Y]2.{\ displaystyle \ sigma _ {X} ^ {2} = \ sum _ {i = 1} ^ {n} x_ {i} ^ {2} \ operatorname {P} (X = x_ {i}) - \ operatorname {E} [X] ^ {2} \ quad {\ textrm {and}} \ quad \ sigma _ {Y} ^ {2} = \ sum _ {j = 1} ^ {m} y_ {j} ^ { 2} \ nazwa operatora {P} (Y = y_ {j}) - \ nazwa operatora {E} [Y] ^ {2}.}
Definicja macierzy kowariancji
Macierz kowariancji w wektorze z p zmiennych losowych , z których każdy ma wariancji jest macierzą kwadratową którego ogólne określenie jest przez
X→=(X1⋮Xp){\ displaystyle {\ vec {X}} = {\ rozpocząć {pmatrix} X_ {1} \\\ vdots \\ X_ {p} \ end {pmatrix}}}
wja,jot=Cov(Xja,Xjot){\ Displaystyle a_ {i, j} = {\ textrm {Cov}} \ lewo (X_ {i}, X_ {j} \ prawo)}Macierz kowariancji, czasami zauważana , jest zdefiniowana przez
Σ{\ displaystyle {\ boldsymbol {\ Sigma}}}
Definicja - Var(X→)≡mi[(X→-mi(X→))(X→-mi(X→))T]{\ displaystyle \ operatorname {Var} ({\ vec {X}}) \ equiv \ operatorname {E} [({\ vec {X}} - \ operatorname {E} ({\ vec {X}})) ( {\ vec {X}} - \ nazwa operatora {E} ({\ vec {X}})) ^ {T}]}
Rozszerzając warunki:
Var(X→)=(Var(X1)Cov(X1,X2)⋯Cov(X1,Xp)Cov(X2,X1)⋱⋯⋮⋮⋮⋱⋮Cov(Xp,X1)⋯⋯Var(Xp))=(σx12σx1x2⋯σx1xpσx2x1⋱⋯⋮⋮⋮⋱⋮σxpx1⋯⋯σxp2){\ displaystyle \ operatorname {Var} ({\ vec {X}}) = {\ początek {pmatrix} \ operatorname {Var} (X_ {1}) & \ operatorname {Cov} (X_ {1}, X_ {2 }) & \ cdots & \ operatorname {Cov} (X_ {1}, X_ {p}) \\\ operatorname {Cov} (X_ {2}, X_ {1}) & \ ddots & \ cdots & \ vdots \ \\ vdots & \ vdots & \ ddots & \ vdots \\\ nazwa operatora {Cov} (X_ {p}, X_ {1}) & \ cdots & \ cdots & \ operatorname {Var} (X_ {p}) \ end {pmatrix}} = {\ begin {pmatrix} \ sigma _ {x_ {1}} ^ {2} & \ sigma _ {x_ {1} x_ {2}} & \ cdots & \ sigma _ {x_ {1} x_ {p}} \\\ sigma _ {x_ {2} x_ {1}} & \ ddots & \ cdots & \ vdots \\\ vdots & \ vdots & \ ddots & \ vdots \\\ sigma _ {x_ { p} x_ {1}} & \ cdots & \ cdots & \ sigma _ {x_ {p}} ^ {2} \ end {pmatrix}}}
Właściwości kowariancji
Uogólnienie twierdzenia Königa-Huygensa na wariancję implikuje:
Nieruchomość - Cov(X,Y)=mi(XY)-mi(X)mi(Y){\ displaystyle \ operatorname {Cov} (X, Y) = \ operatorname {E} (XY) - \ operatorname {E} (X) \ operatorname {E} (Y)}
Wniosek - Jeśli X i Y są niezależne, to .
Cov(X,Y)=0{\ displaystyle \ operatorname {Cov} (X, Y) = 0}
Rozmawiać generalnie nie jest prawdą.
Kontrprzykład
Wystarczy znaleźć dwie zmienne X i Y z zerową kowariancją i które nie są niezależne. Niech z będzie zmienną dyskretną, która może przyjąć wartości 1 lub -1 w sposób równoważny (zgodnie z prawem Rademachera ).
Niech X będzie dowolną zmienną losową niezależną od z . Wtedy X i Y = z X wyraźnie nie są niezależne. jednak
Cov(X,Y)=mi(XY)-mi(X)mi(Y)=mi(z)Var(X)=0.{\ displaystyle \ operatorname {Cov} (X, Y) = \ operatorname {E} (XY) - \ operatorname {E} (X) \ operatorname {E} (Y) = \ operatorname {E} (z) \ operatorname {Var} (X) = 0}
Właściwości -
- Cov(X,X)=Var(X){\ displaystyle \ operatorname {Cov} (X, X) = \ operatorname {Var} (X)}
- Cov(X,Y)=Cov(Y,X){\ displaystyle \ operatorname {Cov} (X, Y) = \ operatorname {Cov} (Y, X)}
-
Cov(vsX,Y)=vsCov(X,Y){\ displaystyle \ operatorname {Cov} (cX, Y) = c \ operatorname {Cov} (X, Y)}gdzie c jest stałą
-
Cov(X+vs,Y)=Cov(X,Y){\ displaystyle \ operatorname {Cov} (X + c, Y) = \ operatorname {Cov} (X, Y)}gdzie c jest stałą
-
Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z){\ displaystyle \ operatorname {Cov} (X + Y, Z) = \ operatorname {Cov} (X, Z) + \ operatorname {Cov} (Y, Z)}gdzie X , Y i Z to trzy zmienne
Dwuliniowość kowariancji:
Nieruchomość - Cov(∑jaXja ,∑jotYjot)=∑ja∑jotCov(Xja,Yjot){\ displaystyle \ operatorname {Cov} \ left (\ sum _ {i} {X_ {i}} \, \ sum _ {j} {Y_ {j}} \ right) = \ sum _ {i} {\ sum _ {j} {\ operatorname {Cov} \ left (X_ {i}, Y_ {j} \ right)}}}
Odzwierciedla to fakt, że kowariancja jest dodatnią
symetryczną postacią dwuliniową , a związaną z nią
formą kwadratową jest wariancja.
Wniosek - Var(wX+bY)=w2Var(X)+b2Var(Y)+2wbCov(X,Y){\ displaystyle \ operatorname {Var} (aX + bY) = a ^ {2} \ operatorname {Var} (X) + b ^ {2} \ operatorname {Var} (Y) + 2ab \ operatorname {Cov} (X , Y)}
Ta formuła jest odpowiednikiem . W rzeczywistości większość właściwości kowariancji jest analogiczna do właściwości iloczynu dwóch liczb rzeczywistych lub iloczynu skalarnego dwóch wektorów.
(x+y)2=x2+y2+2xy{\ Displaystyle (x + y) ^ {2} = x ^ {2} + y ^ {2} + 2xy}
Nieruchomość - Var(∑ja=1nieXja)=∑ja=1nieVar(Xja)+2∑1≤ja<jot≤nieCov(Xja,Xjot){\ Displaystyle \ operatorname {Var} \ lewo (\ suma _ {i = 1} ^ {n} {X_ {i}} \ prawej) = \ suma _ {i = 1} ^ {n} \ operatorname {Var} (X_ {i}) + 2 \ sum _ {1 \ leq i <j \ leq n} \ nazwa operatora {Cov} (X_ {i}, X_ {j})}
Ta formuła jest klasyczna dla
formy kwadratowej związanej z
symetryczną formą dwuliniową .
Własności macierzy kowariancji
- Macierz kowariancji jest symetryczna ; jego diagonalnymi elementami są wariancje, a elementy pozakątne są kowariancjami par zmiennych.
- Macierz kowariancji jest dodatnia, półokreślona (jej wartości własne są dodatnie lub zerowe). Jest ona określona dodatnio (ściśle dodatnie wartości własne), jeśli nie ma prawie pewnej zależności afinicznej między składowymi losowego wektora.
- Jest liniowy mapowanie z matrycy . Niech będzie losowym wektorem z macierzą kowariancji równą . Wtedy losowy wektor ma macierz kowariancjifa{\ displaystyle F}Mm,nie(R){\ Displaystyle M_ {m, n} (R)}M{\ displaystyle M}
X→=(X1⋮Xnie){\ Displaystyle {\ vec {X}} = {\ rozpocząć {pmatrix} X_ {1} \\\ vdots \\ X_ {n} \ koniec {pmatrix}}}VS{\ displaystyle C}Mnie(R){\ Displaystyle M_ {n} (R)}
fa(X){\ Displaystyle F (X)}MVSMT.{\ Displaystyle M \, C \, M ^ {T}.}
- Odwrotnością macierzy kowariancji jest czasami określane jako „precyzyjnej matrycy”.
Oszacowanie
Zaczynając od próbki niezależnych realizacji wektora losowego, nieobciążony estymator macierzy kowariancji jest dany przez
Vwr^(X→)=1nie-1∑ja=1nie(X→ja-X→¯)(X→ja-X→¯)T{\ displaystyle \ operatorname {\ widehat {Var}} ({\ vec {X}}) = {1 \ ponad {n- 1}} \ suma _ {i = 1} ^ {n} ({\ vec {X }} _ {i} - {\ overline {\ vec {X}}}) ({\ vec {X}} _ {i} - {\ overline {\ vec {X}}}) ^ {T}}gdzie jest wektor środków empirycznych.
X→¯=1nie∑ja=1nieX→ja{\ displaystyle {\ overline {\ vec {X}}} = {1 \ ponad {n}} \ sum _ {i = 1} ^ {n} {\ vec {X}} _ {i}}Estymator kowariancji dwóch zmiennych X i Y jest tylko przypadkiem szczególnym:
VSov^(X,Y)=1nie-1∑ja=1nie(Xja-X¯)(Yja-Y¯).{\ displaystyle \ operatorname {\ widehat {Cov}} (X, Y) = {1 \ ponad {n-1}} \ sum _ {i = 1} ^ {n} (X_ {i} - {\ overline { X}}) (Y_ {i} - {\ overline {Y}}).}Z drugiej strony, gdy X podąża za wielowymiarowym rozkładem normalnym , estymator największej wiarygodności jest wart:
Vwr^(X→)=1nie∑ja=1nie(X→ja-X→¯)(X→ja-X→¯)T.{\ displaystyle \ operatorname {\ widehat {Var}} ({\ vec {X}}) = {1 \ ponad n} \ suma _ {i = 1} ^ {n} ({\ vec {X}} _ { i} - {\ overline {\ vec {X}}}) ({\ vec {X}} _ {i} - {\ overline {\ vec {X}}}) ^ {T}.}W przypadku, gdy dane są generowane przez wielowymiarowe prawo normalne, estymator maksymalnego prawdopodobieństwa jest zgodny z prawem Wisharta .
Test kulistość Bartlett ocenić, czy dodatkowe ukośnie Współczynniki macierzy są zasadniczo nie istnieje.
Dla procesów stochastycznych , które zajmują się ewolucji zmiennej losowej, kowariancja ustępuje pojęć autokowariancji i autokorelacji , a także oszacować na gęstość widmową dla procesów stacjonarnych .
Przykłady
- Na forum internetowym ktoś twierdzi, że aktywność na forum jest najbardziej intensywna w dni pełni księżyca. Możemy nie mieć kalendarza pełni księżyca, ale jeśli to stwierdzenie jest poprawne i jeśli podamy N ( t ) liczbę wkładów w dniu t , skumulowana kowariancja między N ( t ) i N ( t +29) dla wszystkich wartości z t , będą prawdopodobnie wyższe niż kowariancji między N ( t ), a N ( t + x ) dla wartości x inne niż 29 ( synodyczne okresu księżyca).
- O procesie stochastycznym X t na przestrzeni metrycznej S mówi się, że ma izotropową kowariancję, jeśli jej kowariancja między dwiema zmiennymi zależy tylko od odległości między indeksami:
∃fa:R+↦R,∀t,s∈S,Cov(Xs,Xt)=fa(‖s-t‖){\ Displaystyle \ istnieje f: \ mathbb {R} ^ {+} \ mapsto \ mathbb {R}, \ forall t, s \ in S, \ operatorname {Cov} \ lewo (X_ {s}, X_ {t} \ right) = f \ left (\ left \ | st \ right \ | \ right)}
Jeśli X jest izotropem skupionym na procesie na
ℝ d , autokorelacja izotropowa spełnia
ρ (‖ h ‖) ≥ −1 ⁄ d .
Wykorzystanie w statystykach
Macierz kowariancji jest podstawowym narzędziem analizy wieloczynnikowej :
Inne aplikacje
Znajomość kowariancji jest najczęściej niezbędna w funkcjach estymacji , filtrowania i wygładzania . W fotografii pozwalają na uzyskanie prawidłowej, dramatycznie rozmytej ostrości i rozmycia ruchu, co jest niezwykle istotne w przypadku zdjęć astronomicznych. Są również używane automatycznie . W socjolingwistyce kowariancja oznacza zgodność między przynależnością do określonej klasy społecznej a pewnym językiem nieodłącznym dla tego stanu społecznego. Macierze kowariancji są używane w metodach analizy kriginga i ortogonalnego rozkładu wartości własnych . Wreszcie, jest nadal używany w finansach, aby ocenić, czy dwie inwestycje mają tendencję do ewolucji w tym samym kierunku, w przeciwnych kierunkach, czy też ich wartości nie są ze sobą powiązane.
Zobacz też
Uwagi i odniesienia
-
Zakłada się, że zmienne należą do przestrzeni wektorowej zmiennych losowych podlegających całkowitemu kwadratowi.L2(Ω,b,P.){\ Displaystyle L ^ {2} (\ Omega, {\ mathcal {B}}, \ nazwa operatora {P})}