Własność Markowa

W prawdopodobieństwa , a stochastyczne procesu Spełnia Własność Markowa wtedy i tylko wtedy, gdy prawdopodobieństwo warunkowe podział stanów przyszłych, biorąc pod uwagę ostatnie stanach oraz w obecnym stanie, w rzeczywistości zależy tylko od aktualnego stanu, a nie na krajach przeszłość (brak „pamięci ”). Proces, który ma tę właściwość, nazywany jest procesem Markowa . W przypadku takich procesów najlepsza prognoza przyszłości, jaką możemy zrobić, znając przeszłość i teraźniejszość, jest identyczna z najlepszą prognozą, jaką możemy zrobić na przyszłość, znając tylko teraźniejszość: jeśli znamy teraźniejszość, znajomość przeszłość nie dostarcza dodatkowych informacji przydatnych do przewidywania przyszłości.

Słaba własność Markowa (dyskretny czas, dyskretna przestrzeń)

Definicja

Jest to charakterystyczna właściwość łańcucha Markowa  : z grubsza mówiąc, przewidywanie przyszłości z teraźniejszości nie jest dokładniejsze dzięki dodatkowym informacjom o przeszłości, ponieważ wszystkie informacje przydatne do przewidywania przyszłości są zawarte w obecny stan procesu. Słaba własność Markowa ma kilka równoważnych form, z których wszystkie sprowadzają się do stwierdzenia, że ​​warunkowe prawo znajomości czasu przeszłego, tj. Wiedza, jest funkcją tylko: Xnie+1{\ displaystyle X_ {n + 1}}(Xk)0≤k≤nie{\ Displaystyle \ lewo (X_ {k} \ prawej) _ {0 \ równoważnik k \ równoważnik n}}Xnie{\ displaystyle X_ {n}}

„Elementarna” słaba własność Markowa  -  dla wszystkiego dla dowolnej sekwencji stanównie≥0,{\ displaystyle n \ geq 0,}(ja0,...,janie-1,ja,jot)∈minie+2,{\ Displaystyle (i_ {0}, \ ldots, i_ {n-1}, ja, j) \ w E ^ {n + 2},}

P.(Xnie+1=jot∣X0=ja0,X1=ja1,...,Xnie-1=janie-1,Xnie=ja)=P.(Xnie+1=jot∣Xnie=ja).{\ Displaystyle {\ rozpocząć {wyrównane} \ mathbb {P} {\ Big (} X_ {n + 1} = j & \ mid \, X_ {0} = i_ {0}, X_ {1} = i_ {1) }, \ ldots, X_ {n-1} = i_ {n-1}, X_ {n} = i {\ Big)} & = \ mathbb {P} \ left (X_ {n + 1} = j \ mid X_ {n} = i \ right). \ End {wyrównane}}}

Najczęściej zakładamy jednorodne łańcuchy Markowa , czyli zakładamy, że mechanizm przejścia nie zmienia się w czasie. Słaby właściwość Markowa następnie przyjmuje następującą postać:

∀nie≥0,∀(ja0,...,janie-1,ja,jot)∈minie+2,{\ displaystyle \ forall n \ geq 0, \ forall (i_ {0}, \ ldots, i_ {n-1}, ja, j) \ in E ^ {n + 2},} P.(Xnie+1=jot∣X0=ja0,X1=ja1,...,Xnie-1=janie-1,Xnie=ja)=P.(X1=jot∣X0=ja).{\ Displaystyle \ mathbb {P} {\ Big (} X_ {n + 1} = j \ mid \, X_ {0} = i_ {0}, X_ {1} = i_ {1}, \ ldots, X_ { n-1} = i_ {n-1}, X_ {n} = i {\ Big)} = \ mathbb {P} \ left (X_ {1} = j \ mid X_ {0} = i \ right). }

Ta forma słabej własności Markowa jest silniejsza niż poprzednia forma i w szczególności do tego prowadzi

∀nie≥0,∀(ja,jot)∈mi2,P.(Xnie+1=jot∣Xnie=ja)=P.(X1=jot∣X0=ja).{\ Displaystyle \ forall n \ geq 0 \ forall (i, j) \ w E ^ {2} \ qquad \ mathbb {P} \ lewo (X_ {n + 1} = j \ mid X_ {n} = i \ right) = \ mathbb {P} \ left (X_ {1} = j \ mid X_ {0} = i \ right).}

W dalszej części artykułu zostaną omówione tylko jednorodne łańcuchy Markowa. Ciekawe zastosowanie niehomogenicznych łańcuchów Markowa do optymalizacji kombinatorycznej można znaleźć w artykule Symulowane wyżarzanie .

Słaba własność Markowa dla jednorodnych łańcuchów Markowa ma inną postać, znacznie bardziej ogólną niż poprzednia, niemniej jednak równoważna poprzedniej:

„Ogólne” słabe właściwości Markowa  -  do dowolnego wyborunie≥0,b∈P.(mi)⊗NIE,W∈P.(minie+1),ja∈mi,{\ displaystyle n \ geq 0, \ quad B \ in {\ mathcal {P}} (E) ^ {\ otimes {\ mathbb {N}}}, \ quad A \ in {\ mathcal {P}} (E ^ {n + 1}), \ quad i \ in E,}

P.((Xnie,Xnie+1,...)∈b|(X0,...,Xnie)∈W,Xnie=ja)=P.((X0,X1,...)∈b|X0=ja).{\ Displaystyle {\ mathbb {P}} ((X_ {n}, X_ {n + 1}, \ kropki) \ w B \, | \, (X_ {0}, \ kropki, X_ {n}) \ in A, X_ {n} = i) \; = \; {\ mathbb {P}} ((X_ {0}, X_ {1}, \ dots) \ in B \, | \, X_ {0} = ja).}

Zwróć uwagę, że przeszłe i przyszłe wydarzenia mają tutaj możliwie najbardziej ogólną formę, podczas gdy obecne wydarzenie pozostaje w określonej formie, a nie przez przypadek: jeśli zastąpimy przez w powyższym stwierdzeniu, to stwierdzenie stanie się ogólnie fałszywe, ponieważ przeszłość staje się przydatna do przewidywania teraźniejszości ( a dokładniej gdzie może się znajdować w grze  ?), a stamtąd do przewidywania przyszłości. {(X0,...,Xnie)∈W}{\ Displaystyle \ {(X_ {0}, \ kropki, X_ {n}) \ w A \}}{(Xnie,Xnie+1,...)∈b}{\ Displaystyle \ {(X_ {n}, X_ {n + 1}, \ kropki) \ w B \}}{Xnie=ja}{\ displaystyle \ {X_ {n} = ja \}}{Xnie=ja}{\ displaystyle \ {X_ {n} = ja \}}{Xnie∈VS}{\ Displaystyle \ {X_ {n} \ w C \}}Xnie{\ displaystyle X_ {n}}VS{\ displaystyle C}

Kontrprzykład losowego spaceru  :Z{\ displaystyle \ mathbb {Z}}

Jeśli i mówimy o losowym spacerze w Przypuśćmy, że Wtedy, na przykład mi=Z{\ displaystyle E = \ mathbb {Z}}pja,ja+1=1-pja,ja-1=p,{\ Displaystyle p_ {i, i + 1} = 1-p_ {i, i-1} = p,}Z.{\ displaystyle \ mathbb {Z}.}p∈]0,1[.{\ Displaystyle p \ in] 0,1 [.}

P.μ(Xnie+1=1 | Xnie∈{0,1} i Xnie-1=0)=0,{\ Displaystyle \ mathbb {P} _ {\ mu} (X_ {n + 1} = 1 \ | \ X_ {n} \ in \ {0,1 \} {\ tekst {i}} X_ {n-1} = 0) = 0,}

podczas gdy można łatwo znaleźć i takie jak μ{\ displaystyle \ mu}nie{\ displaystyle n}

P.μ(Xnie+1=1 | Xnie∈{0,1})>0.{\ Displaystyle \ mathbb {P} _ {\ mu} (X_ {n + 1} = 1 \ | \ X_ {n} \ in \ {0,1 \})> 0.}

Tak więc, ze względu na nieprecyzyjną wiedzę ( ) o teraźniejszości, pewne informacje dotyczące przeszłości pozwalają na poprawę prognozy: wiedząc, że X n-1 = 0 , wnioskujemy, że X n nie jest zerowe, a zatem X n jest równe do 1, to dochodzimy do wniosku, że X n + 1 nie może być równe 1. Z drugiej strony bez informacji X n-1 = 0 nie możemy wykluczyć, że X n + 1 jest równe 1. {Xnie∈{0,1}} {\ displaystyle \ {X_ {n} \ in \ {0,1 \} \} \}

Jednak przypadkowy spacer jest łańcuchem Markowa i ma właściwość Markowa. Nie ma tu sprzeczności: własność Markowa stwierdza, że ​​mając dokładną wiedzę ( X n = i ) o teraźniejszości, żadna informacja dotycząca przeszłości nie pozwala na poprawę prognozy. Z{\ displaystyle \ mathbb {Z}}

Istnieje silna własność Markowa , związana z pojęciem zatrzymania czasu  : ta silna własność Markowa jest kluczowa dla udowodnienia ważnych wyników (różne kryteria powtarzania, silne prawo dużych liczb dla łańcuchów Markowa).

Warunkowa niezależność

Implikuje to „ogólna” słaba własność Markowa

Warunkowa niezależność  -  do dowolnego wyborunie≥0,b∈P.(mi)⊗NIE,W∈P.(minie+1),ja∈mi,{\ displaystyle n \ geq 0, \ quad B \ in {\ mathcal {P}} (E) ^ {\ otimes {\ mathbb {N}}}, \ quad A \ in {\ mathcal {P}} (E ^ {n + 1}), \ quad i \ in E,}

P.((Xnie,Xnie+1,...)∈b i (X0,...,Xnie)∈W | Xnie=ja){\ Displaystyle {\ mathbb {P}} ((X_ {n}, X_ {n + 1}, \ kropki) \ w B {\ tekst {et}} (X_ {0}, \ kropki, X_ {n} ) \ in A \ | \ X_ {n} = i)} =P.((Xnie,Xnie+1,...)∈b | Xnie=ja)×P.((X0,...,Xnie)∈W | Xnie=ja).{\ Displaystyle = \; {\ mathbb {P}} ((X_ {n}, X_ {n + 1}, \ kropki) \ in B \ | \ X_ {n} = i) \ razy {\ mathbb {P }} ((X_ {0}, \ dots, X_ {n}) \ in A \ | \ X_ {n} = i).}

Ta równość wyraża warunkową niezależność między przeszłością a przyszłością, znając teraźniejszość (wiedząc o tym ). Jeśli jednak porównamy z „ogólną” słabą własnością Markowa, jak wspomniano powyżej, widzimy, że właściwość jednorodności została utracona: „ogólna” słaba własność Markowa jest w rzeczywistości równoważna silniejszej właściwości Xnie=ja{\ displaystyle X_ {n} = i}

Warunkowa niezależność i jednorodność  -  do dowolnego wyborunie≥0,b∈P.(mi)⊗NIE,W∈P.(minie+1),ja∈mi,{\ displaystyle n \ geq 0, \ quad B \ in {\ mathcal {P}} (E) ^ {\ otimes {\ mathbb {N}}}, \ quad A \ in {\ mathcal {P}} (E ^ {n + 1}), \ quad i \ in E,}

P.((Xnie,Xnie+1,...)∈b i (X0,...,Xnie)∈W | Xnie=ja){\ Displaystyle {\ mathbb {P}} ((X_ {n}, X_ {n + 1}, \ kropki) \ w B {\ tekst {et}} (X_ {0}, \ kropki, X_ {n} ) \ in A \ | \ X_ {n} = i)} =P.((X0,X1,...)∈b | X0=ja)×P.((X0,...,Xnie)∈W | Xnie=ja).{\ Displaystyle = \; {\ mathbb {P}} ((X_ {0}, X_ {1}, \ kropki) \ w B \ | \ X_ {0} = i) \ razy {\ mathbb {P}} ((X_ {0}, \ dots, X_ {n}) \ in A \ | \ X_ {n} = i).}

Kryterium

Kryterium fundamentalne  -  Niech będzie ciągiem niezależnych zmiennych losowych o tym samym prawie, z wartościami w przestrzeni i albo mierzalną mapą w. Załóżmy, że ciąg jest określony przez relację rekurencji: Y=(Ynie)nie≥0{\ Displaystyle Y = (Y_ {n}) _ {n \ geq 0}}fa{\ displaystyle F}fa{\ displaystyle f}mi×fa{\ displaystyle E \ razy F}mi.{\ displaystyle E.}X=(Xnie)nie≥0{\ Displaystyle X = (X_ {n}) _ {n \ geq 0}}

∀nie≥0,Xnie+1=fa(Xnie,Ynie),{\ displaystyle \ forall n \ geq 0, \ qquad X_ {n + 1} = f \ lewo (X_ {n}, Y_ {n} \ po prawej),}

i przypuśćmy, że sekwencja jest niezależna od To jest homogenicznym łańcuchem Markowa. Y{\ displaystyle Y}X0.{\ displaystyle X_ {0}.}X{\ displaystyle X}

Kolekcjoner naklejek ( kupon kolekcjonerski ):

Petit Pierre zbiera portrety jedenastu piłkarzy reprezentacji narodowej w piłce nożnej, które znajduje na naklejkach wewnątrz opakowań batonów czekoladowych Cémoi; za każdym razem, gdy kupuje tablet, ma 1 do 11 szans na znalezienie portretu gracza nr (za wszystko ). Odnotowujemy stan kolekcji Petita Pierre'a po otwarciu opakowania jego -tej tabliczki czekolady. jest łańcuchem Markowa zaczynającym się od , ponieważ mieści się w poprzedniej ramce do wyboru od k{\ displaystyle k}k{\ displaystyle k}Xnie∈P.([[1,11]]){\ Displaystyle X_ {n} \ w {\ mathcal {P}} ([\! [1,11] \!])}nie{\ displaystyle n}X=(Xnie)nie≥0{\ Displaystyle X = (X_ {n}) _ {n \ geq 0}}X0=∅{\ displaystyle X_ {0} = \ emptyset}fa=[[1,11]], mi=P.(fa), fa(x,y)=x∪{y},{\ Displaystyle F = [\! [1,11] \!], \ E = {\ mathcal {P}} (F), \ f (x, y) = x \ kubek \ {y \},}

Xnie+1=Xnie∪{Ynie},{\ Displaystyle X_ {n + 1} = X_ {n} \ kubek \ {Y_ {n} \},}

gdzie zmiennymi losowymi są niezależne i jednolite zmienne losowe na  : są to kolejne numery winiet wylosowanych z tabliczek czekolady. Średni czas potrzebny na skompletowanie kolekcji (tutaj średnia liczba tabletek, które Petit Pierre musi kupić, aby skompletować kolekcję), to dla zbioru winiet łącznie, gdzie jest -ta liczba harmoniczna . Na przykład batony czekoladowe. Ynie{\ Displaystyle Y_ {n}}[[1,11]]{\ Displaystyle [\! [1,11] \!]}NIE{\ displaystyle N}NIEH.NIE,{\ Displaystyle N \, H_ {N},}H.NIE{\ displaystyle H_ {N}}NIE{\ displaystyle N}11H.11=33,2...{\ displaystyle 11 \, H_ {11} = 33,2 \ kropki \ quad}

Uwagi:

• Własność Markowa wywodzi się z niezależności tego, co pozostaje prawdziwe, gdy mają różne prawa i kiedy „relacja powtarzania się” zależy od tego . Założenia poczynione dodatkowo do niezależności służą jedynie zapewnieniu jednorodności łańcucha Markowa.Yja ;{\ Displaystyle Y_ {i} \;}Yja{\ displaystyle Y_ {i}}Xnie+1=fanie(Xnie,Ynie){\ Displaystyle X_ {n + 1} = f_ {n} \ lewo (X_ {n}, Y_ {n} \ prawo)}nie.{\ displaystyle n.}
• Kryterium to ma fundamentalne znaczenie, ponieważ każdy jednorodny łańcuch Markowa można dokładnie zasymulować poprzez powtórzenie postaci dla dobrze wybranej funkcji . Dokładniej, jeśli jest jednorodny łańcuch Markowa, istnieje kwintet , gdzie oznacza przestrzeń prawdopodobieństwa jest zmienną losową z wartościami i gdzie jest sekwencja zmiennych losowych IID z wartościami i jest zdefiniowany w oraz niezależne i istnieje aplikacja zdefiniowana przez w taki sposób, że sekwencja zdefiniowana przezXnie+1=fa(Xnie,Ynie),{\ Displaystyle X_ {n + 1} = f \ lewo (X_ {n}, Y_ {n} \ prawo),}fa{\ displaystyle f}X=(Xnie)nie≥0{\ Displaystyle X = (X_ {n}) _ {n \ geq 0}}(Ω,W,P.,X0′,Y),{\ Displaystyle (\ Omega, {\ mathcal {A}}, \ mathbb {P}, X_ {0} ^ {\ prime}, Y),}(Ω,W,P.){\ Displaystyle (\ Omega, {\ mathcal {A}}, \ mathbb {P})}X0′{\ Displaystyle X_ {0} ^ {\ prime}}mi{\ displaystyle E}Y=(Ynie)nie≥0{\ Displaystyle Y = (Y_ {n}) _ {n \ geq 0}}fa, {\ displaystyle F, \} X0′{\ Displaystyle X_ {0} ^ {\ prime}}Y{\ displaystyle Y}(Ω,W,P.){\ Displaystyle (\ Omega, {\ mathcal {A}}, \ mathbb {P})}fa {\ displaystyle f \}mi×fa{\ displaystyle E \ razy F}mi,{\ displaystyle E,}X′=(Xnie′)nie≥0{\ Displaystyle X ^ {\ prime} = (X_ {n} ^ {\ prime}) _ {n \ geq 0}}

Xnie+1′=fa(Xnie′,Ynie){\ displaystyle X_ {n + 1} ^ {\ prime} = f (X_ {n} ^ {\ prime}, Y_ {n})} mają takie same prawa jak poniższe X=(Xnie)nie≥0.{\ Displaystyle X = (X_ {n}) _ {n \ geq 0}.}

• Możemy nawet wybrać i wybrać zmienne niezależne i jednorodne w przedziale [0,1], co jest wygodne do badania łańcuchów Markowa metodami Monte-Carlo , tj. Poprzez symulację „typowych” trajektorii łańcuchów Markowa.fa=[0,1],{\ Displaystyle F = [0,1],}Yjot{\ displaystyle Y_ {j}}

Silna własność Markowa (dyskretny czas, dyskretna przestrzeń)

Przerwa

Zwróć uwagę na plemię wygenerowane później. W przypadku zmiennych losowych o wartościach w skończonej lub policzalnej przestrzeni stanów , część należy do wtedy i tylko wtedy, gdy istnieje taka, że fanie{\ displaystyle {\ mathcal {F}} _ {n}}(Xk)0≤k≤nie.{\ Displaystyle (X_ {k}) _ {0 \ równoważnik k \ równoważnik n}.}mi{\ displaystyle E}W⊂Ω{\ displaystyle A \ subset \ Omega}fanie{\ displaystyle {\ mathcal {F}} _ {n}}b⊂minie+1{\ Displaystyle B \ podzbiór E ^ {n + 1}}

W={(X0,X1,...,Xnie)∈b}={ω∈Ω | (Xk(ω))0≤k≤nie∈b}.{\ Displaystyle {\ rozpocząć {wyrównane} A i = \ lewo \ {(X_ {0}, X_ {1}, \ kropki, X_ {n}) \ w B \ prawo \} \\ & = \ lewo \ { \ omega \ in \ Omega \ | \ \ left (X_ {k} (\ omega) \ right) _ {0 \ leq k \ leq n} \ in B \ right \}. \ end {aligned}}}

Definicja  -  zmienną losową jest czas zatrzymania łańcucha Markowa , jeżeli T:Ω→NIE∪{∞}{\ Displaystyle T: \ Omega \ rightarrow \ mathbb {N} \ cup \ {\ infty \}}(Xnie)nie≥0{\ Displaystyle (X_ {n}) _ {n \ geq 0}}

∀nie∈NIE,{T=nie}∈fanie,{\ displaystyle \ forall n \ in \ mathbb {N}, \ quad \ {T = n \} \ in {\ mathcal {F}} _ {n},}

lub, co jest równoważne, jeśli

∀nie∈NIE,{T≤nie}∈fanie.{\ displaystyle \ forall n \ in \ mathbb {N}, \ quad \ {T \ leq n \} \ in {\ mathcal {F}} _ {n}.}

Interpretacja. Wyobraź sobie, że zmienne losowe reprezentują wyniki gracza podczas kolejnych części gry, a to reprezentuje część, po której gracz decyduje się zaprzestać gry: jest to przerwa , jeśli decyzja o zaprzestaniu gry jest funkcją wyników gry już rozegrane w momencie zatrzymania, tj. czy dla wszystkich istnieje podzbiór taki jak: Xk{\ displaystyle X_ {k}}T{\ displaystyle T}T{\ displaystyle T}nie{\ displaystyle n}bnie⊂minie+1{\ Displaystyle B_ {n} \ podzbiór E ^ {n + 1}}

{T=nie}⇔{(X0,X1,...,Xnie)∈bnie}.{\ Displaystyle \ {T = n \} \ quad \ Leftrightarrow \ quad \ lewo \ {(X_ {0}, X_ {1}, \ kropki, X_ {n}) \ w B_ {n} \ w prawo \}. }

Uniemożliwia to graczowi podjęcie decyzji na podstawie wyników przyszłych rozgrywek: sprowadza się to do założenia, że ​​oszustwo i dar podwójnego widzenia są wykluczone.

Aby zapoznać się z definicją przestoju w ogólnej sytuacji, możemy się przyjrzeć

Przykłady:

Poniższe zmienne losowe to przestoje:

• Niech będzie stanem łańcucha Markowa; nazywamy czas pierwszego powrotu w i oznaczamy zmienna losowa określone poniżej:jot{\ displaystyle j}jot,{\ displaystyle j,}Rjot,{\ displaystyle R_ {j},}

Rjot={inf{nie>0|Xnie=jot}gdyby{nie>0|Xnie=jot}≠∅,+∞Jeśli nie.{\ Displaystyle R_ {j} = \ lewo \ {{\ początek {tablica} {lll} \ inf \ lewo \ {n> 0 \, \ vert \, X_ {n} = j \ prawo \} && {\ textrm {si}} \ quad \ left \ {n> 0 \, \ vert \, X_ {n} = j \ right \} \ neq \ emptyset, \\ + \ infty && {\ textrm {w przeciwnym razie.}} \ end {tablica}} \ right.} Dlatego przestajemy grać, gdy tylko dotrzemy do stanu, ale bez liczenia stanu początkowego. Jeśli w definicji zastąpimy przez , mówimy o czasie wejścia , a nie czasu powrotu .jot,{\ displaystyle j,}{nie>0}{\ displaystyle \ {n> 0 \}}{nie≥0}{\ displaystyle \ {n \ geq 0 \}}

• W ten sam sposób dla części połączeń indywidualnych chwili pierwszego wpisu w i jednego notatek zmiennej losowej określonym poniżej:VS{\ displaystyle C}mi,{\ displaystyle E,}VS,{\ displaystyle C,}TVS,{\ displaystyle T_ {C},}

TVS={inf{nie≥0|Xnie∈VS}gdyby{nie≥0|Xnie∈VS}≠∅,+∞Jeśli nie.{\ Displaystyle T_ {C} = \ lewo \ {{\ początek {tablica} {lll} \ inf \ lewo \ {n \ geq 0 \, \ vert \, X_ {n} \ w C \ w prawo \} && { \ textrm {si}} \ quad \ left \ {n \ geq 0 \, \ vert \, X_ {n} \ in C \ right \} \ neq \ emptyset, \\ + \ infty && {\ textrm {w przeciwnym razie. }} \ end {tablica}} \ right.}

• Moment -tym powrotu w zauważyć , zdefiniowanych przez nawrotu przez:k{\ displaystyle k}ja,{\ displaystyle i,}Rja(k){\ displaystyle R_ {i} ^ {(k)}}

Rja(k)={inf{nie>Rja(k-1)|Xnie=ja}gdyby{nie>Rja(k)|Xnie=ja}≠∅,+∞Jeśli nie.,{\ Displaystyle R_ {i} ^ {(k)} = \ lewo \ {{\ początek {tablica} {lll} \ inf \ lewo \ {n> R_ {i} ^ {(k-1)} \, \ zielony \, X_ {n} = i \ right \} && {\ textrm {si}} \ quad \ left \ {n> R_ {i} ^ {(k)} \, \ green \, X_ {n} = i \ right \} \ neq \ emptyset, \\ + \ infty && {\ textrm {w przeciwnym razie.}} \ end {array}} \ right.,}

lub znowu moment-tego wejścia to ta. k{\ displaystyle k}VS,{\ displaystyle C,}

Przeciwprzykład:

Dla i we stawiamy Możemy pokazać, że nie jest to czas zatrzymania, ale, z drugiej strony, to czas zatrzymania. ja{\ displaystyle i}jot{\ displaystyle j}mi,{\ displaystyle E,}T=inf{nie≥0|Xnie=ja i Xnie+1=jot}.{\ Displaystyle T = \ inf \ lewo \ {n \ geq 0 \, \ vert \, X_ {n} = ja {\ tekst {i}} X_ {n + 1} = j \ w prawo \}.}T{\ displaystyle T}T+1{\ displaystyle T + 1}

Definicja i własności  -  Albo przestoju i nazywa imprezę przed jeżeli: T{\ Displaystyle T \,}W∈W : W{\ Displaystyle A \ w {\ mathcal {A}} \: \ A \,}T{\ Displaystyle T \,}

∀nie∈NIE, W∩(T=nie)∈fanie.{\ Displaystyle \ forall n \ in \ mathbb {N}, \ qquad \ A \ cap (T = n) \ w {\ mathcal {F}} _ {n}.}

Zestaw wydarzeń poprzedzających utworzenie podgrupy nazwanego plemienia przed i zanotowanymiT{\ Displaystyle T \,}W{\ displaystyle {\ mathcal {A}}}T{\ Displaystyle T \,}faT.{\ Displaystyle {\ mathcal {F}} _ {T}.}

Interpretacja. Wiemy, że dla wszystkiego istnieje podzbiór taki jak: nie{\ displaystyle n}bnie⊂minie+1{\ Displaystyle B_ {n} \ podzbiór E ^ {n + 1}}

{T=nie}⇔{(X0,X1,...,Xnie)∈bnie}.{\ Displaystyle \ {T = n \} \ quad \ Leftrightarrow \ quad \ lewo \ {(X_ {0}, X_ {1}, \ kropki, X_ {n}) \ w B_ {n} \ w prawo \}. }

Jeśli ponadto oznacza to, że za wszystko, co istnieje podzbiór taki sposób, że W∈faT,{\ Displaystyle A \ w {\ mathcal {F}} _ {T},}nie{\ displaystyle n}renie⊂bnie{\ Displaystyle D_ {n} \ podzbiór B_ {n}}

{W∩{T=nie}}⇔{(X0,X1,...,Xnie)∈renie}.{\ Displaystyle \ lewo \ {A \ nasadka \ {T = n \} \ prawo \} \ quad \ Leftrightarrow \ quad \ lewo \ {(X_ {0}, X_ {1}, \ kropki, X_ {n}) \ in D_ {n} \ right \}.}

W pewnym sensie sprawdzamy, czy zdarzenie ma miejsce, obserwując zachowanie sekwencji do czasu przez nadużycie języka, czasami mówimy, że zdarzenie odnosi się do sekwencjiW{\ displaystyle A}(Xk)0≤k≤nie{\ Displaystyle (X_ {k}) _ {0 \ równoważnik k \ równoważnik n}}T :{\ Displaystyle T \:}W{\ displaystyle A}(X0,X1,...,XT).{\ Displaystyle (X_ {0}, X_ {1}, \ kropki, X_ {T}).}

Silna własność Markowa

W ogólnym stwierdzeniu słabej własności Markowa , moment „obecny”, n , można zastąpić przypadkowym momentem „obecnym” , pod warunkiem, że jest to czas zatrzymania  : T,{\ displaystyle T,}T{\ displaystyle T}

Mocna własność Markowa  -  Przez pewien czas zatrzymania w oraz elementu z mamy T{\ displaystyle T}X,{\ displaystyle X,}W{\ displaystyle A}faT,{\ displaystyle {\ mathcal {F}} _ {T},}

P.μ((XT+nie)nie≥0∈b i W | T<+∞ i XT=ja)=P.ja((Xnie)nie≥0∈b)P.μ(W | T<+∞ i XT=ja).{\ Displaystyle {\ rozpocząć {wyrównane} {\ mathbb {P}} _ {\ mu} {\ Duży (} {\ duży (} X_ {T + n} {\ duży)} _ {n \ geq 0} \ w B {\ text {and}} A \ & \ vert \ T <+ \ infty {\ text {and}} X_ {T} = i {\ Big)} \\ & = {\ mathbb {P}} _ {i} \ left (\ left (X_ {n} \ right) _ {n \ geq 0} \ in B \ right) {\ mathbb {P}} _ {\ mu} \ left (A \ \ vert \ T <+ \ infty {\ text {et}} X_ {T} = i \ right). \ end {aligned}}}

Można to interpretować jako formę niezależności (niezależność warunkowego ) między przeszłością a przyszłością, z wiedząc, co się dzieje w tej chwili tzn Rzeczywiście, uszczegółowione , ponieważ mamy W,{\ displaystyle A,}(XT+nie)nie≥0∈b,{\ Displaystyle {\ duży (} X_ {T + n} {\ duży)} _ {n \ geq 0} \ in B,}T,{\ displaystyle T,}T,{\ displaystyle T,}{T<+∞ i XT=ja}.{\ displaystyle \ {T <+ \ infty {\ text {i}} X_ {T} = ja \}.}W=Ω,{\ Displaystyle A = \ Omega}

P.μ((XT+nie)nie≥0∈b | T<+∞ i XT=ja)=P.ja((Xnie)nie≥0∈b){\ Displaystyle {\ rozpocząć {wyrównane} {\ mathbb {P}} _ {\ mu} {\ Duży (} {\ duży (} X_ {T + n} {\ duży)} _ {n \ geq 0} \ w B \ \ vert \ T <+ \ infty {\ text {et}} X_ {T} = i {\ Big)} & = {\ mathbb {P}} _ {i} \ left (\ left (X_ { n} \ right) _ {n \ geq 0} \ in B \ right) \ end {aligned}}}

Następnie, powraca się do ogólnego elementu z otrzymamy następujący skład: W{\ displaystyle A}faT{\ displaystyle {\ mathcal {F}} _ {T}}

Warunkowe niezależność  -  W przypadku przestoju w oraz elementu z mamy T{\ displaystyle T}X,{\ displaystyle X,}W{\ displaystyle A}faT,{\ displaystyle {\ mathcal {F}} _ {T},}

P.μ((XT+nie)nie≥0∈b i W | T<+∞ i XT=ja)=P.μ((XT+nie)nie≥0∈b | T<+∞ i XT=ja)P.μ(W | T<+∞ i XT=ja).{\ Displaystyle {\ rozpocząć {wyrównane} {\ mathbb {P}} _ {\ mu} {\ Duży (} {\ duży (} X_ {T + n} {\ duży)} _ {n \ geq 0} \ w B & {\ text {and}} A \ \ vert \ T <+ \ infty {\ text {and}} X_ {T} = i {\ Big)} \\ & = {\ mathbb {P}} _ {\ mu} {\ Big (} {\ big (} X_ {T + n} {\ big)} _ {n \ geq 0} \ in B \ \ vert \ T <+ \ infty {\ text {and} } X_ {T} = i {\ Big)} {\ mathbb {P}} _ {\ mu} \ left (A \ \ vert \ T <+ \ infty {\ text {and}} X_ {T} = i \ right). \ end {aligned}}}

Szczególny przypadek czasu powrotu

W przypadku, gdy łańcuch Markowa jest nieredukowalny , gdy stan jest powtarzalny , a rozpatrywany czas zatrzymania jest chwilą k-tego powrotu do wspomnianego powyżej, widzimy, że przez nawrót stanuja{\ displaystyle i}T{\ displaystyle T}ja,{\ displaystyle i,}Rjak,{\ displaystyle R_ {i} ^ {k},}ja,{\ displaystyle i,}

P.μ(T<+∞)=1,{\ Displaystyle {\ mathbb {P}} _ {\ mu} {\ Big (} T <+ \ infty {\ Big)} = 1,}

i to z definicji Rjak,{\ displaystyle R_ {i} ^ {k},}

P.μ(XT=ja)=1.{\ Displaystyle {\ mathbb {P}} _ {\ mu} {\ Big (} X_ {T} = ja {\ Big)} = 1.}

Zatem warunki pojawiające się w silnej własności Markowa są prawie pewne . Jednak gdy tylko mamy Tutaj, to daje to P.μ(VS)=1,{\ Displaystyle {\ mathbb {P}} _ {\ mu} (C) = 1,}P.μ(re|VS)=P.μ(re).{\ Displaystyle {\ mathbb {P}} _ {\ mu} (D \, | \, C) = {\ mathbb {P}} _ {\ mu} (D).}

P.μ((XT+nie)nie≥0∈b i W)=P.μ((XT+nie)nie≥0∈b)P.μ(W)=P.ja((Xnie)nie≥0∈b)P.μ(W).{\ Displaystyle {\ rozpocząć {wyrównane} {\ mathbb {P}} _ {\ mu} {\ Duży (} {\ duży (} X_ {T + n} {\ duży)} _ {n \ geq 0} \ w B {\ text {et}} A {\ Big)} & = {\ mathbb {P}} _ {\ mu} {\ Big (} {\ big (} X_ {T + n} {\ big)} _ {n \ geq 0} \ in B {\ Big)} {\ mathbb {P}} _ {\ mu} \ left (A \ right) \\ & = {\ mathbb {P}} _ {i} \ left (\ left (X_ {n} \ right) _ {n \ geq 0} \ in B \ right) {\ mathbb {P}} _ {\ mu} \ left (A \ right). \ end {aligned} }}

Dla wszystkich k istnieje zatem ( bezwarunkowa ) niezależność między zdarzeniami poprzedzającymi k-tym przejściem a zdarzeniami, które następują po k-tym przejściu w Ponadto trajektoria łańcucha Markowa po k-tym przejściu ma taką samą prawo jako trajektoria łańcucha Markowa rozpoczynająca się w czasie 0: zaczyna się od nowa jako nowa, niezależnie od tego, co mogło się wydarzyć wcześniej. Mówi się wtedy, że kolejne czasy powrotu są czasami odnowienia lub też czasami regeneracji . ja{\ displaystyle i}ja.{\ Displaystyle i.}ja, (XT+nie)nie≥0,{\ Displaystyle ja, \ (X_ {T + n}) _ {n \ geq 0},}ja{\ displaystyle i}

Fragmenty trajektorii między dwiema kolejnymi regeneracjami tworzą następnie serię zmiennych losowych iid (z wyjątkiem pierwszego fragmentu, niezależnego, ale prawdopodobnie innego prawa, jeśli łańcuch Markowa nie zaczyna się w czasie 0). Prowadzi to do dowodu na silne prawo dużych liczb dla łańcuchów Markowa, wywnioskowane z silnego prawa dużych liczb dla zmiennych . Daje również metodę konstruowania przedziałów ufności dla interesujących parametrów w łańcuchu Markowa. ja{\ displaystyle i}

Słaba własność Markowa (czas ciągły, przestrzeń dyskretna)

Matematycznie, jeśli X ( t ), t > 0, jest procesem stochastycznym, a jeśli x ( t ), t > 0, jest funkcją, własność Markowa jest zdefiniowana jako:

P.[X(t+godz)=y|X(s)=x(s),s≤t]=P.[X(t+godz)=y|X(t)=x(t)],∀godz>0.{\ Displaystyle \ mathrm {P} {\ duży [} X (t + h) = y \, | \, X (s) = x (s), s \ równoważnik t {\ duży]} = \ mathrm {P } {\ big [} X (t + h) = y \, | \, X (t) = x (t) {\ big]}, \ quad \ forall h> 0}

Ogólnie przyjmuje się założenie jednorodności w czasie, to znaczy:

P.[X(t+godz)=y|X(t)=x(t)]=P.[X(godz)=y|X(0)=x(0)],∀t,godz>0.{\ Displaystyle \ mathrm {P} {\ duży [} X (t + h) = y \, | \, X (t) = x (t) {\ duży]} = \ mathrm {P} {\ duży [ } X (h) = y \, | \, X (0) = x (0) {\ big]}, \ quad \ forall t, h> 0}

W niektórych przypadkach pozornie niemarkowowski proces może nadal mieć markowe reprezentacje poprzez modyfikację koncepcji stanu obecnego i przyszłego . Niech X będzie czas odstępu , a Y proces tak, że każdy stan Y oznacza przedział czasowy X  :

Y(t)={X(s):s∈[w(t),b(t)]}.{\ Displaystyle Y (t) = {\ duży \ {} X (s): s \ w [a (t), b (t)] \, {\ duży \}}.}

Jeśli Y jest markowskie, to jest to markowowska reprezentacja X i X, która jest następnie nazywana procesem Markowa drugiego rzędu. Procesy wyższego rzędu definiuje się w ten sam sposób.

Równanie Chapmana-Kołmogorowa-Smoluchowskiego

Jest to całkowe równanie, które zapewnia spójność procesu:

p(x3,t3|x1,t1)=∫p(x3,t3|x2,t2)p(x2,t2|x1,t1)rex2t3>t2>t1{\ Displaystyle p (x_ {3}, t_ {3} | x_ {1}, t_ {1}) = \ int p (x_ {3}, t_ {3} | x_ {2}, t_ {2}) p (x_ {2}, t_ {2} | x_ {1}, t_ {1}) dx_ {2} \ quad t_ {3}> t_ {2}> t_ {1}}.

Zmienia się w częściowe równanie różniczkowe, łatwiejsze do manipulowania, które przyjmuje nazwę równania Fokkera-Plancka .

Bibliografia

1. Norris, J .: Łańcuchy Markowa .
2. (en) YK Lin , Probabilistic Theory of Structural Dynamics , Nowy Jork, Robert E. Krieger Publishing Company,Lipiec 1976, 368  str. ( ISBN  0882753770 )

1. Philippe A. Martin, Wprowadzenie do procesów stochastycznych w fizyce
2. Ch. Ancey, Symulacje stochastyczne - Zastosowania do przepływów geofizycznych i turbulencji

Zobacz też

• Andrei Markov
• Łańcuch Markowa
• Koc Markowa

<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">