Propriedade Markov
Em probabilidade , um processo estocástico satisfaz a propriedade de Markov se e somente se a distribuição de probabilidade condicional de estados futuros, dados os estados passados e o estado presente, na verdade depende apenas do estado presente e não dos estados passados (ausência de "memória "). Um processo que possui essa propriedade é chamado de processo de Markov . Para tais processos, a melhor previsão que podemos fazer do futuro, conhecendo o passado e o presente, é idêntica à melhor previsão que podemos fazer do futuro, conhecendo apenas o presente: se conhecemos o presente, o conhecimento do passado não fornece informações adicionais úteis para prever o futuro.
Propriedade de Markov fraca (tempo discreto, espaço discreto)
Definição
Esta é a propriedade característica de uma cadeia de Markov : grosso modo, a previsão do futuro a partir do presente não é tornada mais precisa por informações adicionais sobre o passado, porque todas as informações úteis para a previsão do futuro estão contidas no estado atual do processo. A propriedade de Markov fraca tem várias formas equivalentes que equivalem a observar que a lei condicional de conhecer o pretérito, ou seja, conhecer é uma função de apenas:
Xnão+1{\ displaystyle X_ {n + 1}}(Xk)0≤k≤não{\ displaystyle \ left (X_ {k} \ right) _ {0 \ leq k \ leq n}}Xnão{\ displaystyle X_ {n}}
Propriedade de Markov fraca "Elementar" -
Para tudo em qualquer sequência de estadosnão≥0,{\ displaystyle n \ geq 0,}(eu0,...,eunão-1,eu,j)∈Enão+2,{\ displaystyle (i_ {0}, \ ldots, i_ {n-1}, i, j) \ in E ^ {n + 2},}
P(Xnão+1=j∣X0=eu0,X1=eu1,...,Xnão-1=eunão-1,Xnão=eu)=P(Xnão+1=j∣Xnão=eu).{\ displaystyle {\ begin {alinhados} \ mathbb {P} {\ Big (} X_ {n + 1} = j & \ mid \, X_ {0} = i_ {0}, X_ {1} = i_ {1 }, \ ldots, X_ {n-1} = i_ {n-1}, X_ {n} = i {\ Big)} & = \ mathbb {P} \ left (X_ {n + 1} = j \ mid X_ {n} = i \ direita). \ End {alinhado}}}
Na maioria das vezes assumimos cadeias de Markov homogêneas , ou seja, assumimos que o mecanismo de transição não muda com o tempo. A propriedade Markov fraca assume a seguinte forma:
∀não≥0,∀(eu0,...,eunão-1,eu,j)∈Enão+2,{\ displaystyle \ forall n \ geq 0, \ forall (i_ {0}, \ ldots, i_ {n-1}, i, j) \ in E ^ {n + 2},}
P(Xnão+1=j∣X0=eu0,X1=eu1,...,Xnão-1=eunão-1,Xnão=eu)=P(X1=j∣X0=eu).{\ displaystyle \ mathbb {P} {\ Big (} X_ {n + 1} = j \ mid \, X_ {0} = i_ {0}, X_ {1} = i_ {1}, \ ldots, X_ { n-1} = i_ {n-1}, X_ {n} = i {\ Big)} = \ mathbb {P} \ left (X_ {1} = j \ mid X_ {0} = i \ right). }Esta forma da propriedade de Markov fraca é mais forte do que a forma anterior e, em particular, resulta em que
∀não≥0,∀(eu,j)∈E2,P(Xnão+1=j∣Xnão=eu)=P(X1=j∣X0=eu).{\ displaystyle \ forall n \ geq 0, \ forall (i, j) \ in E ^ {2}, \ qquad \ mathbb {P} \ left (X_ {n + 1} = j \ mid X_ {n} = i \ right) = \ mathbb {P} \ left (X_ {1} = j \ mid X_ {0} = i \ right).}No restante do artigo, apenas cadeias de Markov homogêneas serão consideradas. Para uma aplicação interessante de cadeias de Markov não homogêneas para otimização combinatória , consulte o artigo Simulated annealing .
A propriedade de Markov fraca para cadeias de Markov homogêneas tem outra forma, muito mais geral que a anterior, mas mesmo assim equivalente à anterior:
Propriedade de Markov "geral" fraca -
Para qualquer escolha denão≥0,B∈P(E)⊗NÃO,NO∈P(Enão+1),eu∈E,{\ displaystyle n \ geq 0, \ quad B \ in {\ mathcal {P}} (E) ^ {\ otimes {\ mathbb {N}}}, \ quad A \ in {\ mathcal {P}} (E ^ {n + 1}), \ quad i \ in E,}
P((Xnão,Xnão+1,...)∈B|(X0,...,Xnão)∈NO,Xnão=eu)=P((X0,X1,...)∈B|X0=eu).{\ displaystyle {\ mathbb {P}} ((X_ {n}, X_ {n + 1}, \ dots) \ in B \, | \, (X_ {0}, \ dots, X_ {n}) \ em A, X_ {n} = i) \; = \; {\ mathbb {P}} ((X_ {0}, X_ {1}, \ pontos) \ in B \, | \, X_ {0} = eu).}
Observe que os eventos passados e futuros aqui assumem a forma mais geral possível, enquanto o evento presente permanece em uma forma particular, e não por acaso: se substituirmos por na afirmação acima, então a afirmação torna-se falsa em geral, porque as informações sobre o o passado torna-se útil para prever o presente (onde pode estar, mais precisamente, dentro do jogo ?) e, a partir daí, para prever o futuro.
{(X0,...,Xnão)∈NO}{\ displaystyle \ {(X_ {0}, \ dots, X_ {n}) \ em A \}}{(Xnão,Xnão+1,...)∈B}{\ displaystyle \ {(X_ {n}, X_ {n + 1}, \ dots) \ in B \}}{Xnão=eu}{\ displaystyle \ {X_ {n} = i \}}{Xnão=eu}{\ displaystyle \ {X_ {n} = i \}}{Xnão∈VS}{\ displaystyle \ {X_ {n} \ em C \}}Xnão{\ displaystyle X_ {n}}VS{\ displaystyle C}
Contra-exemplo do passeio aleatório em :
Z{\ displaystyle \ mathbb {Z}}
Se e estamos falando sobre um passeio aleatório em Suponha que Então, por exemplo,
E=Z{\ displaystyle E = \ mathbb {Z}}peu,eu+1=1-peu,eu-1=p,{\ displaystyle p_ {i, i + 1} = 1-p_ {i, i-1} = p,}Z.{\ displaystyle \ mathbb {Z}.}p∈]0,1[.{\ displaystyle p \ in] 0,1 [.}
Pµ(Xnão+1=1 | Xnão∈{0,1} e Xnão-1=0)=0,{\ displaystyle \ mathbb {P} _ {\ mu} (X_ {n + 1} = 1 \ | \ X_ {n} \ in \ {0.1 \} {\ text {and}} X_ {n-1} = 0) = 0,}enquanto se pode facilmente encontrar e como
µ{\ displaystyle \ mu}não{\ displaystyle n}
Pµ(Xnão+1=1 | Xnão∈{0,1})>0{\ displaystyle \ mathbb {P} _ {\ mu} (X_ {n + 1} = 1 \ | \ X_ {n} \ in \ {0.1 \})> 0.}Assim, devido a um conhecimento impreciso ( ) do presente, certas informações sobre o passado permitem melhorar o prognóstico: sabendo que X n-1 = 0 , deduzimos que X n não é zero, logo que X n é igual a 1, então concluímos que X n + 1 não pode ser igual a 1. Por outro lado, sem a informação X n-1 = 0 , não podemos excluir que X n + 1 seja igual a 1.
{Xnão∈{0,1}} {\ displaystyle \ {X_ {n} \ in \ {0.1 \} \} \}
No entanto, o passeio aleatório é uma cadeia de Markov e tem a propriedade de Markov. Não há contradição aqui: a propriedade de Markov afirma que, quando se tem um conhecimento preciso ( X n = i ) do presente, nenhuma informação sobre o passado permite melhorar o prognóstico.
Z{\ displaystyle \ mathbb {Z}}
Existe uma propriedade de Markov forte , ligada à noção de tempo de parada : esta propriedade de Markov forte é crucial para a prova de resultados importantes (vários critérios de recorrência, lei forte de grandes números para cadeias de Markov).
Independência condicional
A propriedade fraca de Markov "geral" implica que
Independência condicional -
para qualquer escolha denão≥0,B∈P(E)⊗NÃO,NO∈P(Enão+1),eu∈E,{\ displaystyle n \ geq 0, \ quad B \ in {\ mathcal {P}} (E) ^ {\ otimes {\ mathbb {N}}}, \ quad A \ in {\ mathcal {P}} (E ^ {n + 1}), \ quad i \ in E,}
P((Xnão,Xnão+1,...)∈B e (X0,...,Xnão)∈NO | Xnão=eu){\ displaystyle {\ mathbb {P}} ((X_ {n}, X_ {n + 1}, \ dots) \ in B {\ text {et}} (X_ {0}, \ dots, X_ {n} ) \ in A \ | \ X_ {n} = i)}
=P((Xnão,Xnão+1,...)∈B | Xnão=eu)×P((X0,...,Xnão)∈NO | Xnão=eu).{\ displaystyle = \; {\ mathbb {P}} ((X_ {n}, X_ {n + 1}, \ pontos) \ in B \ | \ X_ {n} = i) \ times {\ mathbb {P }} ((X_ {0}, \ dots, X_ {n}) \ in A \ | \ X_ {n} = i).}
Essa igualdade expressa a independência condicional entre o passado e o futuro, conhecendo o presente (sabendo disso ). No entanto, se compararmos com a propriedade de Markov fraca "geral" como afirmado acima, vemos que a propriedade de homogeneidade foi perdida: a propriedade de Markov fraca "geral" é de fato equivalente à propriedade mais forte
Xnão=eu{\ displaystyle X_ {n} = i}
Independência condicional e homogeneidade -
Para qualquer escolha denão≥0,B∈P(E)⊗NÃO,NO∈P(Enão+1),eu∈E,{\ displaystyle n \ geq 0, \ quad B \ in {\ mathcal {P}} (E) ^ {\ otimes {\ mathbb {N}}}, \ quad A \ in {\ mathcal {P}} (E ^ {n + 1}), \ quad i \ in E,}
P((Xnão,Xnão+1,...)∈B e (X0,...,Xnão)∈NO | Xnão=eu){\ displaystyle {\ mathbb {P}} ((X_ {n}, X_ {n + 1}, \ dots) \ in B {\ text {et}} (X_ {0}, \ dots, X_ {n} ) \ in A \ | \ X_ {n} = i)}
=P((X0,X1,...)∈B | X0=eu)×P((X0,...,Xnão)∈NO | Xnão=eu).{\ displaystyle = \; {\ mathbb {P}} ((X_ {0}, X_ {1}, \ dots) \ in B \ | \ X_ {0} = i) \ times {\ mathbb {P}} ((X_ {0}, \ dots, X_ {n}) \ in A \ | \ X_ {n} = i).}
Critério
Critério fundamental - Seja uma sequência de variáveis aleatórias independentes da mesma lei, com valores em um espaço , e um mapa mensurável de em. Suponha que a sequência seja definida pela relação de recorrência:
Y=(Ynão)não≥0{\ displaystyle Y = (Y_ {n}) _ {n \ geq 0}}F{\ displaystyle F}f{\ displaystyle f}E×F{\ displaystyle E \ times F}E.{\ displaystyle E.}X=(Xnão)não≥0{\ displaystyle X = (X_ {n}) _ {n \ geq 0}}
∀não≥0,Xnão+1=f(Xnão,Ynão),{\ displaystyle \ forall n \ geq 0, \ qquad X_ {n + 1} = f \ left (X_ {n}, Y_ {n} \ right),}e suponha que a sequência seja independente de Então é uma cadeia de Markov homogênea.
Y{\ displaystyle Y}X0.{\ displaystyle X_ {0}.}X{\ displaystyle X}
Colecionador de adesivos (
cupom de colecionador ):
Petit Pierre reúne retratos dos onze jogadores da seleção nacional de futebol, que encontra em adesivos dentro da embalagem das barras de chocolate Cémoi; toda vez que ele compra um tablet, ele tem 1 chance em 11 de encontrar o retrato do jogador n ° (para tudo ). Notamos o estado da coleção de Petit Pierre, após a abertura da embalagem de sua -ésima barra de chocolate. é uma cadeia de Markov a partir de , porque se encaixa no quadro anterior para a escolha desde
k{\ displaystyle k}k{\ displaystyle k}Xnão∈P([[1,11]]){\ displaystyle X_ {n} \ in {\ mathcal {P}} ([\! [1,11] \!])}não{\ displaystyle n}X=(Xnão)não≥0{\ displaystyle X = (X_ {n}) _ {n \ geq 0}}X0=∅{\ displaystyle X_ {0} = \ emptyset}F=[[1,11]], E=P(F), f(x,y)=x∪{y},{\ displaystyle F = [\! [1,11] \!], \ E = {\ mathcal {P}} (F), \ f (x, y) = x \ xícara \ {y \},}
Xnão+1=Xnão∪{Ynão},{\ displaystyle X_ {n + 1} = X_ {n} \ xícara \ {Y_ {n} \},}onde as variáveis aleatórias são variáveis aleatórias independentes e uniformes sobre : são os números sucessivos das vinhetas tiradas das barras de chocolate. O tempo médio necessário para completar a coleção (aqui o número de comprimidos que Petit Pierre deve comprar em média para completar sua coleção) é, para uma coleção de vinhetas no total, de onde está o -ésimo número harmônico . Por exemplo, barras de chocolate.
Ynão{\ displaystyle Y_ {n}}[[1,11]]{\ displaystyle [\! [1,11] \!]}NÃO{\ displaystyle N}NÃOHNÃO,{\ displaystyle N \, H_ {N},}HNÃO{\ displaystyle H_ {N}}NÃO{\ displaystyle N}11H11=33,2...{\ displaystyle 11 \, H_ {11} = 33,2 \ dots \ quad}
Notas:
- A propriedade de Markov deriva da independência do que permanece verdadeira quando têm leis diferentes, e quando a "relação de recorrência" depende de As suposições feitas além da independência existem apenas para garantir a homogeneidade da cadeia por Markov.Yeu ;{\ displaystyle Y_ {i} \;}Yeu{\ displaystyle Y_ {i}}Xnão+1=fnão(Xnão,Ynão){\ displaystyle X_ {n + 1} = f_ {n} \ left (X_ {n}, Y_ {n} \ right)}não.{\ displaystyle n.}
- O critério é fundamental em que qualquer cadeia de Markov homogênea pode ser exatamente simulada por meio de uma recorrência da forma para uma função bem escolhida. Mais precisamente, se for uma cadeia de Markov homogênea, existe um quíntuplo onde denota um espaço de probabilidade, é uma variável aleatória com valores em e onde é uma sequência de variáveis aleatórias iid com valores em e sendo definidos em e independentes, e existe uma aplicação definida por em tal que a sequência definida porXnão+1=f(Xnão,Ynão),{\ displaystyle X_ {n + 1} = f \ left (X_ {n}, Y_ {n} \ right),}f{\ displaystyle f}X=(Xnão)não≥0{\ displaystyle X = (X_ {n}) _ {n \ geq 0}}(Ω,NO,P,X0′,Y),{\ displaystyle (\ Omega, {\ mathcal {A}}, \ mathbb {P}, X_ {0} ^ {\ prime}, Y),}(Ω,NO,P){\ displaystyle (\ Omega, {\ mathcal {A}}, \ mathbb {P})}X0′{\ displaystyle X_ {0} ^ {\ prime}}E{\ displaystyle E}Y=(Ynão)não≥0{\ displaystyle Y = (Y_ {n}) _ {n \ geq 0}}F, {\ displaystyle F, \} X0′{\ displaystyle X_ {0} ^ {\ prime}}Y{\ displaystyle Y}(Ω,NO,P){\ displaystyle (\ Omega, {\ mathcal {A}}, \ mathbb {P})}f {\ displaystyle f \}E×F{\ displaystyle E \ times F}E,{\ displaystyle E,}X′=(Xnão′)não≥0{\ displaystyle X ^ {\ prime} = (X_ {n} ^ {\ prime}) _ {n \ geq 0}}
Xnão+1′=f(Xnão′,Ynão){\ displaystyle X_ {n + 1} ^ {\ prime} = f (X_ {n} ^ {\ prime}, Y_ {n})}
tem a mesma lei que o seguinte
X=(Xnão)não≥0.{\ displaystyle X = (X_ {n}) _ {n \ geq 0}.}
- Podemos até escolher e escolher variáveis independentes e uniformes no intervalo [0,1], o que é conveniente para o estudo de cadeias de Markov via métodos de Monte-Carlo , ou seja, por simulação de trajetórias “típicas” de cadeias de .Markov.F=[0,1],{\ displaystyle F = [0,1],}Yj{\ displaystyle Y_ {j}}
Propriedade Markov forte (tempo discreto, espaço discreto)
Intervalo
Observe a tribo gerada a partir daí. No caso de variáveis aleatórias com valores em um espaço de estado finito ou contável, uma parte pertence se e somente se existir de modo que
Fnão{\ displaystyle {\ mathcal {F}} _ {n}}(Xk)0≤k≤não.{\ displaystyle (X_ {k}) _ {0 \ leq k \ leq n}.}E{\ displaystyle E}NO⊂Ω{\ displaystyle A \ subset \ Omega}Fnão{\ displaystyle {\ mathcal {F}} _ {n}}B⊂Enão+1{\ displaystyle B \ subset E ^ {n + 1}}
NO={(X0,X1,...,Xnão)∈B}={ω∈Ω | (Xk(ω))0≤k≤não∈B}.{\ displaystyle {\ begin {alinhados} A & = \ left \ {(X_ {0}, X_ {1}, \ dots, X_ {n}) \ in B \ right \} \\ & = \ left \ { \ omega \ in \ Omega \ | \ \ left (X_ {k} (\ omega) \ right) _ {0 \ leq k \ leq n} \ in B \ right \}. \ end {alinhado}}}
Definição - uma variável aleatória é um tempo de parada da cadeia de Markov se
T:Ω→NÃO∪{∞}{\ displaystyle T: \ Omega \ rightarrow \ mathbb {N} \ cup \ {\ infty \}}(Xnão)não≥0{\ displaystyle (X_ {n}) _ {n \ geq 0}}
∀não∈NÃO,{T=não}∈Fnão,{\ displaystyle \ forall n \ in \ mathbb {N}, \ quad \ {T = n \} \ in {\ mathcal {F}} _ {n},}
ou, o que é equivalente, se
∀não∈NÃO,{T≤não}∈Fnão.{\ displaystyle \ forall n \ in \ mathbb {N}, \ quad \ {T \ leq n \} \ in {\ mathcal {F}} _ {n}.}
Interpretação. Imagine que as variáveis aleatórias representam os resultados de um jogador durante partes sucessivas de um jogo, e que representa a parte após a qual o jogador decide parar de jogar: é um tempo limite se a decisão de parar for tomada em função dos resultados de os jogos já disputados no momento da parada, ou seja, se para todos houver um subconjunto como:
Xk{\ displaystyle X_ {k}}T{\ displaystyle T}T{\ displaystyle T}não{\ displaystyle n}Bnão⊂Enão+1{\ displaystyle B_ {n} \ subconjunto E ^ {n + 1}}
{T=não}⇔{(X0,X1,...,Xnão)∈Bnão}.{\ displaystyle \ {T = n \} \ quad \ Leftrightarrow \ quad \ left \ {(X_ {0}, X_ {1}, \ dots, X_ {n}) \ in B_ {n} \ right \}. }
Isso impede que o jogador tome sua decisão com base nos resultados de jogos futuros: equivale a fazer a suposição de que a trapaça e o dom da visão dupla estão excluídos.
Para uma definição de tempo de inatividade em uma situação geral, podemos olhar
Exemplos:
As variáveis aleatórias abaixo são o tempo de inatividade:
- Let Ser um estado da cadeia de Markov; que chamamos de tempo do primeiro retorno no e nós denotar a variável aleatória definido abaixo:j{\ displaystyle j}j,{\ displaystyle j,}Rj,{\ displaystyle R_ {j},}
Rj={inf{não>0|Xnão=j}E se{não>0|Xnão=j}≠∅,+∞se não.{\ displaystyle R_ {j} = \ left \ {{\ begin {array} {lll} \ inf \ left \ {n> 0 \, \ vert \, X_ {n} = j \ right \} && {\ textrm {si}} \ quad \ left \ {n> 0 \, \ vert \, X_ {n} = j \ right \} \ neq \ emptyset, \\ + \ infty && {\ textrm {caso contrário.}} \ end {array}} \ right.}
Portanto, paramos de jogar assim que chegamos ao estado, mas sem contar o estado inicial. Se substituirmos por na definição, falamos de tempo de entrada , em vez de tempo de retorno .
j,{\ displaystyle j,}{não>0}{\ displaystyle \ {n> 0 \}}{não≥0}{\ displaystyle \ {n \ geq 0 \}}- Da mesma forma para uma parte de um chamadas instantâneas da primeira entrada em e um notas a variável aleatória definido abaixo:VS{\ displaystyle C}E,{\ displaystyle E,}VS,{\ displaystyle C,}TVS,{\ displaystyle T_ {C},}
TVS={inf{não≥0|Xnão∈VS}E se{não≥0|Xnão∈VS}≠∅,+∞se não.{\ displaystyle T_ {C} = \ left \ {{\ begin {array} {lll} \ inf \ left \ {n \ geq 0 \, \ vert \, X_ {n} \ in C \ right \} && { \ textrm {si}} \ quad \ left \ {n \ geq 0 \, \ vert \, X_ {n} \ in C \ right \} \ neq \ emptyset, \\ + \ infty && {\ textrm {caso contrário. }} \ end {array}} \ right.}
- O instante do -ésimo retorno é observado e definido pela recorrência por:k{\ displaystyle k}eu,{\ displaystyle i,}Reu(k){\ displaystyle R_ {i} ^ {(k)}}
Reu(k)={inf{não>Reu(k-1)|Xnão=eu}E se{não>Reu(k)|Xnão=eu}≠∅,+∞se não.,{\ displaystyle R_ {i} ^ {(k)} = \ left \ {{\ begin {array} {lll} \ inf \ left \ {n> R_ {i} ^ {(k-1)} \, \ verde \, X_ {n} = i \ right \} && {\ textrm {si}} \ quad \ left \ {n> R_ {i} ^ {(k)} \, \ green \, X_ {n} = i \ right \} \ neq \ emptyset, \\ + \ infty && {\ textrm {caso contrário.}} \ end {array}} \ right.,}
ou novamente no instante da -ésima entrada em são ta.
k{\ displaystyle k}VS,{\ displaystyle C,}
Contra-exemplo:
Por e na pose Podemos mostrar que não é um tempo de parar, mas que, por outro lado, é um tempo de parar.
eu{\ displaystyle i}j{\ displaystyle j}E,{\ displaystyle E,}T=inf{não≥0|Xnão=eu e Xnão+1=j}.{\ displaystyle T = \ inf \ left \ {n \ geq 0 \, \ vert \, X_ {n} = i {\ text {e}} X_ {n + 1} = j \ right \}.}T{\ displaystyle T}T+1{\ displaystyle T + 1}
Definição e propriedade - Ou um tempo de inatividade e é chamado de um evento antes de se:
T{\ displaystyle T \,}NO∈NO : NO{\ displaystyle A \ in {\ mathcal {A}} \: \ A \,}T{\ displaystyle T \,}
∀não∈NÃO, NO∩(T=não)∈Fnão.{\ displaystyle \ forall n \ in \ mathbb {N}, \ qquad \ A \ cap (T = n) \ in {\ mathcal {F}} _ {n}.}
O conjunto de eventos antes de formar uma subtribo da tribo chamada antes e anotadoT{\ displaystyle T \,}NO{\ displaystyle {\ mathcal {A}}}T{\ displaystyle T \,}FT.{\ displaystyle {\ mathcal {F}} _ {T}.}
Interpretação. Sabemos que para tudo existe um subconjunto como:
não{\ displaystyle n}Bnão⊂Enão+1{\ displaystyle B_ {n} \ subconjunto E ^ {n + 1}}
{T=não}⇔{(X0,X1,...,Xnão)∈Bnão}.{\ displaystyle \ {T = n \} \ quad \ Leftrightarrow \ quad \ left \ {(X_ {0}, X_ {1}, \ dots, X_ {n}) \ in B_ {n} \ right \}. }
Se, além disso, isso significa que para tudo existe um subconjunto tal que
NO∈FT,{\ displaystyle A \ in {\ mathcal {F}} _ {T},}não{\ displaystyle n}Dnão⊂Bnão{\ displaystyle D_ {n} \ subconjunto B_ {n}}
{NO∩{T=não}}⇔{(X0,X1,...,Xnão)∈Dnão}.{\ displaystyle \ left \ {A \ cap \ {T = n \} \ right \} \ quad \ Leftrightarrow \ quad \ left \ {(X_ {0}, X_ {1}, \ dots, X_ {n}) \ in D_ {n} \ right \}.}
De certa forma, testamos se o evento ocorre ou não observando o comportamento da sequência até o momento por abuso de linguagem, às vezes dizemos que o evento se relaciona com a sequênciaNO{\ displaystyle A}(Xk)0≤k≤não{\ displaystyle (X_ {k}) _ {0 \ leq k \ leq n}}T :{\ displaystyle T \:}NO{\ displaystyle A}(X0,X1,...,XT).{\ displaystyle (X_ {0}, X_ {1}, \ dots, X_ {T}).}
Propriedade Markov forte
Na declaração geral da propriedade de Markov fraca , o momento "presente", n , pode ser substituído por um momento "presente" aleatório , desde que seja um tempo de parada :
T,{\ displaystyle T,}T{\ displaystyle T}
Propriedade Markov forte - Para um tempo de parada e um elemento de
, temos
T{\ displaystyle T}X,{\ displaystyle X,}NO{\ displaystyle A}FT,{\ displaystyle {\ mathcal {F}} _ {T},}
Pµ((XT+não)não≥0∈B e NO | T<+∞ e XT=eu)=Peu((Xnão)não≥0∈B)Pµ(NO | T<+∞ e XT=eu).{\ displaystyle {\ begin {alinhados} {\ mathbb {P}} _ {\ mu} {\ Big (} {\ big (} X_ {T + n} {\ big)} _ {n \ geq 0} \ em B {\ text {e}} A \ & \ vert \ T <+ \ infty {\ text {e}} X_ {T} = i {\ Big)} \\ & = {\ mathbb {P}} _ {i} \ left (\ left (X_ {n} \ right) _ {n \ geq 0} \ in B \ right) {\ mathbb {P}} _ {\ mu} \ left (A \ \ vert \ T <+ \ infty {\ text {et}} X_ {T} = i \ direita). \ end {alinhado}}}
Isso pode ser interpretado como uma forma de independência (independência condicional ) entre o passado e o futuro, de saber o que está acontecendo no momento, ou seja , particularizado conforme chegamos
NO,{\ displaystyle A,}(XT+não)não≥0∈B,{\ displaystyle {\ big (} X_ {T + n} {\ big)} _ {n \ geq 0} \ in B,}T,{\ displaystyle T,}T,{\ displaystyle T,}{T<+∞ e XT=eu}.{\ displaystyle \ {T <+ \ infty {\ text {e}} X_ {T} = i \}.}NO=Ω,{\ displaystyle A = \ Omega,}
Pµ((XT+não)não≥0∈B | T<+∞ e XT=eu)=Peu((Xnão)não≥0∈B){\ displaystyle {\ begin {alinhados} {\ mathbb {P}} _ {\ mu} {\ Big (} {\ big (} X_ {T + n} {\ big)} _ {n \ geq 0} \ em B \ \ vert \ T <+ \ infty {\ text {et}} X_ {T} = i {\ Big)} & = {\ mathbb {P}} _ {i} \ left (\ left (X_ { n} \ direita) _ {n \ geq 0} \ in B \ direita) \ end {alinhado}}}
então, voltando a um elemento geral de , obtemos a seguinte formulação:
NO{\ displaystyle A}FT{\ displaystyle {\ mathcal {F}} _ {T}}
Independência condicional - Para um tempo de inatividade e um elemento de
nós temos
T{\ displaystyle T}X,{\ displaystyle X,}NO{\ displaystyle A}FT,{\ displaystyle {\ mathcal {F}} _ {T},}
Pµ((XT+não)não≥0∈B e NO | T<+∞ e XT=eu)=Pµ((XT+não)não≥0∈B | T<+∞ e XT=eu)Pµ(NO | T<+∞ e XT=eu).{\ displaystyle {\ begin {alinhados} {\ mathbb {P}} _ {\ mu} {\ Big (} {\ big (} X_ {T + n} {\ big)} _ {n \ geq 0} \ em B & {\ text {e}} A \ \ vert \ T <+ \ infty {\ text {e}} X_ {T} = i {\ Big)} \\ & = {\ mathbb {P}} _ {\ mu} {\ Big (} {\ big (} X_ {T + n} {\ big)} _ {n \ geq 0} \ in B \ \ vert \ T <+ \ infty {\ text {e} } X_ {T} = i {\ Big)} {\ mathbb {P}} _ {\ mu} \ left (A \ \ vert \ T <+ \ infty {\ text {e}} X_ {T} = i \ direita). \ end {alinhado}}}
Caso especial de tempos de retorno
No caso em que a cadeia de Markov é irredutível , em que o estado é recorrente , e onde o tempo de paragem considerado é o instante de k-th de retorno ao referido acima, vemos que, por recorrência do estadoeu{\ displaystyle i}T{\ displaystyle T}eu,{\ displaystyle i,}Reuk,{\ displaystyle R_ {i} ^ {k},}eu,{\ displaystyle i,}
Pµ(T<+∞)=1,{\ displaystyle {\ mathbb {P}} _ {\ mu} {\ Big (} T <+ \ infty {\ Big)} = 1,}
e isso por definição de Reuk,{\ displaystyle R_ {i} ^ {k},}
Pµ(XT=eu)=1{\ displaystyle {\ mathbb {P}} _ {\ mu} {\ Big (} X_ {T} = i {\ Big)} = 1.}
Assim, as condições que aparecem na propriedade de Markov forte são quase certas . No entanto, assim que tivermos Aqui, isso dará
Pµ(VS)=1,{\ displaystyle {\ mathbb {P}} _ {\ mu} (C) = 1,}Pµ(D|VS)=Pµ(D).{\ displaystyle {\ mathbb {P}} _ {\ mu} (D \, | \, C) = {\ mathbb {P}} _ {\ mu} (D).}
Pµ((XT+não)não≥0∈B e NO)=Pµ((XT+não)não≥0∈B)Pµ(NO)=Peu((Xnão)não≥0∈B)Pµ(NO).{\ displaystyle {\ begin {alinhados} {\ mathbb {P}} _ {\ mu} {\ Big (} {\ big (} X_ {T + n} {\ big)} _ {n \ geq 0} \ em B {\ text {et}} A {\ Big)} & = {\ mathbb {P}} _ {\ mu} {\ Big (} {\ big (} X_ {T + n} {\ big)} _ {n \ geq 0} \ in B {\ Big)} {\ mathbb {P}} _ {\ mu} \ left (A \ right) \\ & = {\ mathbb {P}} _ {i} \ esquerda (\ left (X_ {n} \ right) _ {n \ geq 0} \ in B \ right) {\ mathbb {P}} _ {\ mu} \ left (A \ right). \ end {alinhado} }}
Para todo k , há, portanto, independência ( incondicional ) entre os eventos que precedem a k -ésima passagem em e os eventos que seguem a k- ésima passagem em Além disso, a trajetória da cadeia de Markov após a k- ésima passagem tem o mesmo lei como a trajetória de uma cadeia de Markov a partir do tempo 0: ela reinicia como nova, independentemente do que possa ter acontecido antes. Diz-se então que os tempos de retorno sucessivos são tempos de renovação ou então tempos de regeneração .
eu{\ displaystyle i}eu.{\ displaystyle i.}eu, (XT+não)não≥0,{\ displaystyle i, \ (X_ {T + n}) _ {n \ geq 0},}eu{\ displaystyle i}
Os pedaços de trajetórias entre duas regenerações consecutivas então formam uma série de variáveis aleatórias iid (exceto a primeira parte, independente, mas possivelmente de lei diferente, se a cadeia de Markov não começar no tempo 0). Isso leva a uma prova da lei forte dos grandes números para cadeias de Markov deduzida da lei forte dos grandes números para variáveis . Também fornece um método para construir intervalos de confiança para os parâmetros de interesse na cadeia de Markov.
eu{\ displaystyle i}
Propriedade de Markov fraca (tempo contínuo, espaço discreto)
Matematicamente, se X ( t ), t > 0, é um processo estocástico, e se x ( t ), t > 0, é uma função, a propriedade de Markov é definida como:
P[X(t+h)=y|X(s)=x(s),s≤t]=P[X(t+h)=y|X(t)=x(t)],∀h>0{\ displaystyle \ mathrm {P} {\ big [} X (t + h) = y \, | \, X (s) = x (s), s \ leq t {\ big]} = \ mathrm {P } {\ big [} X (t + h) = y \, | \, X (t) = x (t) {\ big]}, \ quad \ forall h> 0.}Geralmente, uma suposição de homogeneidade ao longo do tempo é usada, ou seja:
P[X(t+h)=y|X(t)=x(t)]=P[X(h)=y|X(0)=x(0)],∀t,h>0{\ displaystyle \ mathrm {P} {\ big [} X (t + h) = y \, | \, X (t) = x (t) {\ big]} = \ mathrm {P} {\ big [ } X (h) = y \, | \, X (0) = x (0) {\ big]}, \ quad \ forall t, h> 0.}Em alguns casos, um processo aparentemente não markoviano ainda pode ter representações markovianas, modificando o conceito de estado atual e futuro . Seja X um intervalo de tempo e Y um processo de modo que cada estado de Y represente um intervalo de tempo de X :
Y(t)={X(s):s∈[no(t),b(t)]}.{\ displaystyle Y (t) = {\ big \ {} X (s): s \ in [a (t), b (t)] \, {\ big \}}.}Se Y é Markoviano, então é a representação Markoviana de X e X que é então chamada de processo de Markov de segunda ordem. Os processos de ordem superior são definidos da mesma maneira.
Equação de Chapman-Kolmogorov-Smoluchowski
É uma equação integral que garante a consistência do processo:
p(x3,t3|x1,t1)=∫p(x3,t3|x2,t2)p(x2,t2|x1,t1)dx2t3>t2>t1{\ displaystyle p (x_ {3}, t_ {3} | x_ {1}, t_ {1}) = \ int p (x_ {3}, t_ {3} | x_ {2}, t_ {2}) p (x_ {2}, t_ {2} | x_ {1}, t_ {1}) dx_ {2} \ quad t_ {3}> t_ {2}> t_ {1}}.
Torna-se uma equação diferencial parcial, mais fácil de manipular, que leva o nome de equação de Fokker-Planck .
Referências
- Norris, J.: Markov Chains .
- (pt) YK Lin , Teoria Probabilística de Dinâmica Estrutural , Nova York, Robert E. Krieger Publishing Company,Julho de 1976, 368 p. ( ISBN 0882753770 )
- Philippe A. Martin, Introdução aos processos estocásticos em física
- Ch. Ancey, simulações estocásticas - Aplicações a fluxos geofísicos e turbulência
Veja também
<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">