Amostragem de Gibbs

Natureza	Algoritmo
Inventores	Stuart Geman ( em ) , Donald Geman ( em )
Data de invenção	1984
Nomeado em referência a	Josiah Willard Gibbs
Aspecto de	Método de Monte-Carlo por cadeias de Markov

A amostragem de Gibbs é um MCMC . Dada uma distribuição de probabilidade $π$ em um universo $Ω$ , este algoritmo define uma cadeia de Markov cuja distribuição estacionária é $π$ . Assim, torna-se possível desenhar aleatoriamente um elemento de $Ω de$ acordo com a lei $π$ (falamos de amostragem ).

Introdução

Tal como acontece com todos os métodos de Monte-Carlo da cadeia de Markov,

nos colocamos em um espaço vetorial Ɛ de dimensão finita n ;
queremos gerar aleatoriamente N vetores x ( i ) de acordo com uma distribuição de probabilidade π;
para simplificar o problema, determinamos uma distribuição q x ( i ) permitindo gerar aleatoriamente x ( i + 1) a partir de x ( i ) .

A especificidade da amostragem de Gibbs consiste em "dividir" q x ( i ) em n probabilidades condicionais:

o primeiro componente do vetor, x ( i + 1) 1 , é gerado a partir da probabilidade condicional π ( x 1 | x ( i ) 2 , x ( i ) 3 ,…, x ( i ) n );
o segundo componente do vetor, x ( i + 1) 2 , é gerado a partir da probabilidade condicional π ( x 2 | x ( i + 1) 1 , x ( i ) 3 ,…, x ( i ) n );
o componente j do vetor, x ( i + 1) j , é gerado a partir da probabilidade condicional π ( x j | x ( i + 1) 1 , x ( i + 1) 2 ,…, x ( i + 1) j - 1 , x ( i ) j + 1 ,…, x ( i ) n ).

Portanto, substituímos o problema da geração aleatória de x ( i + 1) por n problemas que esperamos que sejam mais simples.

Princípio

Seja $X = ( X i , i \in S )$ uma variável com distribuição $π$ no espaço dos sítios $S = ⟦1; n ⟧$ em direcção ao espaço de estado $Ω$ . Para $x = ( x 1 ;\dots; x n ) \in Ω$ e as densidades condicionais $π i ( x i | x \neg i )$ onde $x \neg i = ( x j , j \neq i ), i \in S$ , construímos o Gibbs amostrador em núcleos $π$ -invariantes: $P i ( x , y ) = π i ( y i | x \neg i ) 1 ( x \neg i = y \neg i )$ .

Amostrador de varredura sistemática

Visitamos $S$ sequencialmente, relaxando a cada passo $i$ o valor de acordo com a lei $π i$ condicional ao estado atual. A transição de $x$ para $y é$ escrita: $P \ left (x; y \ right) = \ prod _ {{i = 1}} ^ {n} \ pi _ {i} \ left (y_ {i} | y_ {1}, \ dotsc, y _ { {i-1}}, x _ {{i + 1}}, \ dotsc, x_ {n} \ right)$

Amostrador de varredura aleatória

Vamos $ν$ uma never probabilidade zero de $S$ . Em cada etapa, um local $i$ é escolhido com a probabilidade $ν i > 0$ e o valor y é relaxado de acordo com a lei condicional $π i$ no estado atual. A transição está escrita: $P \ left (x; y \ right) = \ sum _ {{i = 1}} ^ {n} \ nu _ {i} \ pi _ {i} \ left (y_ {i} | x _ {{\ neg {i}}} \ right) {\ mathbf {1}} \ left (x _ {{\ neg i}} = y _ {{\ neg i}} \ right)$

Propriedades

Se $Ω$ for finito, a transição $P$ é estritamente positiva e a velocidade de convergência de $νP k$ é exponencial.
$π$ pode ser conhecido até um fator multiplicativo.

Bibliografia

C. Gaetan e X. Guyon , cap. 9 “Simulação de modelos espaciais” , em Jean-Jacques Droesbeke, Michel Lejeune e Gilbert Saporta, análise estatística dos dados espaciais: 10 º dias de estudo em estatísticas, 4-8 novembro de 2002, Marselha, Société française de statistique , Paris, Technip,2006, 468 p. ( ISBN 978-2-7108-0873-2 , aviso BnF n o FRBNF40225776 )