Validação cruzada

A validação cruzada ( " validação cruzada " ) é, no aprendizado de máquina , um método para estimar a confiabilidade de um modelo baseado em uma técnica de amostragem .

Utilidade da validação cruzada

Suponha que temos um modelo estatístico com um ou mais parâmetros desconhecidos e um conjunto de dados de treinamento no qual aprender (ou "treinar") o modelo. O processo de treinamento otimiza os parâmetros do modelo para que corresponda ao máximo possível aos dados de treinamento. Se tomarmos então uma amostra de validação independente, supostamente da mesma população que a amostra de treinamento, geralmente resultará que o modelo não modela os dados de validação tão bem como os dados de treinamento: falamos sobre overfitting . No entanto, uma amostra de validação independente nem sempre está disponível. Além disso, de uma amostra de validação para outra, o desempenho de validação do modelo pode variar. A validação cruzada permite derivar vários conjuntos de validação da mesma base de dados e, assim, obter uma estimativa mais robusta, com viés e variância, do desempenho de validação do modelo.

Técnicas de validação

Existem muitas variantes de validação, mas podemos primeiro distinguir:

Validação não cruzada, " validação de conjunto de teste " ou " método de validação " : dividimos o tamanho da amostra em duas subamostras, a primeira chamada aprendizagem (geralmente maior que 60% da amostra) e a segunda referida validação ou teste. O modelo é construído na amostra de treinamento e validado na amostra de teste com uma pontuação de desempenho de nossa escolha. $não$
A validação cruzada bloqueia " validação cruzada k-fold " : dividir as amostras originais (ou "blocos"), então seleciona uma das amostras como um conjunto de validação enquanto as outras amostras são todas de 'aprendizado. Após o aprendizado, um desempenho de validação pode ser calculado. Em seguida, a operação é repetida selecionando outra amostra de validação entre os blocos predefinidos. Ao final do procedimento obtemos, assim , escores de desempenho, um por bloco. A média e o desvio padrão das pontuações de desempenho podem ser calculados para estimar o viés e a variância do desempenho de validação. $k$ $k$ $k$ $k-1$ $k$ $k$

Tabela de distribuição de dados para validação cruzada em k = 3 blocos

k	Bloco 1	bloco 2	bloco 3
1	validação	Aprendendo	Aprendendo
2	Aprendendo	validação	Aprendendo
3	Aprendendo	Aprendendo	validação

A validação cruzada de um contra todos, " validação cruzada deixar um de fora " (LOOCV): este é um caso especial de validação cruzada de bloco em que . Isso quer dizer que a cada iteração de validação de aprendizagem, a aprendizagem é feita nas observações e a validação na única observação restante. $k$ $k = n$ $n-1$

Depois de efectuada a validação do modelo, é então necessário passar à prova com o conjunto de provas previamente reservado.

Gerenciando bancos de dados não balanceados

Em tarefas de classificação , a distribuição de classes no banco de dados pode ser desequilibrada, ou seja, o número de observações por classe pode não ser o mesmo de uma classe para outra: se denotarmos o número de observações da -ésima classe, então existe tal isso . Neste caso, para evitar que o desempenho de validação (e aprendizagem) seja influenciado por uma distribuição de classes em mudança de uma validação (resp. Aprendizagem) definida para outra, é recomendado usar uma validação cruzada estratificada ("validação cruzada estratificada") . A estratificação consiste em garantir que a distribuição das classes seja a mesma em todos os conjuntos de treinamento e validação utilizados. Ou seja, se a base de dados inicial apresenta, por exemplo, 3 observações da classe 1 para 7 observações da classe 2, então cada conjunto de validação (resp. Aprendizagem) deve apresentar esta relação de 3 para 7. $ou$ $eu$ ${\ displaystyle \ {i, j \}}$ ${\ displaystyle n_ {i} \ neq n_ {j}}$

No caso de validação cruzada com blocos, é simplesmente uma questão de distribuir as classes da mesma forma de um bloco para outro. Os conjuntos de validação e treinamento que derivarão dele herdarão esta distribuição. $k$

Veja também

Links internos

Referências

Payam Refaeilzadeh, Lei Tang, Huan Liu, “ Cross-Validation ” ( Arquivo • Wikiwix • Archive.is • Google • Que faire? ) (Acessado em 20 de abril de 2020 )
Andrew W. Moore, validação cruzada para detecção e prevenção de sobreajuste