Sobreajuste

Em estatísticas , o overtraining ou over-ajuste , ou sobre-interpretação (em Inglês "  overfitting  "), é uma análise estatística que é muito específico para um determinado conjunto de um conjunto de dados. Assim, esta análise pode não corresponder a dados adicionais ou pode não prever observações futuras de forma confiável. Um modelo de ajuste excessivo é um modelo estatístico que contém mais parâmetros do que os dados podem suportar.


O problema também existe no aprendizado de máquina . Geralmente é causado por um dimensionamento inadequado da estrutura usada para classificar ou fazer uma regressão. Devido à grande capacidade de captura de informações, uma estrutura em situação de sobreajuste terá dificuldade em generalizar as características dos dados. Em seguida, ele se comporta como uma mesa contendo todas as amostras usadas durante o treinamento e perde seus poderes de previsão em novas amostras.

Em outras palavras, o modelo lembra muitos exemplos em vez de aprender a perceber os recursos.

Desenho

O overfitting é interpretado como aprendizagem “mecânica” de dados, uma espécie de memorização. Muitas vezes resulta de muita liberdade na escolha do modelo.

A figura abaixo ilustra esse fenômeno no caso de uma regressão em .

Os pontos verdes são descritos corretamente por uma regressão linear.

Se permitirmos um conjunto maior de funções de aprendizagem, por exemplo o conjunto de funções polinomiais com coeficientes reais, é possível encontrar um modelo que descreve perfeitamente os dados de aprendizagem (erro de aprendizagem zero). Este é o caso do polinômio de interpolação de Lagrange  : ele passa por todos os pontos verdes, mas obviamente não tem capacidade de generalização.

Evite overfitting

Para limitar esse tipo de problema no caso das redes neurais, deve-se ter o cuidado de usar um número adequado de parâmetros e, portanto, de neurônios e camadas ocultas. Recomenda-se começar com modelos simples com menos parâmetros na primeira abordagem. No entanto, esses parâmetros ideais são difíceis de determinar com antecedência.

Validação cruzada

Para detectar overfitting, separamos os dados em k subconjuntos: k-1 conjuntos de treinamento e um conjunto de validação. O conjunto de aprendizagem, como o próprio nome sugere, permite que o peso do modelo seja treinado e alterado. O conjunto de validação é usado para verificar a adequação da rede e seus parâmetros. Este processo é repetido k vezes, mudando o conjunto de validação a cada vez.

Provavelmente, podemos falar de overfitting se o erro de previsão da rede no conjunto de treinamento diminuir enquanto o erro de validação aumenta significativamente. Isso significa que a rede continua a melhorar seu desempenho nas amostras de treinamento, mas perde seu poder de generalização e predição nas provenientes da validação.

Para ter uma rede que generalize bem, paramos o aprendizado assim que observamos essa divergência entre as duas curvas. Também podemos reduzir o tamanho da rede e começar a aprender novamente. Os métodos de regularização, como a redução do peso, também permitem limitar a especialização.

Regularização

Outro método para evitar overfitting é usar alguma forma de regularização . Durante a aprendizagem, os valores extremos dos parâmetros são penalizados, pois esses valores muitas vezes correspondem a um excesso de aprendizagem.

Outros métodos

Existem outros métodos para evitar overfitting. Eles dependem muito do problema a ser resolvido, bem como do tipo de dados que está sendo processado. Além dos já mencionados, aqui estão os outros métodos que podem dar bons resultados:

Notas e referências

  1. "  Generalization: The Risk of Overfitting  " , em https://developers.google.com , última atualização: 27 de março de 2018 (acessado em 16 de abril de 2019 )
  2. Antoine Cornuéjols e Laurent Miclet , Aprendizagem artificial: conceitos e algoritmos. , Paris, Edições Eyrolles ,2011, 803  p. ( ISBN  978-2-212-12471-2 , leia online )
  3. "  Como evitar overfitting? Aqui estão os 7 métodos para conhecer  ” , em La revue IA ,11 de setembro de 2020(acessado em 23 de setembro de 2020 )
  4. (en-US) “  Overfitting in Machine Learning: What Is and How to Prevent It  ” , on EliteDataScience ,7 de setembro de 2017(acessado em 11 de abril de 2021 )

Veja também