Com o objetivo de minimizar os riscos na concessão de crédito, um banco contratou uma empresa especializada em sistemas digitais para desenvolver um classificador de requisitantes de crédito em bons ou maus pagadores. Ao entregar o modelo de classificação para o banco, a empresa afirmou que o classificador havia obtido nos testes uma precisão de mais de 95%. No entanto, após alguns meses, o banco notou que o desempenho do classificador estava aquém do esperado, ficando abaixo de 60%. Essa situação apresenta um problema de:
- A)underfitting, que se caracteriza pelo classificador estar subajustado aos exemplos do mundo real;
Errada, porque underfitting ocorre quando o modelo aprende pouco demais e apresenta baixo desempenho ja nos dados de treinamento.
- B)overfitting, que se caracteriza pelo classificador estar superajustado aos exemplos de treinamento;
Certa, pois overfitting e o superajuste ao conjunto de treinamento, gerando otimo resultado inicial e fraca generalizacao no uso real.
- C)undersampling, que se caracteriza pela quantidade de exemplos do mundo real ser pequena;
Errada, porque undersampling e uma tecnica de tratamento de dados, nao o nome do problema de desempenho descrito na questao.
- D)oversampling, que se caracteriza pela quantidade de exemplos de treinamento ser excessiva;
Errada, porque oversampling tambem e uma tecnica de amostragem, usada para equilibrar classes, e nao explica a queda de desempenho do classificador.
- E)outliers, que se caracteriza pela presença de exemplos do mundo real muito distintos dos exemplos de treinamento.
Errada, porque outliers podem atrapalhar o modelo, mas nao definem, por si sós, o fenomeno principal narrado no enunciado.
Gabarito: B
A questao trata de um problema classico em aprendizado de maquina: o modelo vai muito bem nos testes, mas fracassa quando encontra dados reais novos. Isso costuma acontecer quando ele aprende demais os detalhes do conjunto de treinamento, inclusive ruidos e particularidades que nao se repetem fora dele. Em termos simples, ele decorou a materia em vez de entender o conteudo. Esse fenomeno recebe o nome de overfitting, ou superajuste. O sinal tipico e justamente esse: desempenho excelente na validacao interna e queda forte quando o modelo e colocado em producao, como ocorreu com o banco. Em geral, o modelo fica “viciado” no treinamento e perde capacidade de generalizacao. O contrario disso seria o underfitting, quando o modelo nem aprende bem os padroes basicos e ja vai mal ate nos dados de treino. Aqui, porem, o problema nao foi falta de aprendizado, e sim aprendizado em excesso do jeito errado. Por isso a situacao descrita aponta para overfitting. Em concursos, vale lembrar a ideia central: bom modelo nao e o que memoriza, e o que generaliza. Quando a banca mostra um resultado muito alto em teste inicial e depois um desastre no uso real, quase sempre quer que voce pense em superajuste.