Um time de ciência de dados utilizou um modelo linear para resolver uma tarefa de análise de dados financeiros provenientes de diferentes unidades de uma organização. Um membro do time, que não participou da modelagem, testa o modelo e verifica que ele apresenta um péssimo resultado. Preocupado, ele busca os resultados apresentados no treino e pode concluir que ocorreu:
- A)underfitting, se o resultado do treino foi ótimo. Uma possível solução é a utilização de um modelo mais complexo e a redução do tempo de treinamento;
Errada, porque treino ótimo com teste péssimo indica overfitting, não underfitting.
- B)underfitting, se o resultado do treino também foi péssimo. Uma possível solução é a utilização de um modelo menos complexo e métodos de validação cruzada;
Errada, porque underfitting ocorre quando o modelo vai mal também no treino, mas a solução proposta também está incoerente.
- C)overfitting, se o resultado do treino também foi péssimo. Uma possível solução é a utilização de técnicas de regularização e métodos de validação cruzada;
Errada, porque treino péssimo e teste ruim apontam mais para underfitting, não overfitting.
- D)overfitting, se o resultado do treino foi ótimo. Uma possível solução é a utilização de um modelo menos complexo e métodos de validação cruzada;
Certa, pois treino ótimo e teste péssimo caracterizam overfitting, e reduzir a complexidade com validação cruzada é uma forma adequada de corrigir isso.
- E)overfitting, se o resultado do treino foi ótimo. Uma possível solução é a utilização de um modelo mais complexo e o aumento do tempo de treinamento
Errada, porque overfitting não se resolve aumentando a complexidade nem estendendo o treinamento; isso tende a piorar a memorização.
Gabarito: D
A ideia central aqui é comparar o desempenho do modelo no treino com o desempenho na teste. Quando o modelo vai muito bem no treino, mas fracassa no teste, isso costuma indicar overfitting: ele "decorou" os dados de treinamento e não generaliza bem para casos novos. Em outras palavras, ele aprendeu demais o ruído e de menos o padrão. É o clássico aluno que gabarita a lista, mas trava na prova com enunciado diferente. Se o resultado do treino foi ótimo e o do teste foi péssimo, o problema mais provável é exatamente esse: overfitting. A solução costuma ser reduzir a complexidade do modelo, aplicar regularização e usar validação cruzada para avaliar melhor a capacidade de generalização. Em modelos lineares, isso pode significar, por exemplo, controlar coeficientes exagerados com técnicas como L1 ou L2. Já o underfitting é o oposto: o modelo é simples demais ou foi treinado de forma insuficiente, então vai mal até no próprio treino. Se ele não aprende nem os dados de treinamento, não faz sentido dizer que ele "decorou" o conteúdo. Por isso, a pista do enunciado é o contraste entre treino ótimo e teste ruim. Portanto, o gabarito D está correto porque descreve overfitting quando o treino foi ótimo e aponta uma saída coerente: simplificar o modelo e recorrer à validação cruzada. Esse é um raciocínio padrão em aprendizado de máquina e análise preditiva, muito cobrado em provas quando a banca quer ver se voce distingue generalização de memorização.