A técnica de validação cruzada é usada para avaliar modelos de classificação. Com relação a esta técnica, é correto afirmar que
- A)o erro do modelo é medido sobre os mesmos dados usados para treinar o modelo.
Errada, porque o erro medido sobre os mesmos dados de treino tende a ser otimista e não avalia a capacidade de generalização.
- B)o conjunto de treinamento contém exatamente os mesmos dados do conjunto de testes.
Errada, pois treino e teste não devem ser exatamente os mesmos dados; isso invalida a avaliação do modelo.
- C)o conjunto de treinamento contém o conjunto de testes.
Errada, porque o conjunto de treinamento não contém o conjunto de testes; eles devem ser separados na divisão usada para avaliação.
- D)o conjunto de testes contém o conjunto de treinamento.
Errada, pois o conjunto de testes não contém o de treinamento; a relação correta é de separação, não de inclusão.
- E)os conjuntos de treinamento e de testes devem ser uma partição disjunta do conjunto de dados.
Certa, porque os conjuntos de treinamento e de teste devem ser disjuntos na avaliação para evitar vazamento de informação.
Gabarito: E
A validação cruzada é uma técnica para estimar o desempenho de um modelo de classificação sem “viciar” a avaliação. A ideia é separar os dados em partes, treinar em uma parte e testar em outra, repetindo isso várias vezes para obter uma medida mais estável do erro. Assim, você avalia como o modelo tende a se sair em dados novos, e não apenas nos dados que ele já decorou. O ponto central é que treino e teste não podem ser a mesma coisa. Se o modelo é avaliado nos mesmos dados usados no treinamento, a medida fica artificialmente boa, porque ele já viu aquelas respostas antes. Na validação cruzada, os conjuntos usados para treinar e testar em cada rodada devem ser separados, sem sobreposição, embora ao longo das repetições cada amostra possa aparecer em papéis diferentes. Por isso, a alternativa E está correta: os conjuntos de treinamento e de testes devem formar uma partição disjunta do conjunto de dados. Em outras palavras, não há interseção entre eles naquela divisão específica, o que evita contaminação da avaliação. É exatamente esse cuidado que dá credibilidade ao resultado do modelo. Em resumo: validação cruzada serve para medir generalização. Se você mistura treino com teste, a nota fica bonita, mas falsa. A banca costuma cobrar essa distinção de forma bem direta, trocando um detalhe de conjunto por outro para ver se você cai na armadilha.