João e Júlio fazem parte da equipe de Ciência de Dados do TCE/ES e estão realizando um estudo para o desenvolvimento de um classificador binário (classes positiva e negativa) usando Naive Bayes. Com o intuito de dividirem suas tarefas, João ficou responsável por treinar o modelo de classificação, e Júlio, por avaliar o desempenho do modelo. Após o treinamento do modelo, João aplicou-o ao conjunto de teste e enviou um e-mail a Júlio com a matriz de confusão resultante. Dessa forma, Júlio poderá calcular:
- A)a acurácia do modelo, mas não o seu recall;
Errada, porque a matriz de confusão permite calcular tanto a acurácia quanto o recall.
- B)o recall do modelo, mas não a sua precisão;
Errada, porque a matriz de confusão permite calcular tanto o recall quanto a precisão.
- C)a precisão do modelo, mas não o seu F1-score;
Errada, porque a matriz de confusão permite calcular tanto a precisão quanto o F1-score.
- D)o F1-score do modelo, mas não a sua AUC;
Certa, porque o F1-score é calculado a partir de precisão e recall, ambos extraídos da matriz de confusão, enquanto a AUC depende da curva ROC.
- E)a AUC do modelo, mas não a sua acurácia.
Errada, porque a acurácia também pode ser calculada diretamente da matriz de confusão.
Gabarito: D
A matriz de confusão é aquela tabelinha clássica que resume os acertos e erros de um classificador binário: verdadeiros positivos, verdadeiros negativos, falsos positivos e falsos negativos. Com ela, voce consegue calcular várias medidas de desempenho que dependem apenas desses quatro números, como acurácia, precisão, recall e F1-score. Em outras palavras, se a matriz chegou na sua mão, o cardápio de métricas básicas também chegou junto. A acurácia é a proporção de previsões corretas sobre o total. O recall mede quantos dos positivos reais foram identificados. A precisão mede, entre os que o modelo apontou como positivos, quantos realmente eram positivos. E o F1-score combina precisão e recall, então também sai diretamente da matriz de confusão. Por isso, com a matriz em mãos, Júlio consegue calcular o F1-score sem dificuldade. Já a AUC é outra história. Ela vem da curva ROC e depende das taxas calculadas para vários limiares de decisão, não sendo obtida apenas de uma única matriz de confusão de um ponto específico. Por isso, mesmo tendo a matriz do teste, Júlio não consegue determinar a AUC apenas com esses dados. Assim, o gabarito é a letra D: ele pode calcular o F1-score do modelo, mas não a sua AUC. A lógica é simples e muito cobrada em prova: matriz de confusão ajuda nas métricas derivadas do próprio resultado da classificação; AUC exige informação da curva/limiares, ou seja, vai além da matriz isolada.