Considere uma matriz de confusão de um modelo de classificação binária de relatórios financeiros. O modelo classifica os relatórios em fraudulentos ou não fraudulentos. Se essa matriz apresenta 200 verdadeiros positivos, 100 verdadeiros negativos, 40 erros do “tipo 1” e 20 erros do “tipo 2”, podem-se calcular as métricas de desempenho aproximadas como:
- A)Precision = 0.71. Recall = 0.83;
Errada, porque inverte os valores aproximados de precision e recall, ja que 0,71 nao corresponde aos calculos com os dados da matriz.
- B)Precision = 0.83. Recall = 0.71;
Errada, porque troca os resultados das metricas: a precision nao e 0,71 e o recall nao e 0,83 com esses numeros.
- C)Precision = 0.83. Recall = 0.90;
Certa, pois precision = 200/(200+40) = 0,83 e recall = 200/(200+20) = 0,90.
- D)Precision = 0.90. Recall = 0.71;
Errada, porque 0,90 nao representa a precision nesse caso; esse valor e o recall aproximado.
- E)Precision = 0.90. Recall = 0.83.
Errada, porque 0,90 nao corresponde a precision e 0,83 nao corresponde a recall com a matriz informada.
Gabarito: C
Em matriz de confusão, voce compara o que o modelo previu com o que era a verdade. Os nomes mais importantes aqui sao: verdadeiro positivo (acertou o fraudulento), verdadeiro negativo (acertou o nao fraudulento), falso positivo, que costuma ser o erro do tipo 1, e falso negativo, que costuma ser o erro do tipo 2. Para achar a precision, voce olha quantos dos casos classificados como positivos eram realmente positivos: Precision = TP / (TP + FP). Com 200 verdadeiros positivos e 40 falsos positivos, fica 200 / 240 = 0,83. Para achar o recall, voce verifica quantos dos positivos reais foram encontrados pelo modelo: Recall = TP / (TP + FN). Com 200 verdadeiros positivos e 20 falsos negativos, fica 200 / 220 = 0,90. Por isso o gabarito correto e a alternativa C. Em linguagem de concurso: o modelo foi bem preciso e ainda conseguiu recuperar quase todos os casos fraudulentos. Em classificacao binaria, essa leitura de matriz de confusao e a base das metricas mais cobradas, sem misterio e sem magia de planilha.