Evaluando el error en los modelos de clasificaci贸n

Despu茅s de realizar la evaluaci贸n de las caracter铆sticas de los datos, la selecci贸n del algoritmo y la implementaci贸n de un modelo y obtener algunos resultados, el siguiente paso es averiguar qu茅 tan efectivo es el modelo basado en alguna m茅trica.

Se utilizan diferentes m茅tricas de rendimiento para evaluar los modelos de clasificaci贸n, la elecci贸n de la misma influye en c贸mo se mide y compara el rendimiento de los algoritmos de Machine Learning.

Te recomiendo que antes de continuar con la explicaci贸n hayas entendido muy bien de que se trata la Matriz de Confusi贸n ya que es la base para los siguientes t茅rminos.

ERRORES-BLOG-2

Exactitud

Es el n煤mero de predicciones correctas realizadas por el modelo por el n煤mero total de registros. La mejor precisi贸n es el 100%, lo que indica que todas las predicciones son correctas.

Toma en cuenta que la exactitud no es una medida v谩lida del rendimiento del modelo cuando se tiene un conjunto de datos desequilibrado.

ERRORES-BLOG-3

Errores clasificacio虂n 1

Errores clasificacio虂n 2

Expliquemos esto con nuestro ejemplo, en el caso de que tengamos los datos de detecci贸n de c谩ncer de 100 personas y solo 5 de ellas tiene c谩ncer. Al construir el modelo, este es muy malo y predice cada caso como NO c谩ncer, es decir ha clasificado correctamente a los 95 pacientes no cancerosos y a 5 pacientes cancerosos como NO cancerosos. Ahora, aunque el modelo es terrible para predecir el c谩ncer la precisi贸n del mismo es del 95%. Por lo tanto, NO se puede fiar de la exactitud en casos de que los datos se encuentren desbalanceados.

Precisi贸n

Con precisi贸n, estamos evaluando nuestros datos por su desempe帽o de predicciones 鈥減ositivas鈥.

ERRORES-BLOG-6

ERRORES-BLOG-7

Si usamos nuestro ejemplo, la precisi贸n es una medida que nos dice qu茅 proporci贸n de pacientes a los que diagnosticamos que tiene c谩ncer, en realidad tuvo c谩ncer.

Errores clasificacio虂n 3

Si volvemos a utilizar el ejemplo de c谩ncer con 100 personas y solo 5 tienen c谩ncer. Nuestro modelo es muy malo y predice todos los casos como c谩ncer, por lo que el denominador de la formula es 100 y el numerador, las personas que tienen c谩ncer y que el modelo predijo correctamente es 5. Por lo tanto, en este ejemplo, podemos decir que la precisi贸n es del 5%.

Sensibilidad

La sensibilidad tambi茅n es llamada Recall y se calcula como el n煤mero de predicciones positivas correctas dividido por el n煤mero total de positivos.

ERRORES-BLOG-9

ERRORES-BLOG-10

La sensibilidad es una medida que nos dice qu茅 proporci贸n de pacientes que realmente tuvieron c谩ncer fue diagnosticado por el algoritmo como si tuviera c谩ncer.

Errores clasificacio虂n 4

En nuestro ejemplo de c谩ncer con 100 personas, 5 personas realmente tienen c谩ncer. Digamos que el modelo predice todos los casos de c谩ncer. As铆 que nuestro denominador, verdaderos positivos y falsos negativos, es 5 y el numerador la persona que tiene c谩ncer y el modelo que predice su caso como c谩ncer tambi茅n es 5, ya que predijimos 5 casos de c谩ncer correctamente. Entonces, en este ejemplo, podemos decir que la sensibilidad de dicho modelo es del 100% y la precisi贸n el del 5%, como vimos anteriormente.

Especificidad

La especificidad, tasa negativa verdadera, se calcula como el n煤mero de predicciones negativas correctas dividido por el n煤mero total de negativos.

ERRORES-BLOG-12

ERRORES-BLOG-13

La especificidad es una medida que nos dice qu茅 proporci贸n de pacientes que NO tuvieron c谩ncer, fueron predichos por el modelo como no cancerosos.

La especificidad es exactamente lo contrario a la sensibilidad.

Errores clasificacio虂n 5

En nuestro ejemplo de c谩ncer con 100 personas, 5 personas realmente tienen c谩ncer, digamos que el modelo predice todos los casos de c谩ncer. As铆 que nuestro denominador, falsos positivos y verdaderos negativos, es 95 y el numerador, la persona que no tiene c谩ncer y el modelo que predice el dato correctamente, ser谩 0, ya que predijimos todos los casos como c谩ncer. Entonces, en este ejemplo, podemos afirmar que la especificidad de dicho modelo es del 0%.

Puntaje de F1

Realmente no queremos calcular la precisi贸n y la sensibilidad cada vez que creamos un modelo para resolver un problema de clasificaci贸n, as铆 que es mejor si podemos obtener una puntuaci贸n 煤nica que represente ambas variables.

El puntaje F1 es el promedio ponderado de precisi贸n y sensibilidad. Por lo tanto, esta puntuaci贸n tiene en cuenta tanto los falsos positivos como los falsos negativos.

Errores clasificacio虂n 6

ERRORES-BLOG-16

En nuestro ejemplo de c谩ncer con 100 personas, 5 personas realmente tienen c谩ncer, digamos que modelo predice todos los casos de c谩ncer.

La precisi贸n ser谩 del 5% y la sensibilidad del 100%, sustituyendo estos valores en la formula nos da un puntaje F1 de 9,5%.

Deja un comentario

Tu direcci贸n de correo electr贸nico no ser谩 publicada. Los campos obligatorios est谩n marcados con *