Cómo seleccionar la métrica de evaluación correcta para los modelos de aprendizaje automático
Cómo seleccionar la métrica de evaluación correcta para los modelos de aprendizaje automático
by jesus contrertas
1. Error absoluto medio (MAE)
1.1. el error se calcula como un promedio de diferencias absolutas entre los valores objetivo y las predicciones
1.1.1. es una puntuación lineal, lo que significa que todas las diferencias individuales se ponderan por igual en el promedio
1.1.2. penaliza errores enormes que no tan mal como lo hace MSE
2. R al cuadrado (R²)
2.1. medida que podemos usar para evaluar un modelo y está estrechamente relacionada con la MSE
2.1.1. Error común
2.1.1.1. indican que el rango de R² se encuentra entre 0 y 1, lo que no es realmente cierto. El valor máximo de R² es 1, pero el mínimo puede ser menos infinito.
2.2. R² es la proporción entre lo bueno que es nuestro modelo y lo bueno que es el modelo medio ingenuo.
3. MAE vs MSE
3.1. Declaré que el MAE es más robusto (menos sensible a los valores atípicos) que el MSE, pero esto no significa que siempre sea mejor usar el MAE
4. R cuadrado ajustado (R²)
4.1. R² muestra qué tan bien los términos (puntos de datos) se ajustan a una curva o línea.
4.2. El R² ajustado le indica el porcentaje de variación explicado solo por las variables independientes que realmente afectan la variable dependiente.
4.3. Problemas con R² que se corrigen con un R² ajustado
4.3.1. R² aumenta con cada predictor agregado a un modelo
4.3.2. si su modelo tiene demasiados términos y demasiados polinomios de alto orden, puede encontrar el problema de sobre-ajustar los datos
5. Error porcentual absoluto medio (MAPE)
5.1. Para MAPE, el peso de su muestra es inversamente proporcional a su objetivo
5.2. las predicciones constantes óptimas para MAPE resultan ser la mediana ponderada de los valores objetivo.
6. Confusion Matrix
6.1. Confusión o error Matrix es una tabla que describe el rendimiento de un modelo supervisado de Machine Learning en los datos de prueba
6.2. True Positives (TP): cuando la clase real del punto de datos era 1 (Verdadero) y la predicha es también 1 (Verdadero) Verdaderos Negativos (TN): cuando la clase real del punto de datos fue 0 (Falso) y el pronosticado también es 0 (Falso). False Positives (FP): cuando la clase real del punto de datos era 0 (False) y el pronosticado es 1 (True). False Negatives (FN): Cuando la clase real del punto de datos era 1 (Verdadero) y el valor predicho es 0 (Falso).
7. Otras dos matrices que casi nunca se usan
7.1. 1. Tasa de falso positivo o Error tipo I: Número de elementos identificados erróneamente como positivos de total negativos verdaderos- FP / ( FP + TN) 2. Tasa falso negativo o error de tipo II: Número de elementos identificados erróneamente como s negativo del total de verdaderos positivos: FN / (FN + TP)
8. Error cuadrático medio (MSE)
8.1. básicamente mide el error cuadrado promedio de nuestras predicciones. Para cada punto, calcula la diferencia cuadrada entre las predicciones y el objetivo y luego promedia esos valores.
8.2. Ventaja: útil si tenemos valores inesperados que nos deberían interesar. Muy alto o bajo valor que debemos prestar atención.
8.3. Desventaja: si hacemos una predicción muy mala, la cuadratura empeorará aún más el error y puede sesgar la métrica para sobreestimar la maldad del modelo.
9. Error cuadrático medio (RMSE)
9.1. es solo la raíz cuadrada de MSE. La raíz cuadrada se introduce para hacer que la escala de los errores sea igual a la escala de los objetivos.
9.1.1. si la métrica objetivo es RMSE, aún podemos comparar nuestros modelos utilizando MSE, ya que MSE ordenará los modelos de la misma manera que RMSE