Después de desarrollar un modelo de Machine Learning, es importante poder evaluar su rendimiento para medir su eficacia. Para comparar de manera objetiva varios modelos entre sí, el uso de métricas es indispensable. Comprender y saber utilizar estas métricas es esencial para desarrollar un modelo de Machine Learning eficaz. En este artículo, descubrirás las principales métricas utilizadas para evaluar un modelo de Machine Learning.
¿Qué es una métrica en Machine Learning?
El Machine Learning permite a los ordenadores aprender y hacer predicciones o tomar decisiones basadas en datos.
Existen dos tipos de aprendizaje: el aprendizaje supervisado o el aprendizaje no supervisado.
En este artículo, nos situaremos en un marco supervisado. Para tener más detalles sobre las bases del Machine Learning y la diferencia entre estos dos tipos de aprendizaje, te recomendamos leer este artículo que te presentará los conceptos clave del Machine Learning que te serán útiles para entender el uso de las métricas en un modelo de Machine Learning.
Una métrica es un valor numérico que permite cuantificar la calidad de las predicciones de un modelo. Su papel es esencial durante todas las etapas del desarrollo de un modelo de Machine Learning, ya que permite determinar si un modelo cumple con nuestras expectativas. En función de los resultados obtenidos, las métricas permiten comparar objetivamente varios modelos entre sí, elegir el modelo más efectivo o cambiar los hiperparámetros de un modelo.
Un buen dominio de las diferentes métricas es esencial para desplegar un modelo eficaz.
¿Qué métrica elegir para mi modelo?
Para elegir la métrica apropiada, es importante entender el contexto del problema y los objetivos del modelo. Existen muchas métricas, y te presentaremos algunas de ellas y sus ventajas.
En un marco de aprendizaje supervisado, hay que empezar por determinar el tipo de predicción que el modelo debe realizar. Si el modelo debe predecir un valor numérico (por ejemplo, el precio de una vivienda), se trata de un problema de regresión (por ejemplo, regresión lineal). En el caso contrario, si el modelo debe predecir un valor categórico (por ejemplo, la presencia o no de fraude en una transacción bancaria), estamos en un contexto de clasificación. Las métricas utilizadas en modelos de regresión son de hecho diferentes de las utilizadas en modelos de clasificación.
A. Métricas de regresión
En este artículo, te presentaremos dos de las principales métricas de regresión: el error cuadrático medio y el error absoluto medio.
- El error cuadrático medio (MSE) se define como sigue:
donde N es el número de observaciones, yi es el valor real, y ŷi es la predicción realizada.
Esta métrica consiste en sumar los cuadrados de las diferencias entre los valores reales y las predicciones. El error cuadrático medio penaliza fuertemente las diferencias demasiado grandes entre el valor real y la predicción, lo cual puede ser útil en un contexto donde estas diferencias son particularmente indeseables.
Puedes obtener más información sobre el error cuadrático medio leyendo este artículo que describirá más en detalle sus características y un ejemplo de aplicación.
- El error absoluto medio (MAE) se define como sigue:
donde N es el número de observaciones, yi es el valor real, y ŷi es la predicción realizada.
Esta métrica consiste en sumar el valor absoluto de las diferencias entre las predicciones realizadas y los valores reales.
El error absoluto medio es menos sensible a las diferencias grandes que el error cuadrático medio.
B. Métricas de clasificación
En un marco de clasificación, la manera de evaluar el rendimiento de un modelo es diferente. Presentaremos tres de las principales métricas de clasificación: la exactitud, la precisión y el recall.
- Para calcular la exactitud, basta con evaluar la tasa de predicciones correctas en relación al número total de predicciones:
Esta fórmula devuelve un número entre 0 y 1. Un puntaje cercano a 1 indica un muy buen modelo, mientras que un puntaje cercano a 0 indica un mal modelo. Esta métrica es bastante intuitiva y fácil de comprender. Sin embargo, hay que tener en cuenta que evalúa mal el rendimiento de un modelo basado en datos desequilibrados, o datos en los que los errores de predicción no tienen el mismo impacto.
Para ilustrar este concepto, tomemos el ejemplo de un modelo que detecta la presencia de una enfermedad en un paciente. Si en el 90% de los casos, el paciente no está enfermo, el modelo podría predecir sistemáticamente que el paciente está sano. La exactitud de este modelo sería entonces de 0.9, lo cual parece ser un muy buen puntaje. Sin embargo, pueden surgir dos problemas principales:
- Primero, el modelo sería incapaz de detectar la enfermedad en un paciente.
- Segundo, la calidad de las predicciones no es tomada en cuenta. Predecir que un paciente está enfermo cuando no lo está (lo que se llama un falso positivo) no tendrá el mismo impacto que si el modelo predice que un paciente no está enfermo cuando sí lo está (falso negativo).
La exactitud no permite hacer matices entre las diferentes predicciones y no toma en cuenta los datos desequilibrados. Es por esta razón que existen métricas para paliar este problema:
- La precisión se define como sigue:
donde TP representa el número de Verdaderos Positivos y FP representa el número de Falsos Positivos.
Esta métrica es útil cuando el costo de los falsos positivos es alto.
- De manera bastante similar, el recall se define como sigue:
donde TP representa el número de Verdaderos Positivos y FN representa el número de Falsos Negativos.
Esta métrica es útil cuando el costo de los falsos negativos es alto.
Conclusión
Para concluir, usar métricas es esencial para evaluar el rendimiento de un modelo de Machine Learning. Elegir la métrica correcta según el modelo permite tomar las decisiones adecuadas sobre la manera de mejorarlo. En función del tipo de modelo (modelo de clasificación o de regresión), el contexto y el tipo de datos, algunas métricas serán preferibles a otras, y es importante comprender las ventajas y desventajas de cada métrica para utilizar la que mejor se ajuste a tu problemática.
Los Data Scientist utilizan métricas para preparar modelos de Machine Learning eficaces. Para ello, utilizan una multitud de conceptos matemáticos y de software específicos capaces de preparar y analizar los datos. En este sentido, una formación resulta más que necesaria. Esto es precisamente posible con DataScientest. Te ofrecemos formaciones completas en bootcamp o en tiempo parcial.
