Après avoir développé un modèle de Machine Learning, il est important de pouvoir évaluer ses performances, afin de mesurer son efficacité. Pour comparer de manière objective plusieurs modèles entre eux, l’utilisation des métriques est indispensable. Comprendre et savoir utiliser ces métriques est essentiel pour développer un modèle de Machine Learning efficace. Dans cet article, vous allez découvrir les principales métriques utilisées pour évaluer un modèle de Machine Learning.
Qu’est ce qu’une métrique en Machine Learning ?
Le Machine Learning permet aux ordinateurs d’apprendre et de faire des prédictions ou de prendre des décisions basées sur des données.
Il existe deux types d’apprentissage : l’apprentissage supervisé ou l’apprentissage non supervisé.
Dans cet article, nous nous placerons dans un cadre supervisé. Pour avoir plus de détails sur les bases du Machine Learning et la différence entre ces deux types d’apprentissage, nous vous recommandons de lire cet article qui vous présentera les concepts clés du Machine Learning qui vous seront utiles pour comprendre l’utilisation des métriques dans un modèle de Machine Learning.
Une métrique est une valeur numérique permet de quantifier la qualité des prédictions d’un modèle. Son rôle est essentiel durant toutes les étapes du développement d’un modèle de Machine Learning car elle permet de déterminer si un modèle correspond à nos attentes. En fonction des résultats obtenus, les métriques permettent de comparer objectivement plusieurs modèles entre eux, de choisir le modèle le plus performant ou de changer les hyperparamètres d’un modèle.
Une bonne maîtrise des différentes métriques est essentielle pour déployer un modèle efficace.
Quelle métrique choisir pour mon modèle ?
Pour choisir la métrique appropriée, il est important de comprendre le contexte du problème et les objectifs du modèle. Il existe de nombreuses métriques, et nous allons vous en présenter quelques-unes et leurs avantages.
Dans un cadre d’apprentissage supervisé, il faut commencer par déterminer le type de prédiction que le modèle doit réaliser. Si le modèle doit prédire une valeur numérique (par exemple le prix d’un logement), il s’agit d’un problème de régression (par exemple régression linéaire). Dans le cas inverse, si le modèle doit prédire une valeur catégorielle (par exemple la présence ou non de fraude lors d’une transaction bancaire), nous sommes dans un contexte de classification. Les métriques utilisées dans des modèles de régression sont en effet différentes de celles utilisées dans des modèles de classification.
A. Métriques de régression
Dans cet article, nous allons vous présenter deux des principales métriques de régression : l’erreur quadratique moyenne et l’erreur absolue moyenne.
- L’erreur quadratique moyenne (MSE) est définie comme suit :
où Ν est le nombre d’observations, yi est la valeur réelle, et ŷi est la prédiction réalisée.
Cette métrique consiste à sommer les carrés des différences entre les valeurs réelles et les prédictions. L’erreur quadratique moyenne pénalise fortement les écarts trop grands entre la valeur réelle et la prédiction, ce qui peut être utile dans un contexte où ces écarts sont particulièrement indésirables.
Vous pouvez avoir plus d’informations sur l’erreur quadratique moyenne en lisant cet article qui décrira plus en détail ses caractéristiques et un exemple d’application.
- L’erreur absolue moyenne (MAE) est définie comme suit :
où Ν est le nombre d’observations, yi est la valeur réelle, et ŷi est la prédiction réalisée.
Cette métrique consiste à sommer la valeur absolue des différences entre les prédictions réalisées et les valeurs réelles.
L’erreur absolue moyenne est moins sensible aux grandes différences que l’erreur quadratique moyenne.
B. Métriques de classification
Dans un cadre de classification, la manière d’évaluer les performances d’un modèle est différente. Nous allons présenter trois des principales métriques de classification : l’exactitude, la précision et le rappel.
- Pour calculer l’exactitude, il suffit d’évaluer le taux de bonnes prédictions par rapport au nombre total de prédictions :
Cette formule renvoie un nombre entre 0 et 1. Un score proche de 1 indique un très bon modèle, tandis qu’un score proche de 0 indique un mauvais modèle. Cette métrique est assez intuitive et facile à comprendre. Cependant, il faut noter qu’elle évalue mal les performances d’un modèle basé sur des données déséquilibrées, ou encore des données dans lesquelles les erreurs de prédiction n’ont pas le même impact.
Pour illustrer ce concept, prenons l’exemple d’un modèle qui détecte la présence d’une maladie sur un patient. Si dans 90% des cas, le patient n’est pas malade, le modèle pourrait systématiquement prédire que le patient est sain. L’exactitude de ce modèle sera alors de 0,9, ce qui semble être un très bon score. Pourtant, deux problèmes majeurs peuvent se poser :
- Premièrement, le modèle serait incapable de détecter la maladie chez un patient.
- Deuxièmement, la qualité des prédictions n’est pas prise en compte. Prédire qu’un patient est malade alors qu’il ne l’est pas (on parle de faux positif) n’aura absolument pas le même impact que si le modèle prédit qu’un patient n’est pas malade alors qu’il l’est (faux négatif).
L’exactitude ne permet pas de faire des nuances entre les différentes prédictions et ne prend pas en compte les données déséquilibrées. C’est la raison pour laquelle il existe des métriques pour pallier ce problème :
- La précision est définie comme suit :
où TP représente le nombre de Vrais Positifs et FP représente le nombre de Faux Positifs.
Cette métrique est utile lorsque le coût des faux positifs est élevé.
- De manière assez similaire, le rappel est défini comme suit :
où TP représente le nombre de Vrais Positifs et FN représente le nombre de Faux Négatifs.
Cette métrique est utile lorsque le coût des faux négatifs est élevé.
Conclusion
Pour conclure, utiliser les métriques est essentiel pour évaluer les performances d’un modèle de Machine Learning. Choisir la métrique correcte selon le modèle permet de prendre les bonnes décisions quant à la manière de l’améliorer. En fonction du type de modèle (modèle de classification ou de régression), du contexte et du type des données, certaines métriques seront préférables à d’autres, et il est important de comprendre les avantages et les inconvénients de chaque métrique pour utiliser celle qui correspondra le mieux à votre problématique.
Les Data Scientist utilisent les métriques pour préparer des modèles de Machine Learning efficaces. Pour cela, ils utilisent une multitude de concepts mathématiques et des logiciels spécifiques capables de préparer et d’analyser les données. À ce titre, une formation est plus que nécessaire. C’est justement possible avec DataScientest. Nous vous proposons des formations complètes en bootcamp, en continu ou en alternance.
