{"id":71961,"date":"2021-06-11T08:33:18","date_gmt":"2021-06-11T07:33:18","guid":{"rendered":"https:\/\/datascientest.com\/?p=71961"},"modified":"2023-11-09T14:07:07","modified_gmt":"2023-11-09T14:07:07","slug":"overfitting-tout-savoir","status":"publish","type":"post","link":"https:\/\/datascientest.com\/overfitting-tout-savoir","title":{"rendered":"Overfitting : qu&rsquo;est-ce qu&rsquo;est ? Comment l&rsquo;\u00e9viter ?"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"71961\" class=\"elementor elementor-71961\" data-elementor-post-type=\"post\">\n\t\t\t\t\t\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-49be638 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"49be638\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-a6c7951\" data-id=\"a6c7951\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-ec6f860 elementor-widget elementor-widget-heading\" data-id=\"ec6f860\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-heading-title{padding:0;margin:0;line-height:1}.elementor-widget-heading .elementor-heading-title[class*=elementor-size-]>a{color:inherit;font-size:inherit;line-height:inherit}.elementor-widget-heading .elementor-heading-title.elementor-size-small{font-size:15px}.elementor-widget-heading .elementor-heading-title.elementor-size-medium{font-size:19px}.elementor-widget-heading .elementor-heading-title.elementor-size-large{font-size:29px}.elementor-widget-heading .elementor-heading-title.elementor-size-xl{font-size:39px}.elementor-widget-heading .elementor-heading-title.elementor-size-xxl{font-size:59px}<\/style><h2 class=\"elementor-heading-title elementor-size-default\">Dans cet article, nous vous pr\u00e9sentons un des \u00e9cueils des algorithmes d\u2019apprentissage supervis\u00e9, le surapprentissage ou overfitting en anglais. <\/h2>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-4486746 elementor-widget elementor-widget-heading\" data-id=\"4486746\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Qu\u2019est-ce que l\u2019overfitting?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-8971866 elementor-widget elementor-widget-text-editor\" data-id=\"8971866\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-text-editor.elementor-drop-cap-view-stacked .elementor-drop-cap{background-color:#69727d;color:#fff}.elementor-widget-text-editor.elementor-drop-cap-view-framed .elementor-drop-cap{color:#69727d;border:3px solid;background-color:transparent}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap{margin-top:8px}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap-letter{width:1em;height:1em}.elementor-widget-text-editor .elementor-drop-cap{float:left;text-align:center;line-height:1;font-size:50px}.elementor-widget-text-editor .elementor-drop-cap-letter{display:inline-block}<\/style>\t\t\t\t<p><span style=\"font-weight: 400;\">L\u2019overfitting est le risque pour un mod\u00e8le d\u2019apprendre <\/span><b>\u201cpar c\u0153ur\u201d<\/b><span style=\"font-weight: 400;\"> les donn\u00e9es d\u2019entra\u00eenement. De cette mani\u00e8re, il risque de ne pas savoir g\u00e9n\u00e9raliser \u00e0 des <\/span><b>donn\u00e9es inconnues<\/b><span style=\"font-weight: 400;\">.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">Par exemple, un mod\u00e8le qui retourne l\u2019\u00e9tiquette pour les donn\u00e9es d\u2019entra\u00eenement et une variable al\u00e9atoire pour les donn\u00e9es non connues aurait de tr\u00e8s bonnes performances pendant l\u2019entra\u00eenement, mais pas pour de nouvelles donn\u00e9es.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-05eab81 elementor-widget elementor-widget-heading\" data-id=\"05eab81\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Quand l'overfitting risque-t-il d\u2019appara\u00eetre\u202f?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-4d4e4ef elementor-widget elementor-widget-text-editor\" data-id=\"4d4e4ef\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>L\u2019overfitting peut arriver quand <b>le mod\u00e8le choisi est trop complexe par rapport \u00e0 la taille du jeu de donn\u00e9es<\/b>.\u00a0<\/p><p><span style=\"font-weight: 400;\">Par exemple, le mod\u00e8le choisi ici est une r\u00e9gression polynomiale qui se force \u00e0 passer par le plus de points possibles des donn\u00e9es d\u2019entra\u00eenements car le degr\u00e9 choisi est trop important. <\/span><b>Il d\u00e9laisse ainsi de nombreux points non vus pendant l\u2019entra\u00eenement<\/b><span style=\"font-weight: 400;\">. Sur les donn\u00e9es d\u2019entra\u00eenement, ce mod\u00e8le a d\u2019excellents r\u00e9sultats, mais sur des donn\u00e9es non vues, l\u2019erreur quadratique risque d\u2019\u00eatre \u00e9norme<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-6c3aa1c elementor-widget elementor-widget-image\" data-id=\"6c3aa1c\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-image{text-align:center}.elementor-widget-image a{display:inline-block}.elementor-widget-image a img[src$=\".svg\"]{width:48px}.elementor-widget-image img{vertical-align:middle;display:inline-block}<\/style>\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"800\" height=\"473\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2021\/06\/Illu1-overfitting-1024x605.jpg\" class=\"attachment-large size-large wp-image-74809\" alt=\"Regression Polynomiale\" loading=\"lazy\" srcset=\"https:\/\/datascientest.com\/wp-content\/uploads\/2021\/06\/Illu1-overfitting-1024x605.jpg 1024w, https:\/\/datascientest.com\/wp-content\/uploads\/2021\/06\/Illu1-overfitting-300x177.jpg 300w, https:\/\/datascientest.com\/wp-content\/uploads\/2021\/06\/Illu1-overfitting-768x454.jpg 768w, https:\/\/datascientest.com\/wp-content\/uploads\/2021\/06\/Illu1-overfitting-1536x907.jpg 1536w, https:\/\/datascientest.com\/wp-content\/uploads\/2021\/06\/Illu1-overfitting-2048x1210.jpg 2048w\" sizes=\"(max-width: 800px) 100vw, 800px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-820664f elementor-widget elementor-widget-heading\" data-id=\"820664f\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Pourquoi l'overfitting pose probl\u00e8me ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-df3c5d4 elementor-widget elementor-widget-text-editor\" data-id=\"df3c5d4\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>\u00c0 cause de l&rsquo;overfitting, un mod\u00e8le <b>repr\u00e9sente mal les donn\u00e9es<\/b> \u00e0 partir desquels il a \u00e9t\u00e9 entra\u00een\u00e9. Son taux d&rsquo;exactitude sera donc inf\u00e9rieur sur de nouvelles donn\u00e9es similaires, par rapport \u00e0 un mod\u00e8le id\u00e9alement adapt\u00e9. Pourtant, en l&rsquo;appliquant aux donn\u00e9es d&rsquo;entra\u00eenement, le mod\u00e8le overfitted semblera offrir une plus haute exactitude. Il est donc tr\u00e8s facile de se laisser induire en erreur.<\/p><p>Sans protection contre l&rsquo;overffiting, les d\u00e9veloppeurs peuvent entra\u00eener et d\u00e9ployer un mod\u00e8le hautement pr\u00e9cis \u00e0 premi\u00e8re vue. En r\u00e9alit\u00e9, ce mod\u00e8le offrira des performances amoindries en production sur de nouvelles donn\u00e9es.<\/p><p>Le d\u00e9ploiement d&rsquo;un tel mod\u00e8le peut causer toutes sortes de probl\u00e8mes. Par exemple, un mod\u00e8le utilis\u00e9 pour pr\u00e9dire la probabilit\u00e9 d&rsquo;un d\u00e9faut de paiement risque d&rsquo;annoncer un pourcentage bien sup\u00e9rieur \u00e0 la r\u00e9alit\u00e9 en cas d&rsquo;overfitting. Il pourra donc mener \u00e0 de mauvaises d\u00e9cisions, provoquant un manque \u00e0 gagner et l&rsquo;insatisfaction des clients.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-b039a7c elementor-widget elementor-widget-heading\" data-id=\"b039a7c\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Overfitting vs Underfitting\n<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-d91df60 elementor-widget elementor-widget-text-editor\" data-id=\"d91df60\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>\u00c0 l&rsquo;inverse de l&rsquo;overfitting, <b>l&rsquo;underfitting<\/b> survient quand les donn\u00e9es d&rsquo;entra\u00eenement sont hautement biais\u00e9es. Par exemple, si un probl\u00e8me est excessivement simplifi\u00e9, le mod\u00e8le ne fonctionne pas correctement sur les donn\u00e9es d&rsquo;entra\u00eenement.<br \/>Il peut \u00eatre caus\u00e9 par des donn\u00e9es contenant du bruit ou des valeurs erron\u00e9es. Le mod\u00e8le ne sera donc pas capable de d\u00e9gager de patterns \u00e0 partir du jeu de donn\u00e9es.<br \/><br \/>Une autre cause peut \u00eatre un mod\u00e8le hautement biais\u00e9 \u00e0 cause de son incapacit\u00e9 \u00e0 capturer la relation entre les exemples d&rsquo;entra\u00eenement et les valeurs cibles. La troisi\u00e8me raison peut \u00eatre un mod\u00e8le trop simple, tel qu&rsquo;un mod\u00e8le lin\u00e9aire entra\u00een\u00e9 sur des sc\u00e9narios complexes.<br \/><br \/>En voulant \u00e9viter l&rsquo;overfitting, il existe un risque de provoquer l&rsquo;underfitting. Ceci peut survenir en interrompant le processus d&rsquo;entra\u00eenement plus t\u00f4t, ou en r\u00e9duisant sa complexit\u00e9 par l&rsquo;\u00e9limination des entr\u00e9es les moins pertinentes.<br \/>Si l&rsquo;entra\u00eenement est interrompu trop t\u00f4t ou que des caract\u00e9ristiques importantes sont supprim\u00e9es, l&rsquo;underfitting peut survenir. Dans les deux cas, le mod\u00e8le sera incapable d&rsquo;identifier les tendances au sein du dataset.<br \/><br \/>Il est donc essentiel de trouver l&rsquo;ajustement id\u00e9al pour que le mod\u00e8le identifie les patterns dans les donn\u00e9es d&rsquo;entra\u00eenement, sans pour autant m\u00e9moriser les d\u00e9tails trop pr\u00e9cis. C&rsquo;est ce qui permettra au mod\u00e8le de g\u00e9n\u00e9raliser et de pr\u00e9dire les autres \u00e9chantillons de donn\u00e9es avec pr\u00e9cision.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-5b9e7fa elementor-widget elementor-widget-heading\" data-id=\"5b9e7fa\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Comment \u00e9viter l\u2019overfitting ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-e2df4fa elementor-widget elementor-widget-text-editor\" data-id=\"e2df4fa\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Pour \u00e9viter l\u2019overfitting, il faut donc <\/span><b>r\u00e9\u00e9valuer le mod\u00e8le<\/b><span style=\"font-weight: 400;\"> \u00e0 chaque fois sur des donn\u00e9es non vues pendant l\u2019entra\u00eenement. <\/span><\/p><p><b style=\"color: #000000;\">Une bonne pratique est de s\u00e9parer son jeu de donn\u00e9es initiales en un jeu d\u2019entra\u00eenement (train set) et un jeu de test (test set). Le premier servira \u00e0 entra\u00eener le mod\u00e8le. Le jeu de test constitu\u00e9 de donn\u00e9es non vues (unseen data) servira donc \u00e0 tester la mani\u00e8re dont se g\u00e9n\u00e9ralise le mod\u00e8le.<\/b><\/p><p><span style=\"font-weight: 400;\">On ne pourra conclure sur les performances du mod\u00e8le qu\u2019avec les performances du jeu de test, et non pas avec les performances sur le jeu d\u2019entra\u00eenement qui risque d\u2019\u00eatre appris par c\u0153ur.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-b92945d elementor-widget elementor-widget-heading\" data-id=\"b92945d\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Comment choisir les donn\u00e9es d\u2019entra\u00eenement et de test ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-2885a44 elementor-widget elementor-widget-text-editor\" data-id=\"2885a44\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">La mani\u00e8re la plus simple et la plus utilis\u00e9e consiste \u00e0 <\/span><b>s\u00e9parer les donn\u00e9es al\u00e9atoirement<\/b><span style=\"font-weight: 400;\">. Le module <\/span><b>sklearn.model_selection <\/b><span style=\"font-weight: 400;\">de<\/span> <a href=\"https:\/\/datascientest.com\/python-tout-savoir\">Python<\/a><span style=\"font-weight: 400;\">\u00a0propose \u00e0 cet effet la fonction train_test_split. En lui fournissant un jeu de donn\u00e9es, cette fonction cr\u00e9e une partition de celui-ci ce qui permet d\u2019obtenir le jeu de test et le jeu d\u2019entra\u00eenement.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-8e77ccd elementor-widget elementor-widget-image\" data-id=\"8e77ccd\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"800\" height=\"730\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2021\/05\/CheatSheet-Scikit_page-0001-1024x934.jpg\" class=\"attachment-large size-large wp-image-71988\" alt=\"Cheat Sheet Scikit Learn Preprocessing\" loading=\"lazy\" srcset=\"https:\/\/datascientest.com\/wp-content\/uploads\/2021\/05\/CheatSheet-Scikit_page-0001-1024x934.jpg 1024w, https:\/\/datascientest.com\/wp-content\/uploads\/2021\/05\/CheatSheet-Scikit_page-0001-300x274.jpg 300w, https:\/\/datascientest.com\/wp-content\/uploads\/2021\/05\/CheatSheet-Scikit_page-0001-768x700.jpg 768w, https:\/\/datascientest.com\/wp-content\/uploads\/2021\/05\/CheatSheet-Scikit_page-0001-1536x1401.jpg 1536w, https:\/\/datascientest.com\/wp-content\/uploads\/2021\/05\/CheatSheet-Scikit_page-0001-2048x1867.jpg 2048w\" sizes=\"(max-width: 800px) 100vw, 800px\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\">Cheat Sheet Scikit Learn : Preprocessing<\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-db0e0bb elementor-widget elementor-widget-text-editor\" data-id=\"db0e0bb\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Cependant, cette s\u00e9paration se fait de mani\u00e8re al\u00e9atoire. Il existe donc un risque de cr\u00e9er par hasard des jeux de donn\u00e9es non repr\u00e9sentatifs.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">Pour \u00e9viter de valider un mod\u00e8le sur des donn\u00e9es non repr\u00e9sentatives, une m\u00e9thode est de reproduire la proc\u00e9dure d\u2019entra\u00eenement sur un jeu puis de tester sur un autre jeu plusieurs fois, puis de moyenner les r\u00e9sultats. Cela permet de <strong>moyenner les effets al\u00e9atoires<\/strong> et d\u2019obtenir <strong>une estimation de la performance sur des donn\u00e9es non vues al\u00e9atoirement choisies.<\/strong><\/span><\/p><p><span style=\"font-weight: 400;\">Cette validation de mod\u00e8le s\u2019appelle la validation crois\u00e9e ou <a href=\"https:\/\/datascientest.com\/cross-validation\">cross validation<\/a><\/span><b>\u00a0<\/b><span style=\"font-weight: 400;\">en anglais.<\/span><\/p><p><span style=\"font-weight: 400;\">Une validation crois\u00e9e est compos\u00e9e de plusieurs folds. <strong>Chaque fold est une partition du jeu de donn\u00e9es en deux ensembles<\/strong> (jeu d\u2019entra\u00eenement et jeu de test). <\/span><span style=\"font-weight: 400;\">La validation crois\u00e9e consiste pour chaque fold \u00e0 entra\u00eener le mod\u00e8le sur le jeu d\u2019entra\u00eenement puis de l\u2019\u00e9valuer sur le jeu de test.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">Nous pouvons ensuite estimer la performance du mod\u00e8le en \u00e9valuant la performance des pr\u00e9dicteurs de chaque fold sur le jeu de test de chacun des folds, puis en moyennant leurs performances.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">Cette approche permet \u00e9galement d\u2019acc\u00e9der \u00e0 l\u2019\u00e9cart-type de ces performances, ce qui permet de se faire une bonne id\u00e9e de la variabilit\u00e9 du mod\u00e8le en fonction du jeu d\u2019entra\u00eenement. Si la variabilit\u00e9 est \u00e9lev\u00e9e, alors il faudra faire d\u2019autant plus <strong>attention au choix de notre jeu d\u2019entra\u00eenement.<\/strong> Au contraire, avec une faible variabilit\u00e9, le choix du jeu d\u2019entra\u00eenement n\u2019a pas beaucoup d\u2019importance.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-9d4cc79 elementor-widget elementor-widget-image\" data-id=\"9d4cc79\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"800\" height=\"473\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2021\/06\/Illu2-overfitting-1024x605.jpg\" class=\"attachment-large size-large wp-image-74810\" alt=\"\" loading=\"lazy\" srcset=\"https:\/\/datascientest.com\/wp-content\/uploads\/2021\/06\/Illu2-overfitting-1024x605.jpg 1024w, https:\/\/datascientest.com\/wp-content\/uploads\/2021\/06\/Illu2-overfitting-300x177.jpg 300w, https:\/\/datascientest.com\/wp-content\/uploads\/2021\/06\/Illu2-overfitting-768x454.jpg 768w, https:\/\/datascientest.com\/wp-content\/uploads\/2021\/06\/Illu2-overfitting-1536x907.jpg 1536w, https:\/\/datascientest.com\/wp-content\/uploads\/2021\/06\/Illu2-overfitting-2048x1210.jpg 2048w\" sizes=\"(max-width: 800px) 100vw, 800px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-d88844a elementor-widget elementor-widget-heading\" data-id=\"d88844a\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Quelles sont les sources d\u2019erreur d\u2019un mod\u00e8le ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-df14edb elementor-widget elementor-widget-text-editor\" data-id=\"df14edb\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Pour un mod\u00e8le de r\u00e9gression, le premier crit\u00e8re d\u2019\u00e9valuation est l\u2019erreur quadratique moyenne ou MSE pour<\/span><b> mean squared error <\/b><span style=\"font-weight: 400;\">en anglais.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">Notre jeu de donn\u00e9es D est constitu\u00e9 de n r\u00e9alisations (xi, yi) d\u2019un vecteur al\u00e9atoire de m\u00eame loi qu\u2019un couple de variables al\u00e9atoires (X,Y) qui sont reli\u00e9s par la relation Y = f(X) + eps avec eps une variable al\u00e9atoire d\u2019esp\u00e9rance nulle et de variance sigma\u00b2, c\u2019est-\u00e0-dire le bruit des donn\u00e9es.<\/span><\/p><p><span style=\"font-weight: 400;\">On peut d\u00e9composer l\u2019erreur quadratique moyenne sur D d\u2019un estimateur comme la somme :<\/span><\/p><ul><li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Du carr\u00e9 du biais de l\u2019estimateur (qui quantifie \u00e0 quel point les \u00e9tiquettes pr\u00e9dites sont loin de la r\u00e9alit\u00e9)<\/span><\/li><li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">De la variance de l\u2019estimateur (qui quantifie comment varie les \u00e9tiquettes pour un m\u00eame individu selon les donn\u00e9es d\u2019entr\u00e9e)<\/span><\/li><li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">De la variance du bruit aussi appel\u00e9e erreur irr\u00e9ductible<\/span><\/li><\/ul><p><span style=\"font-weight: 400;\">Ainsi, un estimateur biais\u00e9 avec une faible variance peut obtenir de meilleures performances qu\u2019un estimateur non biais\u00e9 avec une grande variance.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">Dans de tr\u00e8s nombreux cas, l\u2019overfitting appara\u00eet dans les cas o\u00f9 l\u2019on choisit un estimateur peu biais\u00e9 avec une forte variance. Des mod\u00e8les complexes peuvent poss\u00e9der ces caract\u00e9ristiques comme les r\u00e9gressions polynomiales de trop grand ordre (cf sch\u00e9ma 1). Le choix de mod\u00e8les plus simples et a priori \u201cmoins bons\u201d car biais\u00e9s, peut donc permettre d\u2019obtenir de meilleures performances si leur variance est faible\u202f!<\/span><\/p><p><span style=\"font-weight: 400;\">Si vous voulez en apprendre plus sur l\u2019overfitting et l\u2019intelligence artificielle appliqu\u00e9e aux images :\u00a0<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-6ecc162 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"6ecc162\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"\/formations-data\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">D\u00e9couvrir nos formations en Data Science<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t<div class=\"elementor-element elementor-element-c9e4687 e-flex e-con-boxed e-con\" data-id=\"c9e4687\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-aeff842 elementor-widget elementor-widget-html\" data-id=\"aeff842\" data-element_type=\"widget\" data-widget_type=\"html.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<script type=\"application\/ld+json\">\n{\n  \"@context\": \"https:\/\/schema.org\",\n  \"@type\": \"FAQPage\",\n  \"mainEntity\": [{\n    \"@type\": \"Question\",\n    \"name\": \"Qu\u2019est-ce que l\u2019overfitting?\",\n    \"acceptedAnswer\": {\n      \"@type\": \"Answer\",\n      \"text\": \"L\u2019overfitting est le risque pour un mod\u00e8le d\u2019apprendre \u201cpar c\u0153ur\u201d les donn\u00e9es d\u2019entra\u00eenement. De cette mani\u00e8re, il risque de ne pas savoir g\u00e9n\u00e9raliser \u00e0 des donn\u00e9es inconnues.\"\n    }\n  },{\n    \"@type\": \"Question\",\n    \"name\": \"Quand l'overfitting risque-t-il d\u2019appara\u00eetre\u202f?\u200b\",\n    \"acceptedAnswer\": {\n      \"@type\": \"Answer\",\n      \"text\": \"L\u2019overfitting peut arriver quand le mod\u00e8le choisi est trop complexe par rapport \u00e0 la taille du jeu de donn\u00e9es.\"\n    }\n  },{\n    \"@type\": \"Question\",\n    \"name\": \"Pourquoi l'overfitting pose probl\u00e8me ?\",\n    \"acceptedAnswer\": {\n      \"@type\": \"Answer\",\n      \"text\": \"\u00c0 cause de l'overfitting, un mod\u00e8le repr\u00e9sente mal les donn\u00e9es \u00e0 partir desquels il a \u00e9t\u00e9 entra\u00een\u00e9. Son taux d'exactitude sera donc inf\u00e9rieur sur de nouvelles donn\u00e9es similaires, par rapport \u00e0 un mod\u00e8le id\u00e9alement adapt\u00e9.\"\n    }\n  }]\n}\n<\/script>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>Dans cet article, nous vous pr\u00e9sentons un des \u00e9cueils des algorithmes d\u2019apprentissage supervis\u00e9, le surapprentissage ou overfitting en anglais. Qu\u2019est-ce que l\u2019overfitting? L\u2019overfitting est le risque pour un mod\u00e8le d\u2019apprendre \u201cpar c\u0153ur\u201d les donn\u00e9es d\u2019entra\u00eenement. De cette mani\u00e8re, il risque de ne pas savoir g\u00e9n\u00e9raliser \u00e0 des donn\u00e9es inconnues.&nbsp; Par exemple, un mod\u00e8le qui retourne [&hellip;]<\/p>\n","protected":false},"author":77,"featured_media":74808,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"content-type":"","inline_featured_image":false},"categories":[2497],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v21.7 (Yoast SEO v21.7) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Overfitting : qu&#039;est-ce qu&#039;est ? Comment l&#039;\u00e9viter ?<\/title>\n<meta name=\"description\" content=\"Vous vous int\u00e9ressez aux statistiques et vous avez d\u00e9j\u00e0 entendu le terme overfitting ? D\u00e9couvrez tout ce qu&#039;il faut savoir sur cette analyse\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/datascientest.com\/overfitting-tout-savoir\" \/>\n<meta property=\"og:locale\" content=\"fr_FR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Overfitting : qu&#039;est-ce qu&#039;est ? Comment l&#039;\u00e9viter ?\" \/>\n<meta property=\"og:url\" content=\"https:\/\/datascientest.com\/overfitting-tout-savoir\" \/>\n<meta property=\"og:site_name\" content=\"Formation Data Science | DataScientest.com\" \/>\n<meta property=\"article:published_time\" content=\"2021-06-11T07:33:18+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-11-09T14:07:07+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/datascientest.com\/wp-content\/uploads\/2021\/05\/Couv-overfitting.jpg\" \/>\n\t<meta property=\"og:image:width\" content=\"2048\" \/>\n\t<meta property=\"og:image:height\" content=\"1125\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"Raphael Kassel\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"\u00c9crit par\" \/>\n\t<meta name=\"twitter:data1\" content=\"Raphael Kassel\" \/>\n\t<meta name=\"twitter:label2\" content=\"Dur\u00e9e de lecture estim\u00e9e\" \/>\n\t<meta name=\"twitter:data2\" content=\"7 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/datascientest.com\/overfitting-tout-savoir\",\"url\":\"https:\/\/datascientest.com\/overfitting-tout-savoir\",\"name\":\"Overfitting : qu'est-ce qu'est ? Comment l'\u00e9viter ?\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/#website\"},\"datePublished\":\"2021-06-11T07:33:18+00:00\",\"dateModified\":\"2023-11-09T14:07:07+00:00\",\"author\":{\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/6eca16f63daaafcbc96e15549b9d4ee1\"},\"description\":\"Vous vous int\u00e9ressez aux statistiques et vous avez d\u00e9j\u00e0 entendu le terme overfitting ? D\u00e9couvrez tout ce qu'il faut savoir sur cette analyse\",\"inLanguage\":\"fr-FR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/datascientest.com\/overfitting-tout-savoir\"]}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/datascientest.com\/#website\",\"url\":\"https:\/\/datascientest.com\/\",\"name\":\"Formation Data Science | DataScientest.com\",\"description\":\"Leader de la formation en Data Science\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/datascientest.com\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"fr-FR\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/6eca16f63daaafcbc96e15549b9d4ee1\",\"name\":\"Raphael Kassel\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/raph.jpeg\",\"contentUrl\":\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/raph.jpeg\",\"caption\":\"Raphael Kassel\"},\"description\":\"Raphael Kassel est le Head of Data Programs chez DataScientest. Il supervise une \u00e9quipe Data, impl\u00e9mente de nouveaux parcours comme \\\"Chef de projet IA\\\" et \\\"Data Product Manager\\\", et contribue \u00e0 la modernisation des op\u00e9rations du groupe. En collaboration \u00e9troite avec l'\u00e9quipe de d\u00e9veloppement, il adapte l'accompagnement acad\u00e9mique aux \u00e9volutions de l'\u00e9quipe data et \u00e0 l'internationalisation.\",\"sameAs\":[\"https:\/\/www.linkedin.com\/in\/raphaelkassel\/\",\"Data Science\"],\"url\":\"https:\/\/datascientest.com\/author\/raphaelkassel\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Overfitting : qu'est-ce qu'est ? Comment l'\u00e9viter ?","description":"Vous vous int\u00e9ressez aux statistiques et vous avez d\u00e9j\u00e0 entendu le terme overfitting ? D\u00e9couvrez tout ce qu'il faut savoir sur cette analyse","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/datascientest.com\/overfitting-tout-savoir","og_locale":"fr_FR","og_type":"article","og_title":"Overfitting : qu'est-ce qu'est ? Comment l'\u00e9viter ?","og_url":"https:\/\/datascientest.com\/overfitting-tout-savoir","og_site_name":"Formation Data Science | DataScientest.com","article_published_time":"2021-06-11T07:33:18+00:00","article_modified_time":"2023-11-09T14:07:07+00:00","og_image":[{"width":2048,"height":1125,"url":"https:\/\/datascientest.com\/wp-content\/uploads\/2021\/05\/Couv-overfitting.jpg","type":"image\/jpeg"}],"author":"Raphael Kassel","twitter_card":"summary_large_image","twitter_misc":{"\u00c9crit par":"Raphael Kassel","Dur\u00e9e de lecture estim\u00e9e":"7 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/datascientest.com\/overfitting-tout-savoir","url":"https:\/\/datascientest.com\/overfitting-tout-savoir","name":"Overfitting : qu'est-ce qu'est ? Comment l'\u00e9viter ?","isPartOf":{"@id":"https:\/\/datascientest.com\/#website"},"datePublished":"2021-06-11T07:33:18+00:00","dateModified":"2023-11-09T14:07:07+00:00","author":{"@id":"https:\/\/datascientest.com\/#\/schema\/person\/6eca16f63daaafcbc96e15549b9d4ee1"},"description":"Vous vous int\u00e9ressez aux statistiques et vous avez d\u00e9j\u00e0 entendu le terme overfitting ? D\u00e9couvrez tout ce qu'il faut savoir sur cette analyse","inLanguage":"fr-FR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/datascientest.com\/overfitting-tout-savoir"]}]},{"@type":"WebSite","@id":"https:\/\/datascientest.com\/#website","url":"https:\/\/datascientest.com\/","name":"Formation Data Science | DataScientest.com","description":"Leader de la formation en Data Science","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/datascientest.com\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"fr-FR"},{"@type":"Person","@id":"https:\/\/datascientest.com\/#\/schema\/person\/6eca16f63daaafcbc96e15549b9d4ee1","name":"Raphael Kassel","image":{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/datascientest.com\/#\/schema\/person\/image\/","url":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/raph.jpeg","contentUrl":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/raph.jpeg","caption":"Raphael Kassel"},"description":"Raphael Kassel est le Head of Data Programs chez DataScientest. Il supervise une \u00e9quipe Data, impl\u00e9mente de nouveaux parcours comme \"Chef de projet IA\" et \"Data Product Manager\", et contribue \u00e0 la modernisation des op\u00e9rations du groupe. En collaboration \u00e9troite avec l'\u00e9quipe de d\u00e9veloppement, il adapte l'accompagnement acad\u00e9mique aux \u00e9volutions de l'\u00e9quipe data et \u00e0 l'internationalisation.","sameAs":["https:\/\/www.linkedin.com\/in\/raphaelkassel\/","Data Science"],"url":"https:\/\/datascientest.com\/author\/raphaelkassel"}]}},"_links":{"self":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts\/71961"}],"collection":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/users\/77"}],"replies":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/comments?post=71961"}],"version-history":[{"count":0,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts\/71961\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/media\/74808"}],"wp:attachment":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/media?parent=71961"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/categories?post=71961"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/tags?post=71961"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}