{"id":11722,"date":"2020-10-19T09:57:59","date_gmt":"2020-10-19T09:57:59","guid":{"rendered":"https:\/\/datascientest.com\/?p=11722"},"modified":"2023-11-09T14:11:43","modified_gmt":"2023-11-09T14:11:43","slug":"algorithmes-de-boosting-adaboost-gradient-boosting-xgboost","status":"publish","type":"post","link":"https:\/\/datascientest.com\/algorithmes-de-boosting-adaboost-gradient-boosting-xgboost","title":{"rendered":"Algorithmes de Boosting \u2013 AdaBoost, Gradient Boosting, XGBoost"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"11722\" class=\"elementor elementor-11722\" data-elementor-post-type=\"post\">\n\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-8aa587a e-flex e-con-boxed e-con\" data-id=\"8aa587a\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-611a2a8 elementor-widget elementor-widget-heading\" data-id=\"611a2a8\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-heading-title{padding:0;margin:0;line-height:1}.elementor-widget-heading .elementor-heading-title[class*=elementor-size-]>a{color:inherit;font-size:inherit;line-height:inherit}.elementor-widget-heading .elementor-heading-title.elementor-size-small{font-size:15px}.elementor-widget-heading .elementor-heading-title.elementor-size-medium{font-size:19px}.elementor-widget-heading .elementor-heading-title.elementor-size-large{font-size:29px}.elementor-widget-heading .elementor-heading-title.elementor-size-xl{font-size:39px}.elementor-widget-heading .elementor-heading-title.elementor-size-xxl{font-size:59px}<\/style><h2 class=\"elementor-heading-title elementor-size-default\">Si vous vous int\u00e9ressez aux algorithmes de Machine Learning, vous avez forc\u00e9ment d\u00e9j\u00e0 vu les mot \u00ab\u00a0Boosting\u00a0\u00bb ou \u00ab\u00a0Boost\u00a0\u00bb quelque part. On les retrouve dans un grand nombre de comp\u00e9titions d\u2019algorithme, et ils obtiennent souvent de tr\u00e8s bons r\u00e9sultats. Mais qu\u2019est-ce que c\u2019est le Boosting au juste ?\u00a0<\/h2>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-ca448ee elementor-widget elementor-widget-text-editor\" data-id=\"ca448ee\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-text-editor.elementor-drop-cap-view-stacked .elementor-drop-cap{background-color:#69727d;color:#fff}.elementor-widget-text-editor.elementor-drop-cap-view-framed .elementor-drop-cap{color:#69727d;border:3px solid;background-color:transparent}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap{margin-top:8px}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap-letter{width:1em;height:1em}.elementor-widget-text-editor .elementor-drop-cap{float:left;text-align:center;line-height:1;font-size:50px}.elementor-widget-text-editor .elementor-drop-cap-letter{display:inline-block}<\/style>\t\t\t\t<p>Dans cet article, vous apprendrez \u00e0 faire la diff\u00e9rence entre un <a href=\"https:\/\/datascientest.com\/algorithme\">algorithme<\/a> de Boosting et de Bagging. Puis vous comprendrez les rouages des algorithmes de Boosting AdaBoost, Gradient Boost et XGBoost.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-34c1524 e-flex e-con-boxed e-con\" data-id=\"34c1524\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-eaa14e6 elementor-widget elementor-widget-heading\" data-id=\"eaa14e6\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Bagging, Boosting, qu\u2019est-ce que c\u2019est ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-2aec9a6 elementor-widget elementor-widget-heading\" data-id=\"2aec9a6\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Bagging<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-2a516f6 elementor-widget elementor-widget-text-editor\" data-id=\"2a516f6\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Pour d\u00e9finir ce qu\u2019est le Boosting, le plus simple est de commencer par d\u00e9finir ce qu\u2019est le Bagging.\u00a0<\/p><p>Le Bagging est une technique en intelligence artificielle qui consiste \u00e0 assembler un grand nombre d\u2019algorithmes avec de faibles performances individuelles pour en cr\u00e9er un beaucoup plus efficace. Les algorithmes de faible performance sont appel\u00e9s les <strong>\u00ab\u00a0weak learners\u00a0\u00bb<\/strong> et le r\u00e9sultat obtenu <strong>\u00ab\u00a0strong learner\u00a0\u00bb<\/strong>.\u00a0<\/p><p>L\u2019id\u00e9e derri\u00e8re cet algorithme est que plusieurs petits algorithmes peuvent \u00eatre plus performants qu\u2019un seul grand algorithme.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-29917ba elementor-widget elementor-widget-image\" data-id=\"29917ba\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-image{text-align:center}.elementor-widget-image a{display:inline-block}.elementor-widget-image a img[src$=\".svg\"]{width:48px}.elementor-widget-image img{vertical-align:middle;display:inline-block}<\/style>\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"1600\" height=\"967\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2020\/10\/bagging.png\" class=\"attachment-full size-full wp-image-11734\" alt=\"bagging\" srcset=\"https:\/\/datascientest.com\/wp-content\/uploads\/2020\/10\/bagging.png 1600w, https:\/\/datascientest.com\/wp-content\/uploads\/2020\/10\/bagging-300x181.png 300w, https:\/\/datascientest.com\/wp-content\/uploads\/2020\/10\/bagging-1024x619.png 1024w, https:\/\/datascientest.com\/wp-content\/uploads\/2020\/10\/bagging-768x464.png 768w, https:\/\/datascientest.com\/wp-content\/uploads\/2020\/10\/bagging-1536x928.png 1536w\" sizes=\"(max-width: 1600px) 100vw, 1600px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-5ddd1f5 elementor-widget elementor-widget-text-editor\" data-id=\"5ddd1f5\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Pour simplifier, on peut se repr\u00e9senter mentalement ce proc\u00e9d\u00e9 par une grande <strong>for\u00eat de petits arbustes<\/strong>, d\u2019esp\u00e8ces diff\u00e9rentes. Gr\u00e2ce \u00e0 la vari\u00e9t\u00e9 des arbres qui compose la for\u00eat, elle r\u00e9sistera mieux aux intemp\u00e9ries qu\u2019un grand ch\u00eane centenaire.\u00a0<\/p><p>Les \u00ab\u00a0weak leaners\u00a0\u00bb peuvent \u00eatre de diff\u00e9rentes natures et avoir des performances vari\u00e9es, mais ils doivent \u00eatre <strong>ind\u00e9pendants<\/strong> les uns des autres.<\/p><p>L\u2019assemblage des \u00ab\u00a0weak learners\u00a0\u00bb (arbustes) en \u00ab\u00a0strong learner\u00a0\u00bb (for\u00eat) se fait par votation. C\u2019est-\u00e0-dire que chaque \u00ab\u00a0weak learner\u00a0\u00bb va \u00e9mettre une r\u00e9ponse (un vote), et la pr\u00e9diction du \u00ab\u00a0strong learner\u00a0\u00bb sera la moyenne de toutes les r\u00e9ponses \u00e9mises.\u00a0<\/p><p>Si le <strong>Bagging<\/strong> vous int\u00e9resse, vous pouvez d\u00e9couvrir cet article qui pr\u00e9sente le fonctionnement de l\u2019algorithme de Bagging\u00a0le plus c\u00e9l\u00e8bre\u00a0: le\u00a0<a href=\"https:\/\/datascientest.com\/random-forest-definition\">Random Forest<\/a>.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-a6496d5 elementor-widget elementor-widget-heading\" data-id=\"a6496d5\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Boosting<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1c97cf1 elementor-widget elementor-widget-text-editor\" data-id=\"1c97cf1\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Les algorithmes de Boosting se basent sur le m\u00eame principe que ceux de Bagging. La diff\u00e9rence appara\u00eet lors de la cr\u00e9ation des \u00ab\u00a0weak learner\u00a0\u00bb.\u00a0<\/p><blockquote><p>Pour le Boosting, les algorithmes ne sont plus ind\u00e9pendants. Au contraire, chaque \u00ab\u00a0weak learner\u00a0\u00bb est entra\u00een\u00e9 pour corriger les erreurs des \u00ab\u00a0weak learner\u00a0\u00bb pr\u00e9c\u00e9dents.<\/p><\/blockquote><p>Ainsi, si l\u2019on reprend l\u2019image de la for\u00eat, ici chaque arbuste a \u00e9t\u00e9 soigneusement plant\u00e9 pour rendre la for\u00eat plus r\u00e9sistante aux intemp\u00e9ries.\u00a0<\/p><p>Dans cet article nous allons d\u00e9tailler le fonctionnement des <strong>algorithmes Adaboost<\/strong>, <strong>Gradient Boosting<\/strong> et\u00a0<a href=\"https:\/\/xgboost.readthedocs.io\/en\/latest\/\">XGBoost<\/a>, qui sont probablement les algorithmes de Boosting les plus c\u00e9l\u00e8bres.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-0550eef e-flex e-con-boxed e-con\" data-id=\"0550eef\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-5fd95c9 elementor-widget elementor-widget-heading\" data-id=\"5fd95c9\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Adaboost<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-605e75e elementor-widget elementor-widget-text-editor\" data-id=\"605e75e\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Adaboost a \u00e9t\u00e9 utilis\u00e9 pour la premi\u00e8re fois par Yoav Freund et Robert Schapire, et a remport\u00e9 le prix G\u00f6del en 2003. Adaboost utilise des <a href=\"https:\/\/datascientest.com\/random-forest-definition\">arbres d\u00e9cisionnels<\/a> dont vous pouvez trouver le d\u00e9tail du fonctionnement dans cet article<\/p><p>Les <strong>\u00ab\u00a0weak learners\u00a0\u00bb<\/strong> d\u2019AdaBoost sont g\u00e9n\u00e9ralement des arbres d\u00e9cisionnels \u00e0 seulement <strong>2 branches<\/strong> et<strong> 2 feuilles<\/strong> (aussi appel\u00e9s souches) mais on peut utiliser d\u2019autres types de classificateur.\u00a0<\/p><p>Voici les <strong>\u00e9tapes de construction du premier \u00ab\u00a0weak learner\u00a0\u00bb<\/strong>\u00a0que l\u2019on appellera w1 :<\/p><ul><li>On attribue le m\u00eame poids \u00e0 chaque ligne du dataset<\/li><li>On entra\u00eene w1 de mani\u00e8re \u00e0 maximiser le nombre de bonnes r\u00e9ponses<\/li><li>On donne une note \u00e0 w1 en fonction de ses performances<\/li><\/ul><p>L\u2019id\u00e9e derri\u00e8re la notation est que nous souhaitons qu\u2019un bon \u00ab\u00a0weak learner\u00a0\u00bb soit plus \u00e9cout\u00e9 qu\u2019un mauvais \u00ab\u00a0weak learner\u00a0\u00bb.<\/p><p>La note va nous permettre de d\u00e9terminer quelle importance donner \u00e0 quel \u00ab\u00a0weak learner\u00a0\u00bb au moment du vote final.<\/p><p>De plus, nous souhaitons que les prochains \u00ab\u00a0weak\u00a0learner\u00a0\u00bb puissent corriger les erreurs du pr\u00e9c\u00e9dent. Pour ce faire, nous allons augmenter le poids des lignes sur lesquelles w1 s\u2019est tromp\u00e9, et diminuer ceux pour lesquelles w1 a vu juste.\u00a0<\/p><p>Voici donc les \u00e9tapes de construction des autres \u00ab\u00a0weak learner\u00a0\u00bb\u00a0:<\/p><ul><li>On modifie les poids attribu\u00e9s aux lignes en fonction des erreurs du dernier \u00ab\u00a0weak learner\u00a0\u00bb<\/li><li>On entra\u00eene un \u00ab\u00a0weak learner\u00a0\u00bb de mani\u00e8re \u00e0 maximiser le nombre de bonnes r\u00e9ponses <strong>sur les lignes \u00e0 poids \u00e9lev\u00e9<\/strong><\/li><li>On donne une note \u00e0 ce \u00ab\u00a0weak learner\u00a0\u00bb en fonction de ses performances<\/li><\/ul><p>Contrairement \u00e0 w1, les prochains \u00ab\u00a0weak learner\u00a0\u00bb prendront en compte les poids attribu\u00e9s au lignes. Plus une ligne a un poids \u00e9lev\u00e9, plus il est important que le \u00ab\u00a0weak learner\u00a0\u00bb classe cette ligne correctement, et inversement.\u00a0<\/p><p>Comme pour w1, nous donnerons une note \u00e0 ces \u00ab\u00a0weak learner\u00a0\u00bb qui d\u00e9terminera leur importance. Attention, la note d\u00e9pend des r\u00e9sultats du \u00ab\u00a0weak learner\u00a0\u00bb en prenant en compte la pond\u00e9ration des lignes.\u00a0<\/p><p>Apr\u00e8s la cr\u00e9ation de chaque \u00ab\u00a0weak learner\u00a0\u00bb, nous modifions le poids des lignes. Chaque \u00ab\u00a0weak learner\u00a0\u00bb corrige donc les erreurs faites par les pr\u00e9c\u00e9dents, et a une note qui refl\u00e8te ses r\u00e9sultats.\u00a0<\/p><blockquote><p>Pour demander la pr\u00e9diction d\u2019Adaboost sur une observation, il faut interroger chaque \u00ab\u00a0weak learner\u00a0\u00bb et pond\u00e9rer chaque r\u00e9ponse en fonction de la note qu\u2019ils ont obtenu. La pr\u00e9diction du \u00ab\u00a0strong learner\u00a0\u00bb sera la moyenne de toutes les r\u00e9ponses des \u00ab\u00a0weak learner\u00a0\u00bb.<\/p><\/blockquote>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-1787457 e-flex e-con-boxed e-con\" data-id=\"1787457\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-2b35252 elementor-widget elementor-widget-heading\" data-id=\"2b35252\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Gradient Boosting<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-69840aa elementor-widget elementor-widget-text-editor\" data-id=\"69840aa\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>L\u2019algorithme de <strong>Gradient Boosting<\/strong> a beaucoup de points communs avec Adaboost. Tout comme Adaboost, il s\u2019agit d\u2019un ensemble de \u00ab\u00a0weak learners\u00a0\u00bb, cr\u00e9\u00e9s les uns apr\u00e8s les autres, formant un strong learner. De plus, chaque \u00ab\u00a0weak learner\u00a0\u00bb est entra\u00een\u00e9 pour corriger les erreurs des \u00ab\u00a0weak learners\u00a0\u00bb pr\u00e9c\u00e9dents. N\u00e9anmoins, contrairement \u00e0 Adaboost, les \u00ab\u00a0weak learners\u00a0\u00bb ont tous <strong>autant de poids dans le syst\u00e8me de votation<\/strong>, peu importe leur performance.<\/p><p>Nous allons d\u00e9sormais d\u00e9tailler rapidement le fonctionnement de l\u2019algorithme :<\/p><p>Le premier \u00ab\u00a0weak learner\u00a0\u00bb (w1) est tr\u00e8s basique, il s\u2019agit tout simplement de la <strong>moyenne<\/strong> des observations. Il est donc tr\u00e8s peu efficace, mais il va servir de base au reste de l\u2019algorithme.\u00a0<\/p><p>Par la suite, <strong>nous calculons l\u2019\u00e9cart entre cette moyenne et la r\u00e9alit\u00e9<\/strong> que nous appelons premier r\u00e9sidu. De mani\u00e8re g\u00e9n\u00e9rale, on appellera ici r\u00e9sidu l\u2019\u00e9cart entre la pr\u00e9diction de l&rsquo;algorithme en cours de cr\u00e9ation et la r\u00e9alit\u00e9.<\/p><p>La particularit\u00e9 de Gradient Boosting est qu\u2019il essaye de pr\u00e9dire \u00e0 chaque \u00e9tape non pas les donn\u00e9es elles-m\u00eames mais les r\u00e9sidus.<\/p><p>Ainsi, le second \u00ab\u00a0weak learner\u00a0\u00bb est entra\u00een\u00e9 pour pr\u00e9dire le premier r\u00e9sidu.<\/p><p>Les pr\u00e9dictions du second weak learner sont ensuite multipli\u00e9es par un facteur inf\u00e9rieur \u00e0 1.<\/p><p>L\u2019id\u00e9e derri\u00e8re cette multiplication est que plusieurs petits pas sont plus pr\u00e9cis que quelques grands pas. La multiplication r\u00e9duit donc la taille des \u00ab\u00a0pas\u00a0\u00bb pour augmenter la pr\u00e9cision. <strong>L\u2019objectif \u00e9tant \u00ab\u00a0d\u2019\u00e9carter\u00a0\u00bb petit \u00e0 petit les pr\u00e9dictions du mod\u00e8le de la moyenne, pour les rapprocher de la r\u00e9alit\u00e9<\/strong>.\u00a0<\/p><p>\u00c0 partir de ce moment, la cr\u00e9ation des weak learners suit toujours le m\u00eame pattern :<\/p><ul><li>\u00c0 partir des derni\u00e8res pr\u00e9dictions, on calcule les nouveaux r\u00e9sidus (\u00e9cart entre la r\u00e9alit\u00e9 et la pr\u00e9diction)<\/li><li>On entra\u00eene le nouveau \u00ab\u00a0weak learner\u00a0\u00bb pour pr\u00e9dire ces r\u00e9sidus<\/li><li>On multiplie les pr\u00e9dictions de ce \u00ab\u00a0weak learner\u00a0\u00bb par un facteur inf\u00e9rieur \u00e0 1<\/li><li>On obtient de nouvelles pr\u00e9dictions, souvent l\u00e9g\u00e8rement meilleure que les pr\u00e9c\u00e9dentes<\/li><\/ul><p><strong>Pour demander la pr\u00e9diction de Gradient Boosting sur une observation, il suffit d\u2019interroger chaque \u00ab\u00a0weak learner\u00a0\u00bb. La pr\u00e9diction du \u00ab strong learner \u00bb sera la somme de toutes les r\u00e9ponses des \u00ab weak learner \u00bb.<\/strong><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-e884346 elementor-widget elementor-widget-image\" data-id=\"e884346\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"512\" height=\"453\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2020\/10\/graadient-boost.png\" class=\"attachment-full size-full wp-image-11739\" alt=\"gradient boosting\" srcset=\"https:\/\/datascientest.com\/wp-content\/uploads\/2020\/10\/graadient-boost.png 512w, https:\/\/datascientest.com\/wp-content\/uploads\/2020\/10\/graadient-boost-300x265.png 300w\" sizes=\"(max-width: 512px) 100vw, 512px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-ff8f374 e-flex e-con-boxed e-con\" data-id=\"ff8f374\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-0b81957 elementor-widget elementor-widget-heading\" data-id=\"0b81957\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">XGBoost<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-67d955f elementor-widget elementor-widget-text-editor\" data-id=\"67d955f\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>XGBoost est en fait <strong>une version particuli\u00e8re de l\u2019algorithme de Gradient Boost.<\/strong> En effet, il s\u2019agit d\u2019un assemblage de \u00ab\u00a0weak learners\u00a0\u00bb qui pr\u00e9disent les r\u00e9sidus, et corrigent les erreurs des \u201cweak learners\u201d pr\u00e9c\u00e9dents.<\/p><p>La particularit\u00e9 d\u2019XGBoost r\u00e9side dans le type de \u00ab\u00a0weak learner\u00a0\u00bb utilis\u00e9. Les \u00ab\u00a0weak learners\u00a0\u00bb sont des arbres d\u00e9cisionnels. Les arbres qui ne sont pas assez bons sont \u201c\u00e9lagu\u00e9s\u201d, c\u2019est \u00e0 dire qu\u2019on leur coupe des branches, jusqu\u2019\u00e0 ce qu\u2019ils soient suffisamment performant. Sinon ils sont compl\u00e8tement supprim\u00e9s. Cette m\u00e9thode est appel\u00e9 le <strong>\u00ab\u00a0pruning\u00a0\u00bb<\/strong> (\u00e9lagage).\u00a0<\/p><p>Ainsi, XGBoost s\u2019assure de ne <strong>conserver que de bons weak learners<\/strong>.\u00a0<\/p><p>De plus, XGBoost est informatiquement <strong>optimis\u00e9<\/strong> pour rendre les <strong>diff\u00e9rents calculs<\/strong> n\u00e9cessaires \u00e0 l\u2019application d\u2019un <strong>Gradient Boosting rapides<\/strong>.\u00a0<\/p><p>Enfin, XGBoost propose un panel d\u2019hyperparam\u00e8tres tr\u00e8s important. Il est ainsi possible gr\u00e2ce \u00e0 cette diversit\u00e9 de param\u00e8tres, d\u2019avoir un contr\u00f4le total sur l\u2019impl\u00e9mentation du Gradient Boosting.\u00a0<\/p><p>Pour toutes ces raisons, XGBoost est souvent l\u2019algorithme <strong>gagnant des comp\u00e9titions <\/strong><a href=\"https:\/\/datascientest.com\/kaggle-tout-ce-quil-a-savoir-sur-cette-plateforme\">Kaggle<\/a>, il est rapide, pr\u00e9cis et efficace, permettant une souplesse de man\u0153uvre in\u00e9dite sur le Gradient Boosting.<\/p><p>Les algorithmes pr\u00e9sent\u00e9s font certainement partie des plus utilis\u00e9s, mais il en existe beaucoup d\u2019autres. Dire qu\u2019XGBoost est le meilleur algorithme de Machine Learning serait tr\u00e8s r\u00e9ducteur. Il profite de beaucoup d\u2019avantages, dont une facilit\u00e9 d\u2019utilisation et une polyvalence d\u00e9concertantes. N\u00e9anmoins, \u00e0 chaque probl\u00e8me correspond une solution diff\u00e9rente. Ainsi, si vous souhaitez avoir une vue d\u2019ensemble sur les diff\u00e9rents types d\u2019algorithmes de Machine Learning,\u00a0<a href=\"https:\/\/datascientest.com\/random-forest-definition\">consultez cet article sur les Random Forest<\/a>.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-c38cf4a elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"c38cf4a\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formations-data\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">D\u00e9couvrir nos formations Data Science<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>Si vous vous int\u00e9ressez aux algorithmes de Machine Learning, vous avez forc\u00e9ment d\u00e9j\u00e0 vu les mot \u00ab&nbsp;Boosting&nbsp;\u00bb ou \u00ab&nbsp;Boost&nbsp;\u00bb quelque part. On les retrouve dans un grand nombre de comp\u00e9titions d\u2019algorithme, et ils obtiennent souvent de tr\u00e8s bons r\u00e9sultats. Mais qu\u2019est-ce que c\u2019est le Boosting au juste ?&nbsp; Dans cet article, vous apprendrez \u00e0 faire [&hellip;]<\/p>\n","protected":false},"author":78,"featured_media":12971,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"content-type":"","inline_featured_image":false},"categories":[2497],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v21.7 (Yoast SEO v21.7) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Algorithmes de Boosting \u2013 AdaBoost, Gradient Boosting, XGBoost<\/title>\n<meta name=\"description\" content=\"Vous cherchez \u00e0 en savoir plus sur les algorithmes de boosting ? D\u00e9couvrez AdaBoost, Gradient Boosting et XGBoost dans cet article !\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/datascientest.com\/algorithmes-de-boosting-adaboost-gradient-boosting-xgboost\" \/>\n<meta property=\"og:locale\" content=\"fr_FR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Algorithmes de Boosting \u2013 AdaBoost, Gradient Boosting, XGBoost\" \/>\n<meta property=\"og:url\" content=\"https:\/\/datascientest.com\/algorithmes-de-boosting-adaboost-gradient-boosting-xgboost\" \/>\n<meta property=\"og:site_name\" content=\"Formation Data Science | DataScientest.com\" \/>\n<meta property=\"article:published_time\" content=\"2020-10-19T09:57:59+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-11-09T14:11:43+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/datascientest.com\/wp-content\/uploads\/2020\/10\/illu_boosting_blog-11.png\" \/>\n\t<meta property=\"og:image:width\" content=\"6335\" \/>\n\t<meta property=\"og:image:height\" content=\"2501\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"J\u00e9r\u00e9my Robert\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"\u00c9crit par\" \/>\n\t<meta name=\"twitter:data1\" content=\"J\u00e9r\u00e9my Robert\" \/>\n\t<meta name=\"twitter:label2\" content=\"Dur\u00e9e de lecture estim\u00e9e\" \/>\n\t<meta name=\"twitter:data2\" content=\"8 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/datascientest.com\/algorithmes-de-boosting-adaboost-gradient-boosting-xgboost\",\"url\":\"https:\/\/datascientest.com\/algorithmes-de-boosting-adaboost-gradient-boosting-xgboost\",\"name\":\"Algorithmes de Boosting \u2013 AdaBoost, Gradient Boosting, XGBoost\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/#website\"},\"datePublished\":\"2020-10-19T09:57:59+00:00\",\"dateModified\":\"2023-11-09T14:11:43+00:00\",\"author\":{\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/7af2361c48e24e79a8aa2360e6e74925\"},\"description\":\"Vous cherchez \u00e0 en savoir plus sur les algorithmes de boosting ? D\u00e9couvrez AdaBoost, Gradient Boosting et XGBoost dans cet article !\",\"inLanguage\":\"fr-FR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/datascientest.com\/algorithmes-de-boosting-adaboost-gradient-boosting-xgboost\"]}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/datascientest.com\/#website\",\"url\":\"https:\/\/datascientest.com\/\",\"name\":\"Formation Data Science | DataScientest.com\",\"description\":\"Leader de la formation en Data Science\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/datascientest.com\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"fr-FR\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/7af2361c48e24e79a8aa2360e6e74925\",\"name\":\"J\u00e9r\u00e9my Robert\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/jeremyrobert.jpeg\",\"contentUrl\":\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/jeremyrobert.jpeg\",\"caption\":\"J\u00e9r\u00e9my Robert\"},\"description\":\"J\u00e9r\u00e9my Robert est actuellement Directeur p\u00e9dagogique B2B chez DataScientest.com. Avant de rejoindre DataScientest, il a travaill\u00e9 en tant que Consultant Business Intelligence chez DEAPDATA, o\u00f9 il a g\u00e9r\u00e9 des projets dans les domaines de l'assurance, bancaire et industrie. Il a \u00e9galement \u00e9t\u00e9 Co-fondateur et pr\u00e9sident de Tripzer. En tant que consultant ind\u00e9pendant, J\u00e9r\u00e9my a propos\u00e9 des formations sur MicroStrategy pour divers niveaux professionnels. Il est dipl\u00f4m\u00e9 de l'Universit\u00e9 Paris Cit\u00e9 avec un Master MIAGE, combinant comp\u00e9tences en informatique et gestion.\",\"sameAs\":[\"https:\/\/www.linkedin.com\/in\/jeremyrobert1\/\",\"Data Science\"],\"url\":\"https:\/\/datascientest.com\/author\/jeremyrobert\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Algorithmes de Boosting \u2013 AdaBoost, Gradient Boosting, XGBoost","description":"Vous cherchez \u00e0 en savoir plus sur les algorithmes de boosting ? D\u00e9couvrez AdaBoost, Gradient Boosting et XGBoost dans cet article !","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/datascientest.com\/algorithmes-de-boosting-adaboost-gradient-boosting-xgboost","og_locale":"fr_FR","og_type":"article","og_title":"Algorithmes de Boosting \u2013 AdaBoost, Gradient Boosting, XGBoost","og_url":"https:\/\/datascientest.com\/algorithmes-de-boosting-adaboost-gradient-boosting-xgboost","og_site_name":"Formation Data Science | DataScientest.com","article_published_time":"2020-10-19T09:57:59+00:00","article_modified_time":"2023-11-09T14:11:43+00:00","og_image":[{"width":6335,"height":2501,"url":"https:\/\/datascientest.com\/wp-content\/uploads\/2020\/10\/illu_boosting_blog-11.png","type":"image\/png"}],"author":"J\u00e9r\u00e9my Robert","twitter_card":"summary_large_image","twitter_misc":{"\u00c9crit par":"J\u00e9r\u00e9my Robert","Dur\u00e9e de lecture estim\u00e9e":"8 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/datascientest.com\/algorithmes-de-boosting-adaboost-gradient-boosting-xgboost","url":"https:\/\/datascientest.com\/algorithmes-de-boosting-adaboost-gradient-boosting-xgboost","name":"Algorithmes de Boosting \u2013 AdaBoost, Gradient Boosting, XGBoost","isPartOf":{"@id":"https:\/\/datascientest.com\/#website"},"datePublished":"2020-10-19T09:57:59+00:00","dateModified":"2023-11-09T14:11:43+00:00","author":{"@id":"https:\/\/datascientest.com\/#\/schema\/person\/7af2361c48e24e79a8aa2360e6e74925"},"description":"Vous cherchez \u00e0 en savoir plus sur les algorithmes de boosting ? D\u00e9couvrez AdaBoost, Gradient Boosting et XGBoost dans cet article !","inLanguage":"fr-FR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/datascientest.com\/algorithmes-de-boosting-adaboost-gradient-boosting-xgboost"]}]},{"@type":"WebSite","@id":"https:\/\/datascientest.com\/#website","url":"https:\/\/datascientest.com\/","name":"Formation Data Science | DataScientest.com","description":"Leader de la formation en Data Science","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/datascientest.com\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"fr-FR"},{"@type":"Person","@id":"https:\/\/datascientest.com\/#\/schema\/person\/7af2361c48e24e79a8aa2360e6e74925","name":"J\u00e9r\u00e9my Robert","image":{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/datascientest.com\/#\/schema\/person\/image\/","url":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/jeremyrobert.jpeg","contentUrl":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/jeremyrobert.jpeg","caption":"J\u00e9r\u00e9my Robert"},"description":"J\u00e9r\u00e9my Robert est actuellement Directeur p\u00e9dagogique B2B chez DataScientest.com. Avant de rejoindre DataScientest, il a travaill\u00e9 en tant que Consultant Business Intelligence chez DEAPDATA, o\u00f9 il a g\u00e9r\u00e9 des projets dans les domaines de l'assurance, bancaire et industrie. Il a \u00e9galement \u00e9t\u00e9 Co-fondateur et pr\u00e9sident de Tripzer. En tant que consultant ind\u00e9pendant, J\u00e9r\u00e9my a propos\u00e9 des formations sur MicroStrategy pour divers niveaux professionnels. Il est dipl\u00f4m\u00e9 de l'Universit\u00e9 Paris Cit\u00e9 avec un Master MIAGE, combinant comp\u00e9tences en informatique et gestion.","sameAs":["https:\/\/www.linkedin.com\/in\/jeremyrobert1\/","Data Science"],"url":"https:\/\/datascientest.com\/author\/jeremyrobert"}]}},"_links":{"self":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts\/11722"}],"collection":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/users\/78"}],"replies":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/comments?post=11722"}],"version-history":[{"count":0,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts\/11722\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/media\/12971"}],"wp:attachment":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/media?parent=11722"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/categories?post=11722"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/tags?post=11722"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}