{"id":162989,"date":"2022-04-11T17:32:06","date_gmt":"2022-04-11T16:32:06","guid":{"rendered":"https:\/\/datascientest.com\/?p=152023"},"modified":"2023-11-09T14:05:15","modified_gmt":"2023-11-09T14:05:15","slug":"guide-du-data-preprocessing","status":"publish","type":"post","link":"https:\/\/datascientest.com\/guide-du-data-preprocessing","title":{"rendered":"Pr\u00e9processing: Qu&rsquo;est-ce que c&rsquo;est ? Comment \u00e7a marche ?"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"162989\" class=\"elementor elementor-162989\" data-elementor-post-type=\"post\">\n\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-f8c176c e-flex e-con-boxed e-con\" data-id=\"f8c176c\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-c903e2b elementor-widget elementor-widget-heading\" data-id=\"c903e2b\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-heading-title{padding:0;margin:0;line-height:1}.elementor-widget-heading .elementor-heading-title[class*=elementor-size-]>a{color:inherit;font-size:inherit;line-height:inherit}.elementor-widget-heading .elementor-heading-title.elementor-size-small{font-size:15px}.elementor-widget-heading .elementor-heading-title.elementor-size-medium{font-size:19px}.elementor-widget-heading .elementor-heading-title.elementor-size-large{font-size:29px}.elementor-widget-heading .elementor-heading-title.elementor-size-xl{font-size:39px}.elementor-widget-heading .elementor-heading-title.elementor-size-xxl{font-size:59px}<\/style><h2 class=\"elementor-heading-title elementor-size-default\">La multiplication de l\u2019acquisition de donn\u00e9es et leur traitement syst\u00e9matique a permis l\u2019essor des m\u00e9thodes de machine learning n\u00e9cessitant de nombreuses donn\u00e9es pour tourner et s\u2019entra\u00eener. Bien que l\u2019on puisse na\u00efvement penser qu\u2019il suffit d\u2019un grand nombre de donn\u00e9es pour avoir un algorithme performant, les donn\u00e9es dont nous disposons sont la plupart du temps non adapt\u00e9es et il faut la plupart du temps les traiter pr\u00e9alablement pour pouvoir ensuite les utiliser : c\u2019est l\u2019\u00e9tape de preprocessing.<\/h2>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-c9cdf56 elementor-widget elementor-widget-text-editor\" data-id=\"c9cdf56\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-text-editor.elementor-drop-cap-view-stacked .elementor-drop-cap{background-color:#69727d;color:#fff}.elementor-widget-text-editor.elementor-drop-cap-view-framed .elementor-drop-cap{color:#69727d;border:3px solid;background-color:transparent}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap{margin-top:8px}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap-letter{width:1em;height:1em}.elementor-widget-text-editor .elementor-drop-cap{float:left;text-align:center;line-height:1;font-size:50px}.elementor-widget-text-editor .elementor-drop-cap-letter{display:inline-block}<\/style>\t\t\t\t<p>En effet, des <strong>erreurs d\u2019acquisition<\/strong> li\u00e9es \u00e0 des fautes humaines ou techniques peuvent <strong>corrompre notre dataset et biaiser l\u2019entra\u00eenement<\/strong>. Parmi ces erreurs, nous pouvons citer des <strong>informations incompl\u00e8tes<\/strong>, des valeurs manquantes ou erron\u00e9es ou encore des bruits parasites li\u00e9s \u00e0 l\u2019acquisition de la donn\u00e9e. Il est donc souvent indispensable d\u2019\u00e9tablir une strat\u00e9gie de pr\u00e9traitement des donn\u00e9es &#8211; autrement appel\u00e9 <strong>Data Preprocessing<\/strong> &#8211; \u00e0 partir de nos donn\u00e9es brutes pour arriver \u00e0 des <strong>donn\u00e9es exploitables<\/strong> et qui nous donneront un mod\u00e8le plus performant. Nous allons explorer les \u00e9tapes les plus importantes de ce preprocessing, leur importance et leur impl\u00e9mentation en <a href=\"https:\/\/datascientest.com\/formation-langage-python\">Python<\/a> pour certaines.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-9ab83f5 elementor-widget elementor-widget-image\" data-id=\"9ab83f5\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-image{text-align:center}.elementor-widget-image a{display:inline-block}.elementor-widget-image a img[src$=\".svg\"]{width:48px}.elementor-widget-image img{vertical-align:middle;display:inline-block}<\/style>\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"1099\" height=\"1081\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2022\/04\/image3.png\" class=\"attachment-full size-full wp-image-181769\" alt=\"\" srcset=\"https:\/\/datascientest.com\/wp-content\/uploads\/2022\/04\/image3.png 1099w, https:\/\/datascientest.com\/wp-content\/uploads\/2022\/04\/image3-300x295.png 300w, https:\/\/datascientest.com\/wp-content\/uploads\/2022\/04\/image3-1024x1007.png 1024w, https:\/\/datascientest.com\/wp-content\/uploads\/2022\/04\/image3-768x755.png 768w\" sizes=\"(max-width: 1099px) 100vw, 1099px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-d90784a elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"d90784a\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formation-data-management\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">D\u00e9marrer une formation en Data Management<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-d49008b e-flex e-con-boxed e-con\" data-id=\"d49008b\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-5d55f25 elementor-widget elementor-widget-heading\" data-id=\"5d55f25\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Data Cleaning : Les diff\u00e9rentes \u00e9tapes<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-243afeb elementor-widget elementor-widget-text-editor\" data-id=\"243afeb\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>La premi\u00e8re \u00e9tape consiste en un <strong>nettoyage des donn\u00e9es incorrectes<\/strong>, incompl\u00e8tes ou manquantes. Il existe plusieurs mani\u00e8res de g\u00e9rer ces probl\u00e8mes que nous allons passer en revue.\u00a0<\/p><p>S\u2019il manque des donn\u00e9es dans le dataset, vous pouvez <strong>choisir de les ignorer<\/strong> dans le cas o\u00f9 la base de donn\u00e9es est assez fournie et si de nombreuses donn\u00e9es sont manquantes au sein de la m\u00eame ligne. Vous pouvez \u00e9galement d\u00e9cider de <strong>remplir ces donn\u00e9es manquantes<\/strong> de diff\u00e9rentes mani\u00e8res : vous pouvez les remplacer par la valeur moyenne, par la m\u00e9diane, ou par exemple par la <strong>modalit\u00e9 la plus fr\u00e9quente<\/strong> dans le cas de <strong>variables cat\u00e9gorielles<\/strong> (autrement appel\u00e9 le mode). <a href=\"https:\/\/datascientest.com\/pandas-python-data-science\">Pandas<\/a> nous fournit des m\u00e9thodes qui nous permettent d\u2019effectuer ces traitements de la mani\u00e8re suivante :<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-cc32060 elementor-widget elementor-widget-shortcode\" data-id=\"cc32060\" data-element_type=\"widget\" data-widget_type=\"shortcode.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-shortcode\"><script src=\"https:\/\/gist.github.com\/zaxaheb-dst\/2b91ed470621d54f6750865e3579ef16.js\"><\/script><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-8c6d2bb elementor-widget elementor-widget-text-editor\" data-id=\"8c6d2bb\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Il peut arriver que des donn\u00e9es souffrent d\u2019un bruit parasite d\u2019acquisition, auquel cas, elles ne pourront pas \u00eatre correctement trait\u00e9es par un ordinateur. Une mani\u00e8re de traiter ce probl\u00e8me est d\u2019effectuer un <strong>binning des donn\u00e9es<\/strong> (pr\u00e9alablement tri\u00e9es). Ces derni\u00e8res sont s\u00e9par\u00e9es en groupe de m\u00eame taille et chaque groupe est trait\u00e9 ind\u00e9pendamment. Au sein d\u2019un m\u00eame groupement, toutes les donn\u00e9es peuvent \u00eatre remplac\u00e9es par leur moyenne, leur m\u00e9diane ou par les valeurs extr\u00eames.<\/p><p>Une autre fa\u00e7on de traiter des donn\u00e9es bruit\u00e9es, et d\u2019utiliser une <a href=\"https:\/\/fr.wikipedia.org\/wiki\/R%C3%A9gression_(statistiques)\">r\u00e9gression<\/a> ou un <a href=\"https:\/\/fr.wikipedia.org\/wiki\/Partitionnement_de_donn%C3%A9es\">clustering<\/a>, cr\u00e9ant automatiquement des groupes de donn\u00e9es et qui pourront nous permettre de d\u00e9tecter les outliers et de les supprimer de la <a href=\"https:\/\/datascientest.com\/bien-choisir-sa-base-de-donnees-typologie\">base de donn\u00e9e<\/a>.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-7d99962 elementor-widget elementor-widget-image\" data-id=\"7d99962\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2022\/04\/image2.png\" title=\"image2\" alt=\"image2\" loading=\"lazy\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-8ca45bb e-flex e-con-boxed e-con\" data-id=\"8ca45bb\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-7123c0e elementor-widget elementor-widget-heading\" data-id=\"7123c0e\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Data Transformation : Dans quel but ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-ad0848e elementor-widget elementor-widget-text-editor\" data-id=\"ad0848e\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Cette \u00e9tape de pr\u00e9traitement regroupe les changements effectu\u00e9s sur la structure m\u00eame de la donn\u00e9e. Ces transformations sont li\u00e9es aux d\u00e9finitions math\u00e9matiques des algorithmes et \u00e0 la mani\u00e8re dont ceux-ci traitent les donn\u00e9es, de mani\u00e8re \u00e0 optimiser les performances. Parmis ces techniques, nous pouvons citer par exemple :\u00a0<\/p><ul><li><strong>Le lissage des donn\u00e9es si elles sont bruit\u00e9es.<\/strong><\/li><li><strong>L&rsquo;agr\u00e9gation de donn\u00e9es venant de plusieurs sources diff\u00e9rentes.<\/strong><\/li><li><strong>La discr\u00e9tisation de variables continus (\u00e0 l\u2019aide du d\u00e9coupage en intervalles) qui permet d\u2019abaisser le nombre de modalit\u00e9s d\u2019un descripteur, et enfin.<\/strong><\/li><li><strong>La normalisation et la standardisation des donn\u00e9es qui ram\u00e8nent les donn\u00e9es num\u00e9riques \u00e0 une \u00e9chelle plus petite (par exemple entre -1 et 1), qui peuvent \u00e9galement centrer la moyenne et r\u00e9duire la variance.<\/strong><\/li><\/ul><p>\u00a0<\/p><p>Voici en exemple une mani\u00e8re d\u2019effectuer une normalisation, \u00e9tape la plus souvent n\u00e9cessaire dans cette partie de transformation des donn\u00e9es :<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-57c55d6 elementor-widget elementor-widget-shortcode\" data-id=\"57c55d6\" data-element_type=\"widget\" data-widget_type=\"shortcode.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-shortcode\"><script src=\"https:\/\/gist.github.com\/zaxaheb-dst\/e687d5c652378455a06ee085b88fdab2.js\"><\/script><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-1890ac8 e-flex e-con-boxed e-con\" data-id=\"1890ac8\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-eadf398 elementor-widget elementor-widget-heading\" data-id=\"eadf398\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Data Reduction : Qu'est ce que c'est ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-e0fc36e elementor-widget elementor-widget-text-editor\" data-id=\"e0fc36e\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Bien qu\u2019il paraisse intuitif d\u2019imaginer qu\u2019une tr\u00e8s grande quantit\u00e9 de donn\u00e9es am\u00e9liore la performance d\u2019un mod\u00e8le, il se peut qu\u2019une <strong>masse de donn\u00e9es trop importante<\/strong> puisse rendre l\u2019<strong>analyse plus compliqu\u00e9e<\/strong>. Il peut donc parfois \u00eatre int\u00e9ressant de r\u00e9duire la quantit\u00e9 ou la dimension des donn\u00e9es, de mani\u00e8re \u00e0 am\u00e9liorer les capacit\u00e9s de stockage et r\u00e9duire les co\u00fbts de l\u2019analyse, sans pour autant perdre en performance (voire dans certains cas en gagner). Il existe <strong>plusieurs techniques de r\u00e9duction de donn\u00e9es<\/strong>, nous pouvons par exemple choisir un certain nombre de variables que nous pr\u00e9f\u00e9rons garder et en laisser tomber d\u2019autres. Le choix des variables pertinentes peut se faire par l\u2019analyse de la <strong>p-valeur de la variable<\/strong>, ou par des <a href=\"https:\/\/datascientest.com\/random-forest-definition\">techniques d\u2019arbres de d\u00e9cisions<\/a> qui nous donne une estimation de l\u2019importance des diff\u00e9rents descripteurs.\u00a0<\/p><p>Une autre technique tr\u00e8s utilis\u00e9e dans l\u2019id\u00e9e de r\u00e9duction de la donn\u00e9e est la <strong>r\u00e9duction de sa dimension<\/strong>. Cette m\u00e9thode r\u00e9duit la dimension de la donn\u00e9e par des m\u00e9canismes d\u2019encodage bien d\u00e9finis. Il en existe deux types, avec ou sans perte. Si l\u2019on peut <strong>reconstruire les donn\u00e9es exactes \u00e0 partir des r\u00e9duites<\/strong>, on parle de <strong>r\u00e9duction sans perte<\/strong>. Sinon, la r\u00e9duction se fait \u00e0 perte. Il existe deux m\u00e9thodes privil\u00e9gi\u00e9es pour agir de cette mani\u00e8re sur les donn\u00e9es, une transformation wavelet ou un <strong>PCA (Principal Component Analysis)<\/strong>.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-74c0589 e-flex e-con-boxed e-con\" data-id=\"74c0589\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-4a363a9 elementor-widget elementor-widget-heading\" data-id=\"4a363a9\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Data Integration : Une \u00e9tape importante dans le pr\u00e9processing<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-0674d08 elementor-widget elementor-widget-text-editor\" data-id=\"0674d08\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Cette \u00e9tape de la strat\u00e9gie de preprocessing consiste \u00e0 combiner des sources multiples dans un seul dataset. Elle est effectu\u00e9e dans un cadre de management des donn\u00e9es pour la <strong>cr\u00e9ation de bases exploitables<\/strong> (comme la cr\u00e9ation de bases d&rsquo;images, de coupes transversales de l\u2019abdomen, d\u2019IRM ou de radios pour des probl\u00e8mes d\u2019aide au diagnostic). Il y a tout de m\u00eame certains probl\u00e8mes qui pourraient appara\u00eetre, par exemple l\u2019incompatibilit\u00e9 de certains formats ou la redondance de certaines donn\u00e9es.\u00a0<\/p><p>L\u2019\u00e9tape du <strong>traitement pr\u00e9liminaire des donn\u00e9es<\/strong> est donc l\u2019une des plus importantes dans le traitement et l\u2019analyse de donn\u00e9es. Il n\u2019existe pas de m\u00e9thode parfaite \u00e0 appliquer \u00e0 chaque cr\u00e9ation d\u2019un mod\u00e8le, mais nous avons vu ensemble les bonnes pratiques \u00e0 mettre en place dans une <strong>strat\u00e9gie de traitement pr\u00e9alable des donn\u00e9es<\/strong>. Les m\u00e9thodes pr\u00e9sent\u00e9es ici sont explor\u00e9es plus en profondeur dans nos diff\u00e9rentes formations : les concepts math\u00e9matiques fondamentaux ainsi que les bonnes pratiques du pr\u00e9traitement des donn\u00e9es en fonction du contexte et de la situation y sont expliqu\u00e9es.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-b04f495 elementor-widget elementor-widget-image\" data-id=\"b04f495\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"1921\" height=\"1081\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2022\/04\/image1.png\" class=\"attachment-full size-full wp-image-181771\" alt=\"\" srcset=\"https:\/\/datascientest.com\/wp-content\/uploads\/2022\/04\/image1.png 1921w, https:\/\/datascientest.com\/wp-content\/uploads\/2022\/04\/image1-300x169.png 300w, https:\/\/datascientest.com\/wp-content\/uploads\/2022\/04\/image1-1024x576.png 1024w, https:\/\/datascientest.com\/wp-content\/uploads\/2022\/04\/image1-768x432.png 768w, https:\/\/datascientest.com\/wp-content\/uploads\/2022\/04\/image1-1536x864.png 1536w\" sizes=\"(max-width: 1921px) 100vw, 1921px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-d194b88 elementor-widget elementor-widget-text-editor\" data-id=\"d194b88\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400; color: #000000;\">Pour d\u00e9couvrir nos cursus en d\u00e9tail et apprendre toutes <strong>les bonnes pratiques du data preprocessing<\/strong>, rendez-vous sur la page d\u00e9di\u00e9e.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-bc6328b elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"bc6328b\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formations-data\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">D\u00e9couvrir nos formations en Data Science<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-a6f6b3e e-flex e-con-boxed e-con\" data-id=\"a6f6b3e\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-d055ad2 elementor-widget elementor-widget-html\" data-id=\"d055ad2\" data-element_type=\"widget\" data-widget_type=\"html.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<script type=\"application\/ld+json\">\r\n{\r\n  \"@context\": \"https:\/\/schema.org\",\r\n  \"@type\": \"FAQPage\",\r\n  \"mainEntity\": [{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Data Cleaning : Les diff\u00e9rentes \u00e9tapes\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"La premi\u00e8re \u00e9tape consiste en un nettoyage des donn\u00e9es incorrectes, incompl\u00e8tes ou manquantes. Il existe plusieurs mani\u00e8res de g\u00e9rer ces probl\u00e8mes que nous allons passer en revue. S\u2019il manque des donn\u00e9es dans le dataset, vous pouvez choisir de les ignorer dans le cas o\u00f9 la base de donn\u00e9es est assez fournie et si de nombreuses donn\u00e9es sont manquantes au sein de la m\u00eame ligne. Vous pouvez \u00e9galement d\u00e9cider de remplir ces donn\u00e9es manquantes de diff\u00e9rentes mani\u00e8res : vous pouvez les remplacer par la valeur moyenne, par la m\u00e9diane, ou par exemple par la modalit\u00e9 la plus fr\u00e9quente dans le cas de variables cat\u00e9gorielles (autrement appel\u00e9 le mode).\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Data Transformation : Dans quel but ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Cette \u00e9tape de pr\u00e9traitement regroupe les changements effectu\u00e9s sur la structure m\u00eame de la donn\u00e9e. Ces transformations sont li\u00e9es aux d\u00e9finitions math\u00e9matiques des algorithmes et \u00e0 la mani\u00e8re dont ceux-ci traitent les donn\u00e9es, de mani\u00e8re \u00e0 optimiser les performances.\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Data Reduction : Qu'est ce que c'est ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Bien qu\u2019il paraisse intuitif d\u2019imaginer qu\u2019une tr\u00e8s grande quantit\u00e9 de donn\u00e9es am\u00e9liore la performance d\u2019un mod\u00e8le, il se peut qu\u2019une masse de donn\u00e9es trop importante puisse rendre l\u2019analyse plus compliqu\u00e9e. Il peut donc parfois \u00eatre int\u00e9ressant de r\u00e9duire la quantit\u00e9 ou la dimension des donn\u00e9es, de mani\u00e8re \u00e0 am\u00e9liorer les capacit\u00e9s de stockage et r\u00e9duire les co\u00fbts de l\u2019analyse, sans pour autant perdre en performance (voire dans certains cas en gagner). Il existe plusieurs techniques de r\u00e9duction de donn\u00e9es, nous pouvons par exemple choisir un certain nombre de variables que nous pr\u00e9f\u00e9rons garder et en laisser tomber d\u2019autres. Le choix des variables pertinentes peut se faire par l\u2019analyse de la p-valeur de la variable, ou par des techniques d\u2019arbres de d\u00e9cisions qui nous donne une estimation de l\u2019importance des diff\u00e9rents descripteurs.\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Data Integration : Une \u00e9tape importante dans le pr\u00e9processing\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Cette \u00e9tape de la strat\u00e9gie de preprocessing consiste \u00e0 combiner des sources multiples dans un seul dataset. Elle est effectu\u00e9e dans un cadre de management des donn\u00e9es pour la cr\u00e9ation de bases exploitables (comme la cr\u00e9ation de bases d'images, de coupes transversales de l\u2019abdomen, d\u2019IRM ou de radios pour des probl\u00e8mes d\u2019aide au diagnostic). Il y a tout de m\u00eame certains probl\u00e8mes qui pourraient appara\u00eetre, par exemple l\u2019incompatibilit\u00e9 de certains formats ou la redondance de certaines donn\u00e9es.\"\r\n    }\r\n  }]\r\n}\r\n<\/script>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>La multiplication de l\u2019acquisition de donn\u00e9es et leur traitement syst\u00e9matique a permis l\u2019essor des m\u00e9thodes de machine learning n\u00e9cessitant de nombreuses donn\u00e9es pour tourner et s\u2019entra\u00eener. Bien que l\u2019on puisse na\u00efvement penser qu\u2019il suffit d\u2019un grand nombre de donn\u00e9es pour avoir un algorithme performant, les donn\u00e9es dont nous disposons sont la plupart du temps non [&hellip;]<\/p>\n","protected":false},"author":78,"featured_media":181775,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"content-type":"","inline_featured_image":false},"categories":[2497],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v21.7 (Yoast SEO v21.7) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Pr\u00e9processing: Qu&#039;est-ce que c&#039;est ? Comment \u00e7a marche ?<\/title>\n<meta name=\"description\" content=\"La multiplication de l\u2019acquisition de donn\u00e9es et leur traitement syst\u00e9matique a permis l\u2019essor des m\u00e9thodes de machine learning n\u00e9cessitant de nombreuses donn\u00e9es pour tourner et s\u2019entra\u00eener.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/datascientest.com\/guide-du-data-preprocessing\" \/>\n<meta property=\"og:locale\" content=\"fr_FR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Pr\u00e9processing: Qu&#039;est-ce que c&#039;est ? Comment \u00e7a marche ?\" \/>\n<meta property=\"og:url\" content=\"https:\/\/datascientest.com\/guide-du-data-preprocessing\" \/>\n<meta property=\"og:site_name\" content=\"Formation Data Science | DataScientest.com\" \/>\n<meta property=\"article:published_time\" content=\"2022-04-11T16:32:06+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-11-09T14:05:15+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/datascientest.com\/wp-content\/uploads\/2022\/04\/image4.png\" \/>\n\t<meta property=\"og:image:width\" content=\"1706\" \/>\n\t<meta property=\"og:image:height\" content=\"730\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"J\u00e9r\u00e9my Robert\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"\u00c9crit par\" \/>\n\t<meta name=\"twitter:data1\" content=\"J\u00e9r\u00e9my Robert\" \/>\n\t<meta name=\"twitter:label2\" content=\"Dur\u00e9e de lecture estim\u00e9e\" \/>\n\t<meta name=\"twitter:data2\" content=\"6 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/datascientest.com\/guide-du-data-preprocessing\",\"url\":\"https:\/\/datascientest.com\/guide-du-data-preprocessing\",\"name\":\"Pr\u00e9processing: Qu'est-ce que c'est ? Comment \u00e7a marche ?\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/#website\"},\"datePublished\":\"2022-04-11T16:32:06+00:00\",\"dateModified\":\"2023-11-09T14:05:15+00:00\",\"author\":{\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/7af2361c48e24e79a8aa2360e6e74925\"},\"description\":\"La multiplication de l\u2019acquisition de donn\u00e9es et leur traitement syst\u00e9matique a permis l\u2019essor des m\u00e9thodes de machine learning n\u00e9cessitant de nombreuses donn\u00e9es pour tourner et s\u2019entra\u00eener.\",\"inLanguage\":\"fr-FR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/datascientest.com\/guide-du-data-preprocessing\"]}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/datascientest.com\/#website\",\"url\":\"https:\/\/datascientest.com\/\",\"name\":\"Formation Data Science | DataScientest.com\",\"description\":\"Leader de la formation en Data Science\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/datascientest.com\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"fr-FR\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/7af2361c48e24e79a8aa2360e6e74925\",\"name\":\"J\u00e9r\u00e9my Robert\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/jeremyrobert.jpeg\",\"contentUrl\":\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/jeremyrobert.jpeg\",\"caption\":\"J\u00e9r\u00e9my Robert\"},\"description\":\"J\u00e9r\u00e9my Robert est actuellement Directeur p\u00e9dagogique B2B chez DataScientest.com. Avant de rejoindre DataScientest, il a travaill\u00e9 en tant que Consultant Business Intelligence chez DEAPDATA, o\u00f9 il a g\u00e9r\u00e9 des projets dans les domaines de l'assurance, bancaire et industrie. Il a \u00e9galement \u00e9t\u00e9 Co-fondateur et pr\u00e9sident de Tripzer. En tant que consultant ind\u00e9pendant, J\u00e9r\u00e9my a propos\u00e9 des formations sur MicroStrategy pour divers niveaux professionnels. Il est dipl\u00f4m\u00e9 de l'Universit\u00e9 Paris Cit\u00e9 avec un Master MIAGE, combinant comp\u00e9tences en informatique et gestion.\",\"sameAs\":[\"https:\/\/www.linkedin.com\/in\/jeremyrobert1\/\",\"Data Science\"],\"url\":\"https:\/\/datascientest.com\/author\/jeremyrobert\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Pr\u00e9processing: Qu'est-ce que c'est ? Comment \u00e7a marche ?","description":"La multiplication de l\u2019acquisition de donn\u00e9es et leur traitement syst\u00e9matique a permis l\u2019essor des m\u00e9thodes de machine learning n\u00e9cessitant de nombreuses donn\u00e9es pour tourner et s\u2019entra\u00eener.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/datascientest.com\/guide-du-data-preprocessing","og_locale":"fr_FR","og_type":"article","og_title":"Pr\u00e9processing: Qu'est-ce que c'est ? Comment \u00e7a marche ?","og_url":"https:\/\/datascientest.com\/guide-du-data-preprocessing","og_site_name":"Formation Data Science | DataScientest.com","article_published_time":"2022-04-11T16:32:06+00:00","article_modified_time":"2023-11-09T14:05:15+00:00","og_image":[{"width":1706,"height":730,"url":"https:\/\/datascientest.com\/wp-content\/uploads\/2022\/04\/image4.png","type":"image\/png"}],"author":"J\u00e9r\u00e9my Robert","twitter_card":"summary_large_image","twitter_misc":{"\u00c9crit par":"J\u00e9r\u00e9my Robert","Dur\u00e9e de lecture estim\u00e9e":"6 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/datascientest.com\/guide-du-data-preprocessing","url":"https:\/\/datascientest.com\/guide-du-data-preprocessing","name":"Pr\u00e9processing: Qu'est-ce que c'est ? Comment \u00e7a marche ?","isPartOf":{"@id":"https:\/\/datascientest.com\/#website"},"datePublished":"2022-04-11T16:32:06+00:00","dateModified":"2023-11-09T14:05:15+00:00","author":{"@id":"https:\/\/datascientest.com\/#\/schema\/person\/7af2361c48e24e79a8aa2360e6e74925"},"description":"La multiplication de l\u2019acquisition de donn\u00e9es et leur traitement syst\u00e9matique a permis l\u2019essor des m\u00e9thodes de machine learning n\u00e9cessitant de nombreuses donn\u00e9es pour tourner et s\u2019entra\u00eener.","inLanguage":"fr-FR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/datascientest.com\/guide-du-data-preprocessing"]}]},{"@type":"WebSite","@id":"https:\/\/datascientest.com\/#website","url":"https:\/\/datascientest.com\/","name":"Formation Data Science | DataScientest.com","description":"Leader de la formation en Data Science","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/datascientest.com\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"fr-FR"},{"@type":"Person","@id":"https:\/\/datascientest.com\/#\/schema\/person\/7af2361c48e24e79a8aa2360e6e74925","name":"J\u00e9r\u00e9my Robert","image":{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/datascientest.com\/#\/schema\/person\/image\/","url":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/jeremyrobert.jpeg","contentUrl":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/jeremyrobert.jpeg","caption":"J\u00e9r\u00e9my Robert"},"description":"J\u00e9r\u00e9my Robert est actuellement Directeur p\u00e9dagogique B2B chez DataScientest.com. Avant de rejoindre DataScientest, il a travaill\u00e9 en tant que Consultant Business Intelligence chez DEAPDATA, o\u00f9 il a g\u00e9r\u00e9 des projets dans les domaines de l'assurance, bancaire et industrie. Il a \u00e9galement \u00e9t\u00e9 Co-fondateur et pr\u00e9sident de Tripzer. En tant que consultant ind\u00e9pendant, J\u00e9r\u00e9my a propos\u00e9 des formations sur MicroStrategy pour divers niveaux professionnels. Il est dipl\u00f4m\u00e9 de l'Universit\u00e9 Paris Cit\u00e9 avec un Master MIAGE, combinant comp\u00e9tences en informatique et gestion.","sameAs":["https:\/\/www.linkedin.com\/in\/jeremyrobert1\/","Data Science"],"url":"https:\/\/datascientest.com\/author\/jeremyrobert"}]}},"_links":{"self":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts\/162989"}],"collection":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/users\/78"}],"replies":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/comments?post=162989"}],"version-history":[{"count":0,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts\/162989\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/media\/181775"}],"wp:attachment":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/media?parent=162989"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/categories?post=162989"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/tags?post=162989"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}