{"id":219330,"date":"2024-01-02T18:30:00","date_gmt":"2024-01-02T18:30:00","guid":{"rendered":"https:\/\/datascientest.com\/?p=219330"},"modified":"2023-12-28T14:35:28","modified_gmt":"2023-12-28T14:35:28","slug":"web-crawling-tout-savoir","status":"publish","type":"post","link":"https:\/\/datascientest.com\/web-crawling-tout-savoir","title":{"rendered":"Le Web Crawling : Qu&rsquo;est-ce que l\u2019indexation des pages web ?"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"219330\" class=\"elementor elementor-219330\" data-elementor-post-type=\"post\">\n\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-e2c49ac e-flex e-con-boxed e-con\" data-id=\"e2c49ac\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-9d697f3 elementor-widget elementor-widget-heading\" data-id=\"9d697f3\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-heading-title{padding:0;margin:0;line-height:1}.elementor-widget-heading .elementor-heading-title[class*=elementor-size-]>a{color:inherit;font-size:inherit;line-height:inherit}.elementor-widget-heading .elementor-heading-title.elementor-size-small{font-size:15px}.elementor-widget-heading .elementor-heading-title.elementor-size-medium{font-size:19px}.elementor-widget-heading .elementor-heading-title.elementor-size-large{font-size:29px}.elementor-widget-heading .elementor-heading-title.elementor-size-xl{font-size:39px}.elementor-widget-heading .elementor-heading-title.elementor-size-xxl{font-size:59px}<\/style><h2 class=\"elementor-heading-title elementor-size-default\">Incontournable du SEO (search engine optimisation), le web crawling permet d\u2019explorer les pages Internet avant de les indexer. Alors comment fonctionne le web crawling ? Quelles diff\u00e9rences avec le web scraping ? Quels sont les principaux robots d\u2019indexation ? Est-il possible de cr\u00e9er son propre web crawler ? Les r\u00e9ponses sont dans cet article.<\/h2>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-4b5804c e-flex e-con-boxed e-con\" data-id=\"4b5804c\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-cea886f elementor-widget elementor-widget-heading\" data-id=\"cea886f\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Qu\u2019est-ce que le web crawling ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-2fea4e2 elementor-widget elementor-widget-text-editor\" data-id=\"2fea4e2\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-text-editor.elementor-drop-cap-view-stacked .elementor-drop-cap{background-color:#69727d;color:#fff}.elementor-widget-text-editor.elementor-drop-cap-view-framed .elementor-drop-cap{color:#69727d;border:3px solid;background-color:transparent}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap{margin-top:8px}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap-letter{width:1em;height:1em}.elementor-widget-text-editor .elementor-drop-cap{float:left;text-align:center;line-height:1;font-size:50px}.elementor-widget-text-editor .elementor-drop-cap-letter{display:inline-block}<\/style>\t\t\t\t<p><span style=\"font-weight: 400;\">Crawler un site, c\u2019est<\/span><b> extraire les donn\u00e9es du web pour les analyser <\/b><span style=\"font-weight: 400;\">et en savoir plus sur leur contenu. Cette exploration permet ensuite d\u2019<\/span><b>indexer ou non les pages sur les moteurs de recherche. <\/b><span style=\"font-weight: 400;\">Ainsi, lorsque les utilisateurs tapent une requ\u00eate dans la barre de recherche, ils acc\u00e9deront \u00e0 toutes les pages index\u00e9es r\u00e9pondant de pr\u00e8s ou de loin \u00e0 la requ\u00eate.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">Pour indexer les pages, un <\/span><b>robot d\u2019exploration (ou web crawler) est charg\u00e9 d\u2019analyser toutes les pages HTML <\/b><span style=\"font-weight: 400;\">mises \u00e0 disposition. Mais sur Internet, plusieurs milliers de nouvelles pages sont ajout\u00e9es chaque jour. Alors plut\u00f4t que de les analyser une par une, le web crawler commence par une liste d\u2019URLs connues (\u00e9galement appel\u00e9e \u00ab\u00a0seed\u00a0\u00bb). Il suivra alors les liens hypertextes de ces pages pour analyser leurs pages de destination. De nouveau, il suivra les liens hypertextes de ces pages, leurs pages de destination, et ainsi de suite.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">L\u2019ensemble de ces liens peut alors <\/span><b>s\u2019apparenter \u00e0 une toile d\u2019araign\u00e9e.<\/b><span style=\"font-weight: 400;\"> C\u2019est justement pour cette raison que les robots d\u2019indexation sont g\u00e9n\u00e9ralement compar\u00e9s \u00e0 des araign\u00e9es (spider en anglais). Ils rampent de page en page pour construire et d\u00e9velopper les moteurs de recherche.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">D\u2019une certaine mani\u00e8re, le web crawling s\u2019apparente \u00e0 la r\u00e9organisation d\u2019une biblioth\u00e8que en triant tous les livres par th\u00e8mes. Dans ce cas, vous vous r\u00e9f\u00e9rez au titre du livre, son r\u00e9sum\u00e9 et ses diff\u00e9rents chapitres en interne. Les robots d\u2019indexation font de m\u00eame. Pour indexer les pages, il analyse le titre, la m\u00e9ta-description, la structure interne, le champ s\u00e9mantique utilis\u00e9, etc.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\"><span style=\"text-decoration: underline;\"><strong>Bon \u00e0 savoir<\/strong><\/span> : seuls 40 \u00e0 70 % des pages seraient index\u00e9es. Ce qui repr\u00e9sente d\u00e9j\u00e0 plusieurs milliards de pages web.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-b76e9ce e-flex e-con-boxed e-con\" data-id=\"b76e9ce\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-05c2690 elementor-widget elementor-widget-heading\" data-id=\"05c2690\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">3 exemples de robots d'indexation<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-3a19650 elementor-widget elementor-widget-text-editor\" data-id=\"3a19650\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<span style=\"font-weight: 400;\">Il existe diff\u00e9rents types de robots d\u2019indexation. Voici les principaux :\u00a0<\/span>\n<ul>\n \t<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Les moteurs de recherche <\/b><span style=\"font-weight: 400;\">: tous les moteurs de recherche disposent de leur propre robot. Par exemple Googlebot ou Bingbot. Chacun d\u2019entre eux collecte le code HTML des pages. Selon les crit\u00e8res d\u00e9finis par les moteurs de recherche, les pages seront ensuite index\u00e9es afin d\u2019\u00eatre consultables par les internautes.<\/span><\/li>\n \t<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Les outils d&rsquo;analyse SEO <\/b><span style=\"font-weight: 400;\">: pour v\u00e9rifier la pertinence de son site web, les entreprises ou les agences de marketing peuvent utiliser des outils de web crawling, notamment la <a href=\"https:\/\/datascientest.com\/google-search-console-tout-savoir\">Google Search Console<\/a>. Ces derniers analysent le code HTML, les m\u00e9tadonn\u00e9es, etc.\u00a0<\/span><\/li>\n \t<li><b>Les outils de surveillance des prix <\/b><span style=\"font-weight: 400;\">: cela concerne les sites de e-commerce. Dans\u00a0 ce cas, ce sont surtout les m\u00e9tadonn\u00e9es relatives au prix qui sont analys\u00e9es. <\/span><\/li>\n<\/ul>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-263d704 e-flex e-con-boxed e-con\" data-id=\"263d704\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-49a1bae elementor-widget elementor-widget-heading\" data-id=\"49a1bae\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Web crawling vs web scraping<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-7a595cd elementor-widget elementor-widget-text-editor\" data-id=\"7a595cd\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Attention \u00e0 ne pas confondre le web crawling et le web scraping. En effet, <\/span><b>le web scraping est beaucoup plus cibl\u00e9<\/b><span style=\"font-weight: 400;\"> que le web crawling, puisqu\u2019il s\u2019agit d\u2019analyser des pages ou des sites web sp\u00e9cifiques. \u00c0 l\u2019inverse du web scraper, le robot d&rsquo;indexation explore les pages de tout Internet. Et ce, en permanence.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-a984740 elementor-widget elementor-widget-image\" data-id=\"a984740\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-image{text-align:center}.elementor-widget-image a{display:inline-block}.elementor-widget-image a img[src$=\".svg\"]{width:48px}.elementor-widget-image img{vertical-align:middle;display:inline-block}<\/style>\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"917\" height=\"550\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/10\/web-crawling.jpg\" class=\"attachment-full size-full wp-image-219368\" alt=\"\" srcset=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/10\/web-crawling.jpg 917w, https:\/\/datascientest.com\/wp-content\/uploads\/2023\/10\/web-crawling-300x180.jpg 300w, https:\/\/datascientest.com\/wp-content\/uploads\/2023\/10\/web-crawling-768x461.jpg 768w\" sizes=\"(max-width: 917px) 100vw, 917px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-90036f7 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"90036f7\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formation-marketing-digital-et-data\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Se renseigner sur la formation Marketing Digital & Data<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-f1519ed e-flex e-con-boxed e-con\" data-id=\"f1519ed\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-6fc7555 elementor-widget elementor-widget-heading\" data-id=\"6fc7555\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Comment fonctionne le web crawling ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-fe5c9ce elementor-widget elementor-widget-text-editor\" data-id=\"fe5c9ce\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Comme vu pr\u00e9c\u00e9demment, les robots d\u2019indexation partent d\u2019un point de d\u00e9part avant de parcourir les pages web, leurs hyperliens et leurs pages de destination. Au vu du nombre d\u2019URLs disponibles, le web crawling pourrait continuer \u00e0 l\u2019infini. Cela dit, pour que le<\/span><b> processus soit efficace et \u00e9cologique <\/b><span style=\"font-weight: 400;\">(compte tenu des capacit\u00e9s des serveurs), les robots d&rsquo;exploration suivent certaines r\u00e8gles, les rendant plus s\u00e9lectifs au moment d\u2019explorer les pages. Ils n\u2019ont donc p<\/span><b>as vocation \u00e0 explorer toutes les pages<\/b><span style=\"font-weight: 400;\">, seulement une partie. <\/span><\/p><p><span style=\"font-weight: 400;\">Voici les principaux crit\u00e8res pris en compte :\u00a0<\/span><\/p><ul><li style=\"font-weight: 400;\" aria-level=\"1\"><b>Le nombre de liens <\/b><span style=\"font-weight: 400;\">: plus une page a des liens (aussi bien internes qu\u2019externes) pointant vers elle, plus elle a des chances d\u2019\u00eatre crawl\u00e9e. \u00c0 l\u2019inverse, si la page a trop peu de liens, les robots pourront la mettre en file d\u2019attente.\u00a0<\/span><\/li><li style=\"font-weight: 400;\" aria-level=\"1\"><b>Le nombre de visiteurs<\/b><span style=\"font-weight: 400;\"> : cela indique que la page est susceptible de contenir des informations de haute qualit\u00e9.\u00a0<\/span><\/li><li style=\"font-weight: 400;\" aria-level=\"1\"><b>Le contenu<\/b><span style=\"font-weight: 400;\"> : il convient de fournir un contenu de qualit\u00e9 avec une structure claire et un <a href=\"https:\/\/datascientest.com\/analyse-semantique-tout-savoir\">champ s\u00e9mantique riche<\/a>.\u00a0<\/span><\/li><li style=\"font-weight: 400;\" aria-level=\"1\"><b>L\u2019autorit\u00e9 du domaine<\/b><span style=\"font-weight: 400;\"> : les sites ayant d\u00e9j\u00e0 un positionnement bien \u00e9tabli b\u00e9n\u00e9ficient d\u2019un taux de crawl plus \u00e9lev\u00e9.\u00a0<\/span><\/li><li><b>Les robots.txt <\/b><span style=\"font-weight: 400;\">: les sites web ont en principe un fichier appel\u00e9 robots.txt. C\u2019est un protocole d&rsquo;exclusion qui permet aux robots d&rsquo;exploration d\u2019identifier les pages \u00e0 indexer ou non.<\/span><\/li><\/ul>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-6f84972 elementor-widget elementor-widget-text-editor\" data-id=\"6f84972\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Il existe de <\/span><b>nombreux autres crit\u00e8res<\/b><span style=\"font-weight: 400;\"> d\u00e9finis par les diff\u00e9rents algorithmes des moteurs de recherche. Et m\u00eame s\u2019il y a parfois de l\u00e9g\u00e8res variations d\u2019un moteur de recherche \u00e0 l\u2019autre, l\u2019objectif est toujours de t\u00e9l\u00e9charger et d\u2019indexer le contenu des pages web.<\/span><\/p><p><span style=\"font-weight: 400;\">Par ailleurs, <\/span><b>le contenu web \u00e9volue continuellement. <\/b><span style=\"font-weight: 400;\">Des pages sont mises \u00e0 jour, supprim\u00e9es, d\u00e9plac\u00e9es, etc. Le web crawling implique donc de revisiter r\u00e9guli\u00e8rement les pages afin de s&rsquo;assurer que leur derni\u00e8re version soit index\u00e9e.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-ef3acaa e-flex e-con-boxed e-con\" data-id=\"ef3acaa\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-3d21f78 elementor-widget elementor-widget-heading\" data-id=\"3d21f78\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Comment construire un web crawler ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-18860be elementor-widget elementor-widget-text-editor\" data-id=\"18860be\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">S\u2019il existe de nombreux robots d\u2019indexation, il est aussi possible de<\/span><b> cr\u00e9er son propre web crawler \u00e0 partir de z\u00e9ro.\u00a0<\/b><\/p><p><span style=\"font-weight: 400;\">Pour cela, vous aurez besoin de ma\u00eetriser <a href=\"https:\/\/datascientest.com\/python-tout-savoir\">le langage de programmation Python<\/a>, d\u2019une premi\u00e8re biblioth\u00e8que pour t\u00e9l\u00e9charger le code HTML \u00e0 partir d&rsquo;une URL et d&rsquo;une seconde biblioth\u00e8que pour extraire les liens.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">Il vous suffit alors d\u2019installer ces libraires en utilisant cette commande sur votre ligne de commande :<\/span><\/p><pre style=\"padding-left: 40px;\"><span style=\"font-weight: 400;\">pip install requests bs4<\/span><\/pre><p><span style=\"font-weight: 400;\">Vous devrez ensuite d\u00e9finir une classe Crawler \u00e0 l\u2019aide du bot et les URLs \u00e0 explorer dans la section<\/span> <span style=\"font-weight: 400;\"><strong>add_url_to_visit<\/strong>.<\/span><span style=\"font-weight: 400;\"> Le bot continuera son exploration tant qu\u2019il y aura des pages \u00e0 analyser.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">En plus de Python, vous pouvez aussi utiliser <a href=\"https:\/\/datascientest.com\/scrapy-web-scraping-tout-savoir\">Scrapy<\/a> pour cr\u00e9er des web crawlers distribu\u00e9s. <\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-740aae2 e-flex e-con-boxed e-con\" data-id=\"740aae2\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-21a11c9 elementor-widget elementor-widget-heading\" data-id=\"21a11c9\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Rejoignez la formation Marketing Data <\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-925669d elementor-widget elementor-widget-text-editor\" data-id=\"925669d\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Facilitant l\u2019indexation des pages d\u2019un site web, le web crawling constitue un pan incontournable des <a href=\"https:\/\/datascientest.com\/seo-tout-savoir\">strat\u00e9gies SEO<\/a>. Mais que ce soit pour am\u00e9liorer l\u2019indexation des pages ou cr\u00e9er son propre robot d\u2019indexation, il est primordial de se former. C\u2019est justement pour cette raison que <strong>DataScientest<\/strong> vous propose sa formation Marketing Digital et Data. <a href=\"https:\/\/datascientest.com\/formation-marketing-digital-et-data\">D\u00e9couvrez le programme<\/a>.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-0d194a6 elementor-widget__width-initial elementor-widget elementor-widget-video\" data-id=\"0d194a6\" data-element_type=\"widget\" data-settings=\"{&quot;youtube_url&quot;:&quot;https:\\\/\\\/youtu.be\\\/BUZP8f6GWFM&quot;,&quot;video_type&quot;:&quot;youtube&quot;,&quot;controls&quot;:&quot;yes&quot;}\" data-widget_type=\"video.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-video .elementor-widget-container{overflow:hidden;transform:translateZ(0)}.elementor-widget-video .elementor-wrapper{aspect-ratio:var(--video-aspect-ratio)}.elementor-widget-video .elementor-wrapper iframe,.elementor-widget-video .elementor-wrapper video{height:100%;width:100%;display:flex;border:none;background-color:#000}@supports not (aspect-ratio:1\/1){.elementor-widget-video .elementor-wrapper{position:relative;overflow:hidden;height:0;padding-bottom:calc(100% \/ var(--video-aspect-ratio))}.elementor-widget-video .elementor-wrapper iframe,.elementor-widget-video .elementor-wrapper video{position:absolute;top:0;right:0;bottom:0;left:0}}.elementor-widget-video .elementor-open-inline .elementor-custom-embed-image-overlay{position:absolute;top:0;right:0;bottom:0;left:0;background-size:cover;background-position:50%}.elementor-widget-video .elementor-custom-embed-image-overlay{cursor:pointer;text-align:center}.elementor-widget-video .elementor-custom-embed-image-overlay:hover .elementor-custom-embed-play i{opacity:1}.elementor-widget-video .elementor-custom-embed-image-overlay img{display:block;width:100%;aspect-ratio:var(--video-aspect-ratio);-o-object-fit:cover;object-fit:cover;-o-object-position:center center;object-position:center center}@supports not (aspect-ratio:1\/1){.elementor-widget-video .elementor-custom-embed-image-overlay{position:relative;overflow:hidden;height:0;padding-bottom:calc(100% \/ var(--video-aspect-ratio))}.elementor-widget-video .elementor-custom-embed-image-overlay img{position:absolute;top:0;right:0;bottom:0;left:0}}.elementor-widget-video .e-hosted-video .elementor-video{-o-object-fit:cover;object-fit:cover}.e-con-inner>.elementor-widget-video,.e-con>.elementor-widget-video{width:var(--container-widget-width);--flex-grow:var(--container-widget-flex-grow)}<\/style>\t\t<div class=\"elementor-wrapper elementor-open-inline\">\n\t\t\t<div class=\"elementor-video\"><\/div>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-9046dad elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"9046dad\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formation-marketing-digital-et-data\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">D\u00e9couvrir la formation Marketing Digital et Data<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-d53b8bc e-flex e-con-boxed e-con\" data-id=\"d53b8bc\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-960c246 elementor-widget elementor-widget-html\" data-id=\"960c246\" data-element_type=\"widget\" data-widget_type=\"html.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<script type=\"application\/ld+json\">\r\n{\r\n  \"@context\": \"https:\/\/schema.org\",\r\n  \"@type\": \"FAQPage\",\r\n  \"mainEntity\": [{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Qu\u2019est-ce que le web crawling ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Crawler un site, c\u2019est extraire les donn\u00e9es du web pour les analyser et en savoir plus sur leur contenu. Cette exploration permet ensuite d\u2019indexer ou non les pages sur les moteurs de recherche. Ainsi, lorsque les utilisateurs tapent une requ\u00eate dans la barre de recherche, ils acc\u00e9deront \u00e0 toutes les pages index\u00e9es r\u00e9pondant de pr\u00e8s ou de loin \u00e0 la requ\u00eate.\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Web crawling vs web scraping\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Attention \u00e0 ne pas confondre le web crawling et le web scraping. En effet, le web scraping est beaucoup plus cibl\u00e9 que le web crawling, puisqu\u2019il s\u2019agit d\u2019analyser des pages ou des sites web sp\u00e9cifiques. \u00c0 l\u2019inverse du web scraper, le robot d'indexation explore les pages de tout Internet. Et ce, en permanence.\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Comment fonctionne le web crawling ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Comme vu pr\u00e9c\u00e9demment, les robots d\u2019indexation partent d\u2019un point de d\u00e9part avant de parcourir les pages web, leurs hyperliens et leurs pages de destination. Au vu du nombre d\u2019URLs disponibles, le web crawling pourrait continuer \u00e0 l\u2019infini. Cela dit, pour que le processus soit efficace et \u00e9cologique (compte tenu des capacit\u00e9s des serveurs), les robots d'exploration suivent certaines r\u00e8gles, les rendant plus s\u00e9lectifs au moment d\u2019explorer les pages. Ils n\u2019ont donc pas vocation \u00e0 explorer toutes les pages, seulement une partie.\"\r\n    }\r\n  }]\r\n}\r\n<\/script>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>Incontournable du SEO (search engine optimisation), le web crawling permet d\u2019explorer les pages Internet avant de les indexer. Alors comment fonctionne le web crawling ? Quelles diff\u00e9rences avec le web scraping ? Quels sont les principaux robots d\u2019indexation ? Est-il possible de cr\u00e9er son propre web crawler ? Les r\u00e9ponses sont dans cet article. Qu\u2019est-ce [&hellip;]<\/p>\n","protected":false},"author":59,"featured_media":219337,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"content-type":"","inline_featured_image":false},"categories":[2496],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v21.7 (Yoast SEO v21.7) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Le Web Crawling : Qu&#039;est-ce que l\u2019indexation des pages web ?<\/title>\n<meta name=\"description\" content=\"Cr\u00e9er son site internet, c\u2019est bien. Mais qu\u2019elles soient visibles sur les moteurs de recherche, c\u2019est mieux. C\u2019est \u00e0 cet instant qu\u2019intervient le Web Crawling.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/datascientest.com\/web-crawling-tout-savoir\" \/>\n<meta property=\"og:locale\" content=\"fr_FR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Le Web Crawling : Qu&#039;est-ce que l\u2019indexation des pages web ?\" \/>\n<meta property=\"og:url\" content=\"https:\/\/datascientest.com\/web-crawling-tout-savoir\" \/>\n<meta property=\"og:site_name\" content=\"Formation Data Science | DataScientest.com\" \/>\n<meta property=\"article:published_time\" content=\"2024-01-02T18:30:00+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-12-28T14:35:28+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/10\/web-crawling.png\" \/>\n\t<meta property=\"og:image:width\" content=\"1200\" \/>\n\t<meta property=\"og:image:height\" content=\"600\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Aur\u00e9lia Fellous\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"\u00c9crit par\" \/>\n\t<meta name=\"twitter:data1\" content=\"Aur\u00e9lia Fellous\" \/>\n\t<meta name=\"twitter:label2\" content=\"Dur\u00e9e de lecture estim\u00e9e\" \/>\n\t<meta name=\"twitter:data2\" content=\"6 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/datascientest.com\/web-crawling-tout-savoir\",\"url\":\"https:\/\/datascientest.com\/web-crawling-tout-savoir\",\"name\":\"Le Web Crawling : Qu'est-ce que l\u2019indexation des pages web ?\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/#website\"},\"datePublished\":\"2024-01-02T18:30:00+00:00\",\"dateModified\":\"2023-12-28T14:35:28+00:00\",\"author\":{\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/bd44b23f798347113ae5f0bbff3c25bd\"},\"description\":\"Cr\u00e9er son site internet, c\u2019est bien. Mais qu\u2019elles soient visibles sur les moteurs de recherche, c\u2019est mieux. C\u2019est \u00e0 cet instant qu\u2019intervient le Web Crawling.\",\"inLanguage\":\"fr-FR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/datascientest.com\/web-crawling-tout-savoir\"]}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/datascientest.com\/#website\",\"url\":\"https:\/\/datascientest.com\/\",\"name\":\"Formation Data Science | DataScientest.com\",\"description\":\"Leader de la formation en Data Science\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/datascientest.com\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"fr-FR\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/bd44b23f798347113ae5f0bbff3c25bd\",\"name\":\"Aur\u00e9lia Fellous\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/aureliafellous.jpeg\",\"contentUrl\":\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/aureliafellous.jpeg\",\"caption\":\"Aur\u00e9lia Fellous\"},\"description\":\"Aurelia Fellous est la Head of Marketing Communications chez DataScientest.com \u00e0 Paris. Elle est dipl\u00f4m\u00e9e de l'ESSEC et de l'Universit\u00e9 Paris Dauphine, deux institutions prestigieuses. Avant de rejoindre DataScientest, elle a acquis une solide exp\u00e9rience dans le domaine du marketing. Passionn\u00e9e par l'\u00e9ducation et la data science, elle s'investit \u00e9galement dans des projets d'inclusion num\u00e9rique.\",\"sameAs\":[\"https:\/\/www.linkedin.com\/in\/aurelia-fellous\/\",\"Marketing\"],\"url\":\"https:\/\/datascientest.com\/author\/aureliafellous\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Le Web Crawling : Qu'est-ce que l\u2019indexation des pages web ?","description":"Cr\u00e9er son site internet, c\u2019est bien. Mais qu\u2019elles soient visibles sur les moteurs de recherche, c\u2019est mieux. C\u2019est \u00e0 cet instant qu\u2019intervient le Web Crawling.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/datascientest.com\/web-crawling-tout-savoir","og_locale":"fr_FR","og_type":"article","og_title":"Le Web Crawling : Qu'est-ce que l\u2019indexation des pages web ?","og_url":"https:\/\/datascientest.com\/web-crawling-tout-savoir","og_site_name":"Formation Data Science | DataScientest.com","article_published_time":"2024-01-02T18:30:00+00:00","article_modified_time":"2023-12-28T14:35:28+00:00","og_image":[{"width":1200,"height":600,"url":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/10\/web-crawling.png","type":"image\/png"}],"author":"Aur\u00e9lia Fellous","twitter_card":"summary_large_image","twitter_misc":{"\u00c9crit par":"Aur\u00e9lia Fellous","Dur\u00e9e de lecture estim\u00e9e":"6 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/datascientest.com\/web-crawling-tout-savoir","url":"https:\/\/datascientest.com\/web-crawling-tout-savoir","name":"Le Web Crawling : Qu'est-ce que l\u2019indexation des pages web ?","isPartOf":{"@id":"https:\/\/datascientest.com\/#website"},"datePublished":"2024-01-02T18:30:00+00:00","dateModified":"2023-12-28T14:35:28+00:00","author":{"@id":"https:\/\/datascientest.com\/#\/schema\/person\/bd44b23f798347113ae5f0bbff3c25bd"},"description":"Cr\u00e9er son site internet, c\u2019est bien. Mais qu\u2019elles soient visibles sur les moteurs de recherche, c\u2019est mieux. C\u2019est \u00e0 cet instant qu\u2019intervient le Web Crawling.","inLanguage":"fr-FR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/datascientest.com\/web-crawling-tout-savoir"]}]},{"@type":"WebSite","@id":"https:\/\/datascientest.com\/#website","url":"https:\/\/datascientest.com\/","name":"Formation Data Science | DataScientest.com","description":"Leader de la formation en Data Science","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/datascientest.com\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"fr-FR"},{"@type":"Person","@id":"https:\/\/datascientest.com\/#\/schema\/person\/bd44b23f798347113ae5f0bbff3c25bd","name":"Aur\u00e9lia Fellous","image":{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/datascientest.com\/#\/schema\/person\/image\/","url":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/aureliafellous.jpeg","contentUrl":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/aureliafellous.jpeg","caption":"Aur\u00e9lia Fellous"},"description":"Aurelia Fellous est la Head of Marketing Communications chez DataScientest.com \u00e0 Paris. Elle est dipl\u00f4m\u00e9e de l'ESSEC et de l'Universit\u00e9 Paris Dauphine, deux institutions prestigieuses. Avant de rejoindre DataScientest, elle a acquis une solide exp\u00e9rience dans le domaine du marketing. Passionn\u00e9e par l'\u00e9ducation et la data science, elle s'investit \u00e9galement dans des projets d'inclusion num\u00e9rique.","sameAs":["https:\/\/www.linkedin.com\/in\/aurelia-fellous\/","Marketing"],"url":"https:\/\/datascientest.com\/author\/aureliafellous"}]}},"_links":{"self":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts\/219330"}],"collection":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/users\/59"}],"replies":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/comments?post=219330"}],"version-history":[{"count":0,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts\/219330\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/media\/219337"}],"wp:attachment":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/media?parent=219330"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/categories?post=219330"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/tags?post=219330"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}