{"id":192243,"date":"2023-03-07T11:03:56","date_gmt":"2023-03-07T11:03:56","guid":{"rendered":"https:\/\/datascientest.com\/?p=192243"},"modified":"2023-11-09T13:53:56","modified_gmt":"2023-11-09T13:53:56","slug":"hdfs-tout-savoir","status":"publish","type":"post","link":"https:\/\/datascientest.com\/hdfs-tout-savoir","title":{"rendered":"HDFS (Hadoop Distributed File System) : Qu&rsquo;est-ce que c&rsquo;est ?"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"192243\" class=\"elementor elementor-192243\" data-elementor-post-type=\"post\">\n\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-50db22c e-flex e-con-boxed e-con\" data-id=\"50db22c\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-48aa328 elementor-widget elementor-widget-heading\" data-id=\"48aa328\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-heading-title{padding:0;margin:0;line-height:1}.elementor-widget-heading .elementor-heading-title[class*=elementor-size-]>a{color:inherit;font-size:inherit;line-height:inherit}.elementor-widget-heading .elementor-heading-title.elementor-size-small{font-size:15px}.elementor-widget-heading .elementor-heading-title.elementor-size-medium{font-size:19px}.elementor-widget-heading .elementor-heading-title.elementor-size-large{font-size:29px}.elementor-widget-heading .elementor-heading-title.elementor-size-xl{font-size:39px}.elementor-widget-heading .elementor-heading-title.elementor-size-xxl{font-size:59px}<\/style><h2 class=\"elementor-heading-title elementor-size-default\">L\u2019acronyme HDFS symbolise Hadoop Distributed File System. Comme son nom l\u2019indique, HDFS est \u00e9troitement li\u00e9 \u00e0 l\u2019outil Hadoop. \u00c0 quoi sert HDFS ? Quel est le lien entre HDFS et Hadoop ? Comment HDFS fonctionne ? Nous allons r\u00e9pondre \u00e0 toutes ces questions \u00e0 l\u2019aide de cet article. <\/h2>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-11279a0 e-flex e-con-boxed e-con\" data-id=\"11279a0\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-6230a20 elementor-widget elementor-widget-heading\" data-id=\"6230a20\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Qu'est ce que Hadoop ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-47c32a9 elementor-widget elementor-widget-text-editor\" data-id=\"47c32a9\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-text-editor.elementor-drop-cap-view-stacked .elementor-drop-cap{background-color:#69727d;color:#fff}.elementor-widget-text-editor.elementor-drop-cap-view-framed .elementor-drop-cap{color:#69727d;border:3px solid;background-color:transparent}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap{margin-top:8px}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap-letter{width:1em;height:1em}.elementor-widget-text-editor .elementor-drop-cap{float:left;text-align:center;line-height:1;font-size:50px}.elementor-widget-text-editor .elementor-drop-cap-letter{display:inline-block}<\/style>\t\t\t\t<p><span style=\"font-weight: 400;\">Hadoop est outil open-source qui a r\u00e9volutionn\u00e9 le monde informatique, c\u2019est notamment gr\u00e2ce \u00e0 lui que le <\/span><b>Big Data<\/b><span style=\"font-weight: 400;\"> a \u00e9merg\u00e9. En effet, avec le Big Data (donn\u00e9es de masse), nous sommes contraints de traiter des donn\u00e9es volumineuses, et c\u2019est une t\u00e2che longue et ardue avec les outils traditionnels. Avec Hadoop, nous passons par une <\/span><b>architecture distribu\u00e9e <\/b><span style=\"font-weight: 400;\">permettant de faire des <\/span><b>\u00e9conomies de co\u00fbt <\/b><span style=\"font-weight: 400;\">et des <\/span><b>gains de performances<\/b><span style=\"font-weight: 400;\">.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">La diff\u00e9rence entre une architecture distribu\u00e9e et une architecture classique r\u00e9side dans l\u2019utilisation d\u2019un <\/span><b>cluster de machines<\/b><span style=\"font-weight: 400;\">, autrement dit un groupe d\u2019ordinateurs. Depuis Hadoop, les donn\u00e9es sont partag\u00e9es entre les machines du cluster et les op\u00e9rations sont donc <\/span><b>parall\u00e9lis\u00e9es<\/b><span style=\"font-weight: 400;\">. Il y a une distinction \u00e0 faire entre les machines du cluster : certaines machines poss\u00e8dent les donn\u00e9es et traitent les donn\u00e9es tandis qu\u2019une les coordonne. Cette architecture est commun\u00e9ment appel\u00e9e \u00ab\u00a0<\/span>master-slave\u00a0\u00bb<span style=\"font-weight: 400;\">(ma\u00eetre-esclave). Dans Hadoop, la machine \u00ab\u00a0<\/span><i><span style=\"font-weight: 400;\">master\u00a0\u00bb<\/span><\/i>\u00a0<span style=\"font-weight: 400;\">est appel\u00e9e le <\/span><b>Namenode <\/b><span style=\"font-weight: 400;\">et les machines \u00ab\u00a0<\/span><i><span style=\"font-weight: 400;\">slaves\u00a0\u00bb<\/span><\/i><span style=\"font-weight: 400;\">\u00a0sont nomm\u00e9es <\/span><b>Datanodes.<\/b><\/p><p><span style=\"font-weight: 400;\">Maintenant que nous avons les <a href=\"https:\/\/datascientest.com\/hadoop\">notions basiques sur Hadoop<\/a>, nous pouvons commencer \u00e0 parler de <\/span><b>HDFS<\/b><span style=\"font-weight: 400;\">. Pour avoir plus d\u2019informations sur Hadoop, vous pouvez consulter cet article.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-6e9e4a6 elementor-widget elementor-widget-image\" data-id=\"6e9e4a6\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-image{text-align:center}.elementor-widget-image a{display:inline-block}.elementor-widget-image a img[src$=\".svg\"]{width:48px}.elementor-widget-image img{vertical-align:middle;display:inline-block}<\/style>\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"1024\" height=\"563\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/03\/Illu_BLOG_NEW_hadoop.png\" class=\"attachment-full size-full wp-image-193066\" alt=\"\" srcset=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/03\/Illu_BLOG_NEW_hadoop.png 1024w, https:\/\/datascientest.com\/wp-content\/uploads\/2023\/03\/Illu_BLOG_NEW_hadoop-300x165.png 300w, https:\/\/datascientest.com\/wp-content\/uploads\/2023\/03\/Illu_BLOG_NEW_hadoop-768x422.png 768w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-ea14098 e-flex e-con-boxed e-con\" data-id=\"ea14098\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-8cdb771 elementor-widget elementor-widget-heading\" data-id=\"8cdb771\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Quel est l'int\u00e9r\u00eat d'utiliser les HDFS ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-f9ecb29 elementor-widget elementor-widget-text-editor\" data-id=\"f9ecb29\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Nous avons mentionn\u00e9 les op\u00e9rations r\u00e9alis\u00e9es avec Hadoop, mais cet outil est constitu\u00e9 de plusieurs composants. Nous traitons les donn\u00e9es avec les op\u00e9rations de <\/span><b>MapReduce<\/b><span style=\"font-weight: 400;\"> tandis que le composant <\/span><b>Yarn <\/b><span style=\"font-weight: 400;\">sert \u00e0 monitorer les diff\u00e9rentes machines de votre cluster en leur allouant les ressources n\u00e9cessaires. <\/span><b>HDFS <\/b><span style=\"font-weight: 400;\">est con\u00e7u pour le <\/span><b>stockage de fichier<\/b><span style=\"font-weight: 400;\">, comme l&rsquo;indique son nom (<\/span><b>Hadoop Distributed File System <\/b><span style=\"font-weight: 400;\">pour rappel), il s\u2019agit d\u2019un <\/span><b>syst\u00e8me de fichier<\/b><span style=\"font-weight: 400;\">.<\/span><b>\u00a0<\/b><\/p><p><span style=\"font-weight: 400;\">Tout comme pour le syst\u00e8me de fichier de notre syst\u00e8me d\u2019exploitation, <\/span><b>tous les types de fichier <\/b><span style=\"font-weight: 400;\">peuvent \u00eatre organis\u00e9s dans diff\u00e9rents dossiers (<\/span><i><span style=\"font-weight: 400;\">\u00ab\u00a0hierarchical file system\u00a0\u00bb<\/span><\/i><span style=\"font-weight: 400;\">) avec HDFS. Qu\u2019il s\u2019agisse de fichiers \u201cclassiques\u201d comme csv ou json ou bien d\u2019autres types de fichiers utilis\u00e9s pour les t\u00e2ches li\u00e9es au Big Data tel que parquet, avro et orc. Nous ne sommes pas limit\u00e9s comme dans une base de donn\u00e9es relationnelle, il faut plut\u00f4t voir HDFS comme un <\/span><b>Data Lake.<\/b><span style=\"font-weight: 400;\"> Nous y entreposons les donn\u00e9es brutes de notre pipeline de donn\u00e9es, puis nous y faisons des traitements pour les placer dans un <\/span><a href=\"https:\/\/datascientest.com\/data-warehouse\">Data Warehouse<\/a><span style=\"font-weight: 400;\"> ou des <\/span><a href=\"https:\/\/datascientest.com\/bien-choisir-sa-base-de-donnees-typologie\">bases de donn\u00e9es<\/a><b>.<\/b><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-61970ee elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"61970ee\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formation-data-engineer\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Apprendre \u00e0 utiliser Hadoop<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-713cea8 e-flex e-con-boxed e-con\" data-id=\"713cea8\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-5c4f089 elementor-widget elementor-widget-heading\" data-id=\"5c4f089\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Comment fonctionnent les HDFS ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-5ff2857 elementor-widget elementor-widget-text-editor\" data-id=\"5ff2857\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Si on peut le comparer avec un syst\u00e8me de fichier classique d\u2019un syst\u00e8me d\u2019exploitation, il y cependant des diff\u00e9rences au niveau de l\u2019<\/span><b>usage <\/b><span style=\"font-weight: 400;\">et du <\/span><b>stockage<\/b><span style=\"font-weight: 400;\">. En effet, nous sommes dans un cluster de machines, donc comment savoir dans quelle machine du cluster se trouvent nos donn\u00e9es ? Vous l\u2019avez s\u00fbrement devin\u00e9, nous allons employer le Namenode. Pour pouvoir administrer les diff\u00e9rentes machines du cluster, le Namenode doit \u00eatre au courant de l\u2019\u00e9tat de chaque machine, c\u2019est pourquoi nous pouvons y trouver des <\/span><b>m\u00e9tadonn\u00e9es.<\/b><\/p><p><span style=\"font-weight: 400;\">En particulier, nous saurons dans quelles machines les donn\u00e9es sont entrepos\u00e9es. Un autre avantage d\u2019un cluster Hadoop est que nous sommes <\/span><b>\u00ab\u00a0fault tolerant\u00a0\u00bb <\/b><span style=\"font-weight: 400;\">(tol\u00e9rant \u00e0 la panne). En effet, nous avons plusieurs machines \u00e0 notre disposition, de ce fait nous allons pouvoir cr\u00e9er des copies de nos donn\u00e9es et les r\u00e9partir entre les machines. Ainsi, si une machine tombe en panne, nous pouvons toujours avoir acc\u00e8s aux donn\u00e9es. Par ailleurs, les donn\u00e9es ne sont pas r\u00e9parties \u00ab\u00a0<\/span><i><span style=\"font-weight: 400;\">enti\u00e8rement\u00a0\u00bb<\/span><\/i><span style=\"font-weight: 400;\">\u00a0entre les machines, elles sont <\/span><b>segment\u00e9es en blocs. <\/b><span style=\"font-weight: 400;\">Cela permet de se pr\u00e9munir face aux risques de panne des machines en ne perdant que partiellement nos donn\u00e9es.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">Observons le sch\u00e9ma ci-dessous pour bien appr\u00e9hender le stockage des donn\u00e9es dans HDFS :\u00a0 <\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-227dccb elementor-widget elementor-widget-image\" data-id=\"227dccb\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"563\" height=\"460\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/03\/Fichier-103.png\" class=\"attachment-full size-full wp-image-193067\" alt=\"\" srcset=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/03\/Fichier-103.png 563w, https:\/\/datascientest.com\/wp-content\/uploads\/2023\/03\/Fichier-103-300x245.png 300w\" sizes=\"(max-width: 563px) 100vw, 563px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-0060c27 elementor-widget elementor-widget-text-editor\" data-id=\"0060c27\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Comme \u00e9nonc\u00e9 pr\u00e9c\u00e9demment, dans le namenode, nous retrouvons les m\u00e9tadonn\u00e9es de notre fichier: son nom, le nombre de r\u00e9pliques et sa segmentation en blocs, mais d\u2019autres m\u00e9tadonn\u00e9es sont aussi disponibles.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">Ces diff\u00e9rents \u00e9l\u00e9ments nous confirment bien que l\u2019utilisation de HDFS diff\u00e8re d\u2019une utilisation d\u2019un syst\u00e8me de fichier via une interface graphique. En fait, nous l\u2019employons plus dans un aspect de <\/span><b>batch processing<\/b><span style=\"font-weight: 400;\"> et nous acc\u00e8derons \u00e0 nos donn\u00e9es par un lien comme celui-ci \u00ab\u00a0hdfs:\/cluster-ip:XXXX\/\/data\/users.csv\u00a0\u00bb.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-83c40fa e-flex e-con-boxed e-con\" data-id=\"83c40fa\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-18c6e45 elementor-widget elementor-widget-heading\" data-id=\"18c6e45\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Pour aller plus loin<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-ec92eac elementor-widget elementor-widget-text-editor\" data-id=\"ec92eac\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Apr\u00e8s avoir compris comment fonctionnait Hadoop, nous voulons maintenant pratiquer le syst\u00e8me de fichier HDFS et la suite Hadoop. Cependant, il est difficile de l\u2019utiliser en tant que particulier. La premi\u00e8re raison est simplement car nous n\u2019avons pas \u00e0 notre disposition un cluster de machines. La seconde raison est que m\u00eame avec un cluster de machines, il nous reste \u00e0 installer Hadoop dessus et l\u2019utiliser dans des probl\u00e9matiques de <a href=\"https:\/\/datascientest.com\/lessor-des-formations-big-data-a-paris\">Big Data<\/a>, ce qui est rarement n\u00e9cessaire pour un particulier.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">Vous pouvez en apprendre plus sur les diff\u00e9rents composants de l\u2019outil Hadoop en faisant <strong>la formation Data Engineer <\/strong><\/span><span style=\"font-weight: 400;\"><strong>de DataScientest<\/strong>.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-743ee0a elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"743ee0a\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formation-data-engineer\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">D\u00e9couvrir la formation de Data Engineer<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-9046caf elementor-widget elementor-widget-text-editor\" data-id=\"9046caf\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Vous en apprendrez \u00e9galement plus sur son \u00ab\u00a0<\/span><i><span style=\"font-weight: 400;\">rempla\u00e7ant\u00a0\u00bb<\/span><\/i><span style=\"font-weight: 400;\"> : <a href=\"https:\/\/datascientest.com\/apache-spark\">Spark<\/a> <\/span><span style=\"font-weight: 400;\">qui permet de traiter des donn\u00e9es volumineuses bien plus rapidement qu\u2019Hadoop, mais qui ne comporte pas d\u2019aspect stockage, d\u2019o\u00f9 son enseignement aux c\u00f4t\u00e9s de HDFS.\u00a0<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-834c51a e-flex e-con-boxed e-con\" data-id=\"834c51a\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-192d17b elementor-widget elementor-widget-html\" data-id=\"192d17b\" data-element_type=\"widget\" data-widget_type=\"html.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<script type=\"application\/ld+json\">\r\n{\r\n  \"@context\": \"https:\/\/schema.org\",\r\n  \"@type\": \"FAQPage\",\r\n  \"mainEntity\": [{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Comment fonctionnent les HDFS ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Si on peut le comparer avec un syst\u00e8me de fichier classique d\u2019un syst\u00e8me d\u2019exploitation, il y cependant des diff\u00e9rences au niveau de l\u2019usage et du stockage. En effet, nous sommes dans un cluster de machines, donc comment savoir dans quelle machine du cluster se trouvent nos donn\u00e9es ? Vous l\u2019avez s\u00fbrement devin\u00e9, nous allons employer le Namenode. Pour pouvoir administrer les diff\u00e9rentes machines du cluster, le Namenode doit \u00eatre au courant de l\u2019\u00e9tat de chaque machine, c\u2019est pourquoi nous pouvons y trouver des m\u00e9tadonn\u00e9es.\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Quels sont les avantages d'Azure Virtual Desktop\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Pour les utilisateurs finaux, Azure Virtual Desktop offre un acc\u00e8s \u00e0 leur environnement de bureau \u00e0 distance, particuli\u00e8rement adapt\u00e9 \u00e0 l\u2019essor du t\u00e9l\u00e9travail. La connexion au bureau Windows permet \u00e9galement d'acc\u00e9der \u00e0 des applications que les utilisateurs ne pourraient pas installer sur certains appareils.\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Quel est l'int\u00e9r\u00eat d'utiliser les HDFS ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Tout comme pour le syst\u00e8me de fichier de notre syst\u00e8me d\u2019exploitation, tous les types de fichier peuvent \u00eatre organis\u00e9s dans diff\u00e9rents dossiers (\\\"hierarchical file system\\\") avec HDFS. Qu\u2019il s\u2019agisse de fichiers \u201cclassiques\u201d comme csv ou json ou bien d\u2019autres types de fichiers utilis\u00e9s pour les t\u00e2ches li\u00e9es au Big Data tel que parquet, avro et orc. Nous ne sommes pas limit\u00e9s comme dans une base de donn\u00e9es relationnelle, il faut plut\u00f4t voir HDFS comme un Data Lake. Nous y entreposons les donn\u00e9es brutes de notre pipeline de donn\u00e9es, puis nous y faisons des traitements pour les placer dans un Data Warehouse ou des bases de donn\u00e9es.\"\r\n    }\r\n  }]\r\n}\r\n<\/script>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>L\u2019acronyme HDFS symbolise Hadoop Distributed File System. Comme son nom l\u2019indique, HDFS est \u00e9troitement li\u00e9 \u00e0 l\u2019outil Hadoop. \u00c0 quoi sert HDFS ? Quel est le lien entre HDFS et Hadoop ? Comment HDFS fonctionne ? Nous allons r\u00e9pondre \u00e0 toutes ces questions \u00e0 l\u2019aide de cet article. Qu&rsquo;est ce que Hadoop ? Hadoop est [&hellip;]<\/p>\n","protected":false},"author":78,"featured_media":193065,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"content-type":"","inline_featured_image":false},"categories":[2497],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v21.7 (Yoast SEO v21.7) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>HDFS (Hadoop Distributed File System) : Qu&#039;est-ce que c&#039;est ?<\/title>\n<meta name=\"description\" content=\"\u00c0 quoi sert HDFS ? Quel est le lien entre HDFS et Hadoop ? Comment HDFS fonctionne ? Nous allons r\u00e9pondre \u00e0 toutes ces questions \u00e0 l\u2019aide de cet article.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/datascientest.com\/hdfs-tout-savoir\" \/>\n<meta property=\"og:locale\" content=\"fr_FR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"HDFS (Hadoop Distributed File System) : Qu&#039;est-ce que c&#039;est ?\" \/>\n<meta property=\"og:url\" content=\"https:\/\/datascientest.com\/hdfs-tout-savoir\" \/>\n<meta property=\"og:site_name\" content=\"Formation Data Science | DataScientest.com\" \/>\n<meta property=\"article:published_time\" content=\"2023-03-07T11:03:56+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-11-09T13:53:56+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/03\/Illu_BLOG_Hadoop_HDFS.png\" \/>\n\t<meta property=\"og:image:width\" content=\"2134\" \/>\n\t<meta property=\"og:image:height\" content=\"1171\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"J\u00e9r\u00e9my Robert\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"\u00c9crit par\" \/>\n\t<meta name=\"twitter:data1\" content=\"J\u00e9r\u00e9my Robert\" \/>\n\t<meta name=\"twitter:label2\" content=\"Dur\u00e9e de lecture estim\u00e9e\" \/>\n\t<meta name=\"twitter:data2\" content=\"5 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/datascientest.com\/hdfs-tout-savoir\",\"url\":\"https:\/\/datascientest.com\/hdfs-tout-savoir\",\"name\":\"HDFS (Hadoop Distributed File System) : Qu'est-ce que c'est ?\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/#website\"},\"datePublished\":\"2023-03-07T11:03:56+00:00\",\"dateModified\":\"2023-11-09T13:53:56+00:00\",\"author\":{\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/7af2361c48e24e79a8aa2360e6e74925\"},\"description\":\"\u00c0 quoi sert HDFS ? Quel est le lien entre HDFS et Hadoop ? Comment HDFS fonctionne ? Nous allons r\u00e9pondre \u00e0 toutes ces questions \u00e0 l\u2019aide de cet article.\",\"inLanguage\":\"fr-FR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/datascientest.com\/hdfs-tout-savoir\"]}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/datascientest.com\/#website\",\"url\":\"https:\/\/datascientest.com\/\",\"name\":\"Formation Data Science | DataScientest.com\",\"description\":\"Leader de la formation en Data Science\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/datascientest.com\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"fr-FR\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/7af2361c48e24e79a8aa2360e6e74925\",\"name\":\"J\u00e9r\u00e9my Robert\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/jeremyrobert.jpeg\",\"contentUrl\":\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/jeremyrobert.jpeg\",\"caption\":\"J\u00e9r\u00e9my Robert\"},\"description\":\"J\u00e9r\u00e9my Robert est actuellement Directeur p\u00e9dagogique B2B chez DataScientest.com. Avant de rejoindre DataScientest, il a travaill\u00e9 en tant que Consultant Business Intelligence chez DEAPDATA, o\u00f9 il a g\u00e9r\u00e9 des projets dans les domaines de l'assurance, bancaire et industrie. Il a \u00e9galement \u00e9t\u00e9 Co-fondateur et pr\u00e9sident de Tripzer. En tant que consultant ind\u00e9pendant, J\u00e9r\u00e9my a propos\u00e9 des formations sur MicroStrategy pour divers niveaux professionnels. Il est dipl\u00f4m\u00e9 de l'Universit\u00e9 Paris Cit\u00e9 avec un Master MIAGE, combinant comp\u00e9tences en informatique et gestion.\",\"sameAs\":[\"https:\/\/www.linkedin.com\/in\/jeremyrobert1\/\",\"Data Science\"],\"url\":\"https:\/\/datascientest.com\/author\/jeremyrobert\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"HDFS (Hadoop Distributed File System) : Qu'est-ce que c'est ?","description":"\u00c0 quoi sert HDFS ? Quel est le lien entre HDFS et Hadoop ? Comment HDFS fonctionne ? Nous allons r\u00e9pondre \u00e0 toutes ces questions \u00e0 l\u2019aide de cet article.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/datascientest.com\/hdfs-tout-savoir","og_locale":"fr_FR","og_type":"article","og_title":"HDFS (Hadoop Distributed File System) : Qu'est-ce que c'est ?","og_url":"https:\/\/datascientest.com\/hdfs-tout-savoir","og_site_name":"Formation Data Science | DataScientest.com","article_published_time":"2023-03-07T11:03:56+00:00","article_modified_time":"2023-11-09T13:53:56+00:00","og_image":[{"width":2134,"height":1171,"url":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/03\/Illu_BLOG_Hadoop_HDFS.png","type":"image\/png"}],"author":"J\u00e9r\u00e9my Robert","twitter_card":"summary_large_image","twitter_misc":{"\u00c9crit par":"J\u00e9r\u00e9my Robert","Dur\u00e9e de lecture estim\u00e9e":"5 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/datascientest.com\/hdfs-tout-savoir","url":"https:\/\/datascientest.com\/hdfs-tout-savoir","name":"HDFS (Hadoop Distributed File System) : Qu'est-ce que c'est ?","isPartOf":{"@id":"https:\/\/datascientest.com\/#website"},"datePublished":"2023-03-07T11:03:56+00:00","dateModified":"2023-11-09T13:53:56+00:00","author":{"@id":"https:\/\/datascientest.com\/#\/schema\/person\/7af2361c48e24e79a8aa2360e6e74925"},"description":"\u00c0 quoi sert HDFS ? Quel est le lien entre HDFS et Hadoop ? Comment HDFS fonctionne ? Nous allons r\u00e9pondre \u00e0 toutes ces questions \u00e0 l\u2019aide de cet article.","inLanguage":"fr-FR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/datascientest.com\/hdfs-tout-savoir"]}]},{"@type":"WebSite","@id":"https:\/\/datascientest.com\/#website","url":"https:\/\/datascientest.com\/","name":"Formation Data Science | DataScientest.com","description":"Leader de la formation en Data Science","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/datascientest.com\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"fr-FR"},{"@type":"Person","@id":"https:\/\/datascientest.com\/#\/schema\/person\/7af2361c48e24e79a8aa2360e6e74925","name":"J\u00e9r\u00e9my Robert","image":{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/datascientest.com\/#\/schema\/person\/image\/","url":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/jeremyrobert.jpeg","contentUrl":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/jeremyrobert.jpeg","caption":"J\u00e9r\u00e9my Robert"},"description":"J\u00e9r\u00e9my Robert est actuellement Directeur p\u00e9dagogique B2B chez DataScientest.com. Avant de rejoindre DataScientest, il a travaill\u00e9 en tant que Consultant Business Intelligence chez DEAPDATA, o\u00f9 il a g\u00e9r\u00e9 des projets dans les domaines de l'assurance, bancaire et industrie. Il a \u00e9galement \u00e9t\u00e9 Co-fondateur et pr\u00e9sident de Tripzer. En tant que consultant ind\u00e9pendant, J\u00e9r\u00e9my a propos\u00e9 des formations sur MicroStrategy pour divers niveaux professionnels. Il est dipl\u00f4m\u00e9 de l'Universit\u00e9 Paris Cit\u00e9 avec un Master MIAGE, combinant comp\u00e9tences en informatique et gestion.","sameAs":["https:\/\/www.linkedin.com\/in\/jeremyrobert1\/","Data Science"],"url":"https:\/\/datascientest.com\/author\/jeremyrobert"}]}},"_links":{"self":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts\/192243"}],"collection":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/users\/78"}],"replies":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/comments?post=192243"}],"version-history":[{"count":0,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts\/192243\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/media\/193065"}],"wp:attachment":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/media?parent=192243"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/categories?post=192243"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/tags?post=192243"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}