{"id":52797,"date":"2021-03-18T11:47:18","date_gmt":"2021-03-18T10:47:18","guid":{"rendered":"https:\/\/datascientest.com\/?p=52797"},"modified":"2024-09-22T21:17:45","modified_gmt":"2024-09-22T21:17:45","slug":"hadoop","status":"publish","type":"post","link":"https:\/\/datascientest.com\/hadoop","title":{"rendered":"Hadoop : qu&rsquo;est-ce que c&rsquo;est et comment apprendre \u00e0 l&rsquo;utiliser ?"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"52797\" class=\"elementor elementor-52797\" data-elementor-post-type=\"post\">\n\t\t\t\t\t\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-98e5c9a elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"98e5c9a\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-3a89b7a\" data-id=\"3a89b7a\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-241e661 elementor-widget elementor-widget-heading\" data-id=\"241e661\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-heading-title{padding:0;margin:0;line-height:1}.elementor-widget-heading .elementor-heading-title[class*=elementor-size-]>a{color:inherit;font-size:inherit;line-height:inherit}.elementor-widget-heading .elementor-heading-title.elementor-size-small{font-size:15px}.elementor-widget-heading .elementor-heading-title.elementor-size-medium{font-size:19px}.elementor-widget-heading .elementor-heading-title.elementor-size-large{font-size:29px}.elementor-widget-heading .elementor-heading-title.elementor-size-xl{font-size:39px}.elementor-widget-heading .elementor-heading-title.elementor-size-xxl{font-size:59px}<\/style><h2 class=\"elementor-heading-title elementor-size-default\">Hadoop est un framework Open Source d\u00e9di\u00e9 au stockage et au traitement du Big Data. D\u00e9couvrez tout ce que vous devez savoir : d\u00e9finition, histoire, fonctionnement, avantages, formations...<\/h2>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-f46797e elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"f46797e\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-a45dd33\" data-id=\"a45dd33\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-8078d66 elementor-widget elementor-widget-text-editor\" data-id=\"8078d66\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-text-editor.elementor-drop-cap-view-stacked .elementor-drop-cap{background-color:#69727d;color:#fff}.elementor-widget-text-editor.elementor-drop-cap-view-framed .elementor-drop-cap{color:#69727d;border:3px solid;background-color:transparent}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap{margin-top:8px}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap-letter{width:1em;height:1em}.elementor-widget-text-editor .elementor-drop-cap{float:left;text-align:center;line-height:1;font-size:50px}.elementor-widget-text-editor .elementor-drop-cap-letter{display:inline-block}<\/style>\t\t\t\t<p>Durant plusieurs d\u00e9cennies, les entreprises stockaient principalement leurs donn\u00e9es sur des <strong>bases de donn\u00e9es relationnelles<\/strong> (RDBMS) afin de les stocker et d&rsquo;effectuer des requ\u00eates. Toutefois, ce type de base de donn\u00e9es ne permet pas de stocker les donn\u00e9es non structur\u00e9es et n&rsquo;est <strong>pas non plus adapt\u00e9 aux vastes volumes du Big Data<\/strong>.<\/p><p>En effet, la digitalisation et l&rsquo;apparition de <strong>nombreuses technologies comme l&rsquo;IoT et les smartphones<\/strong> ont provoqu\u00e9 une explosion du volume de donn\u00e9es brutes. Face \u00e0 cette r\u00e9volution, de nouvelles technologies sont n\u00e9cessaires pour le stockage et le traitement de donn\u00e9es. Le <strong>framework logiciel Hadoop<\/strong> permet de r\u00e9pondre \u00e0 ces contraintes nouvelles.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-210c02d elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"210c02d\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-9aa5022\" data-id=\"9aa5022\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-d5e5b2e elementor-widget elementor-widget-heading\" data-id=\"d5e5b2e\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Qu'est-ce que Hadoop ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-c29e318 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"c29e318\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-7ebec4f\" data-id=\"7ebec4f\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-fbc317a elementor-widget elementor-widget-text-editor\" data-id=\"fbc317a\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Hadoop est <strong>un framework logiciel<\/strong> d\u00e9di\u00e9 au stockage et au traitement de larges volumes de donn\u00e9es. Il s&rsquo;agit d&rsquo;un projet open source, sponsoris\u00e9 par la fondation <strong><a href=\"https:\/\/www.apache.org\/\">Apache Software Foundation<\/a><\/strong>.<\/p><p>Il ne s&rsquo;agit pas d&rsquo;un produit \u00e0 proprement parler, mais d&rsquo;un framework regroupant<strong> des instructions pour le stockage et le traitement<\/strong> de donn\u00e9es distribu\u00e9es. Diff\u00e9rents \u00e9diteurs de logiciels ont utilis\u00e9 Hadoop pour cr\u00e9er des produits commerciaux de gestion Big Data.<\/p><p>Les syst\u00e8mes de donn\u00e9es Hadoop ne sont <strong>pas limit\u00e9s en termes d&rsquo;\u00e9chelle<\/strong>, ce qui signifie qu&rsquo;il est possible d&rsquo;ajouter davantage de hardware et de clusters pour supporter une charge plus lourde sans passer par une reconfiguration ou l&rsquo;achat de licences logicielles on\u00e9reuses.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-23e49ce elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"23e49ce\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-210b940\" data-id=\"210b940\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-0f4447e elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"0f4447e\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formation-data-engineer\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Apprendre \u00e0 utiliser Hadoop<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-cd4337c elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"cd4337c\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-2fe49b2\" data-id=\"2fe49b2\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-fccd1dc elementor-widget elementor-widget-heading\" data-id=\"fccd1dc\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">L'histoire de Hadoop<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-bf6c19c elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"bf6c19c\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-695ac92\" data-id=\"695ac92\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-8bb6519 elementor-widget elementor-widget-video\" data-id=\"8bb6519\" data-element_type=\"widget\" data-settings=\"{&quot;youtube_url&quot;:&quot;https:\\\/\\\/www.youtube.com\\\/watch?v=eRgFNW4QFDc&quot;,&quot;video_type&quot;:&quot;youtube&quot;,&quot;controls&quot;:&quot;yes&quot;}\" data-widget_type=\"video.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-video .elementor-widget-container{overflow:hidden;transform:translateZ(0)}.elementor-widget-video .elementor-wrapper{aspect-ratio:var(--video-aspect-ratio)}.elementor-widget-video .elementor-wrapper iframe,.elementor-widget-video .elementor-wrapper video{height:100%;width:100%;display:flex;border:none;background-color:#000}@supports not (aspect-ratio:1\/1){.elementor-widget-video .elementor-wrapper{position:relative;overflow:hidden;height:0;padding-bottom:calc(100% \/ var(--video-aspect-ratio))}.elementor-widget-video .elementor-wrapper iframe,.elementor-widget-video .elementor-wrapper video{position:absolute;top:0;right:0;bottom:0;left:0}}.elementor-widget-video .elementor-open-inline .elementor-custom-embed-image-overlay{position:absolute;top:0;right:0;bottom:0;left:0;background-size:cover;background-position:50%}.elementor-widget-video .elementor-custom-embed-image-overlay{cursor:pointer;text-align:center}.elementor-widget-video .elementor-custom-embed-image-overlay:hover .elementor-custom-embed-play i{opacity:1}.elementor-widget-video .elementor-custom-embed-image-overlay img{display:block;width:100%;aspect-ratio:var(--video-aspect-ratio);-o-object-fit:cover;object-fit:cover;-o-object-position:center center;object-position:center center}@supports not (aspect-ratio:1\/1){.elementor-widget-video .elementor-custom-embed-image-overlay{position:relative;overflow:hidden;height:0;padding-bottom:calc(100% \/ var(--video-aspect-ratio))}.elementor-widget-video .elementor-custom-embed-image-overlay img{position:absolute;top:0;right:0;bottom:0;left:0}}.elementor-widget-video .e-hosted-video .elementor-video{-o-object-fit:cover;object-fit:cover}.e-con-inner>.elementor-widget-video,.e-con>.elementor-widget-video{width:var(--container-widget-width);--flex-grow:var(--container-widget-flex-grow)}<\/style>\t\t<div class=\"elementor-wrapper elementor-open-inline\">\n\t\t\t<div class=\"elementor-video\"><\/div>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-44bf3d5 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"44bf3d5\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-dba6754\" data-id=\"dba6754\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-47dc4dd elementor-widget elementor-widget-text-editor\" data-id=\"47dc4dd\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>L&rsquo;origine de Hadoop est \u00e9troitement li\u00e9e \u00e0 <strong>la croissance exponentielle du \u00a0\u00bb World Wide Web \u00ab\u00a0<\/strong> au fil de la pr\u00e9c\u00e9dente d\u00e9cennie. La toile s&rsquo;est agrandie, et rassemble d\u00e9sormais plusieurs milliards de pages. Par cons\u00e9quent, il est devenu difficile de chercher efficacement des informations.<\/p><p>Nous <strong>sommes entr\u00e9s dans l&rsquo;\u00e8re du Big Data<\/strong>. Il est devenu plus complexe de stocker des informations de fa\u00e7on efficace pour les retrouver facilement, et de traiter les donn\u00e9es apr\u00e8s les avoir stock\u00e9es.<\/p><p>Pour rem\u00e9dier \u00e0 ce probl\u00e8me, <strong>de nombreux projets open source<\/strong> ont \u00e9t\u00e9 d\u00e9velopp\u00e9s. L&rsquo;objectif \u00e9tait de proposer plus rapidement les r\u00e9sultats de recherche sur le web. L&rsquo;une des solutions adopt\u00e9es \u00e9tait de distribuer les donn\u00e9es et les calculs sur une grappe de serveurs pour permettre le traitement simultan\u00e9.<\/p><p>C&rsquo;est ainsi qu&rsquo;Hadoop a vu le jour. En 2002, Doug Cutting et Mike Caferella de Google travaillaient sur <strong>le projet de web crawler open source <a href=\"http:\/\/nutch.apache.org\/\">Apache Nutch<\/a><\/strong>. Ils ont \u00e9t\u00e9 confront\u00e9s \u00e0 des difficult\u00e9s pour stocker les donn\u00e9es, et les co\u00fbts \u00e9taient extr\u00eamement \u00e9lev\u00e9s.<\/p><p>En 2003, <strong>Google pr\u00e9sente son syst\u00e8me fichier GFS : Google File System<\/strong>. Il s&rsquo;agit d&rsquo;un syst\u00e8me fichier distribu\u00e9 con\u00e7u pour fournir un acc\u00e8s efficace aux donn\u00e9es. La firme am\u00e9ricaine publie en 2004 un livre blanc sur Map Reduce, l&rsquo;algorithme permettant de simplifier le traitement de donn\u00e9es sur de larges clusters. Ces publications de Google ont fortement influenc\u00e9 la gen\u00e8se de Hadoop.<\/p><p>Par la suite en 2005, Cutting et Cafarella d\u00e9voilent leur nouveau syst\u00e8me fichier NDFS (Nutch Distributed File System) incluant aussi Map Reduce. Lorsqu&rsquo;il quitte Google pour joindre Yahoo en 2006, Doug Cutting se base sur le projet Nutch pour lancer Hadoop (dont <strong>le nom est inspir\u00e9 par un \u00e9l\u00e9phant en peluche<\/strong> du fils de Cutting) et son syst\u00e8me fichier HDFS. La version 0.1.0 est relax\u00e9e.<\/p><p>Par la suite, Hadoop ne cesse de se d\u00e9velopper. Il devient en 2008 le syst\u00e8me le plus rapide \u00e0 trier un terabyte de donn\u00e9es sur un cluster de 900 noeuds en seulement 209 secondes. La version 2.2 est lanc\u00e9e en 2013, et<strong> la version 3.0 en 2017<\/strong>.<\/p><p>En plus de ses performances pour le Big Data, <strong>ce framework a apport\u00e9 de nombreux avantages<\/strong> inattendus. Il a notamment fait chuter le co\u00fbt du d\u00e9ploiement de serveurs.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-6d9aa0b elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"6d9aa0b\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-68f6145\" data-id=\"68f6145\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-5f109d0 elementor-widget elementor-widget-heading\" data-id=\"5f109d0\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Quels sont les quatre modules de Apache Hadoop ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-218bd8d elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"218bd8d\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-ca11ff4\" data-id=\"ca11ff4\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-1ab36a3 elementor-widget elementor-widget-video\" data-id=\"1ab36a3\" data-element_type=\"widget\" data-settings=\"{&quot;youtube_url&quot;:&quot;https:\\\/\\\/youtu.be\\\/NeqC6t1J1dw&quot;,&quot;video_type&quot;:&quot;youtube&quot;,&quot;controls&quot;:&quot;yes&quot;}\" data-widget_type=\"video.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-wrapper elementor-open-inline\">\n\t\t\t<div class=\"elementor-video\"><\/div>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-1bc4fd5 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"1bc4fd5\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-3ba95b5\" data-id=\"3ba95b5\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-e86a101 elementor-widget elementor-widget-text-editor\" data-id=\"e86a101\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Apache Hadoop repose sur quatre principaux modules. Tout d&rsquo;abord, <strong>le Hadoop Distributed File System (HDFS)<\/strong> est utilis\u00e9 pour le stockage de donn\u00e9es. Il est comparable \u00e0 un syst\u00e8me de fichier local sur un ordinateur classique.<\/p><p>Toutefois, ses performances sont nettement sup\u00e9rieures. Le HDFS d\u00e9livre par ailleurs <strong>une excellente \u00e9lasticit\u00e9<\/strong>. Il est possible de passer d&rsquo;une machine unique \u00e0 plusieurs milliers d&rsquo;entre elles tr\u00e8s facilement.<\/p><p>Le second composant est<strong> le YARN (Yet Another Resource Negotiator)<\/strong>. Comme son nom l&rsquo;indique, il s&rsquo;agit d&rsquo;un n\u00e9gociateur de ressources. Il permet de planifier des t\u00e2ches, de g\u00e9rer les ressources et de surveiller les noeuds de clusters et les autres ressources.<\/p><p>De son c\u00f4t\u00e9, <strong>le module Hadoop MapReduce<\/strong> aide les programmes \u00e0 effectuer des calculs parall\u00e8les. La t\u00e2che Map convertit les donn\u00e9es en paires cl\u00e9s-valeurs. La t\u00e2che Reduce consomme les donn\u00e9es d&rsquo;entr\u00e9e, les agr\u00e8ge et produit le r\u00e9sultat.<\/p><p>Le <strong>dernier module est Hadoop Common<\/strong>. Il utilise des biblioth\u00e8ques Java standards entre chaque module.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-8b1f859 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"8b1f859\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-a29dcde\" data-id=\"a29dcde\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-bf5b725 elementor-widget elementor-widget-heading\" data-id=\"bf5b725\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Comment Hadoop permet le traitement du Big Data ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-10533e3 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"10533e3\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-fd100ec\" data-id=\"fd100ec\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-75698aa elementor-widget elementor-widget-video\" data-id=\"75698aa\" data-element_type=\"widget\" data-settings=\"{&quot;youtube_url&quot;:&quot;https:\\\/\\\/www.youtube.com\\\/watch?v=AZovvBgRLIY&quot;,&quot;video_type&quot;:&quot;youtube&quot;,&quot;controls&quot;:&quot;yes&quot;}\" data-widget_type=\"video.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-wrapper elementor-open-inline\">\n\t\t\t<div class=\"elementor-video\"><\/div>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-e57dd43 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"e57dd43\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-0e0a4a0\" data-id=\"0e0a4a0\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-01bb5df elementor-widget elementor-widget-text-editor\" data-id=\"01bb5df\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Le traitement du Big Data par Hadoop repose sur l&rsquo;utilisation de <strong>la capacit\u00e9 de stockage et de traitement distribu\u00e9<\/strong> de clusters. Il s&rsquo;agit d&rsquo;une base pour la cr\u00e9ation d&rsquo;applications Big Data.<\/p><p>Les applications peuvent <strong>collecter des donn\u00e9es de diff\u00e9rents formats<\/strong> et les stocker dans le cluster Hadoop par le biais d&rsquo;une API se connectant au NameNode. Le NameNode capture la structure du dossier de fichiers, et r\u00e9plique des morceaux entre les diff\u00e9rents DataNodes pour le traitement parall\u00e8le.<\/p><p>Les <strong>requ\u00eates de donn\u00e9es sont effectu\u00e9es par MapReduce<\/strong>, qui r\u00e9pertorie aussi tous les DataNodes et r\u00e9duit les t\u00e2ches li\u00e9es aux donn\u00e9es dans le HDFS. Les t\u00e2ches Map sont effectu\u00e9es sur chaque noeud, et les r\u00e9ducteurs sont ex\u00e9cut\u00e9s pour lier les donn\u00e9es et organiser le r\u00e9sultat final.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-3480c0d elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"3480c0d\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-20d8398\" data-id=\"20d8398\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-6b21ffd elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"6b21ffd\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formation-data-engineer\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Apprendre \u00e0 maitriser Apache Hadoop<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-f7e94bf elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"f7e94bf\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-55949fa\" data-id=\"55949fa\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-5d247ed elementor-widget elementor-widget-heading\" data-id=\"5d247ed\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Quels sont les diff\u00e9rents outils de l'\u00e9cosyst\u00e8me Hadoop ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-c4059ba elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"c4059ba\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-1bdea82\" data-id=\"1bdea82\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-f8e5faf elementor-widget elementor-widget-image\" data-id=\"f8e5faf\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-image{text-align:center}.elementor-widget-image a{display:inline-block}.elementor-widget-image a img[src$=\".svg\"]{width:48px}.elementor-widget-image img{vertical-align:middle;display:inline-block}<\/style>\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"800\" height=\"439\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2021\/03\/schema_hadoop-116-1024x562.png\" class=\"attachment-large size-large wp-image-63439\" alt=\"hadoop\" srcset=\"https:\/\/datascientest.com\/wp-content\/uploads\/2021\/03\/schema_hadoop-116-1024x562.png 1024w, https:\/\/datascientest.com\/wp-content\/uploads\/2021\/03\/schema_hadoop-116-300x165.png 300w, https:\/\/datascientest.com\/wp-content\/uploads\/2021\/03\/schema_hadoop-116-768x422.png 768w, https:\/\/datascientest.com\/wp-content\/uploads\/2021\/03\/schema_hadoop-116-1536x843.png 1536w, https:\/\/datascientest.com\/wp-content\/uploads\/2021\/03\/schema_hadoop-116-2048x1124.png 2048w\" sizes=\"(max-width: 800px) 100vw, 800px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-2afa238 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"2afa238\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-162179d\" data-id=\"162179d\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-a60a26e elementor-widget elementor-widget-text-editor\" data-id=\"a60a26e\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>L&rsquo;\u00e9cosyst\u00e8me Hadoop regroupe <strong>une large vari\u00e9t\u00e9 d&rsquo;outils Big Data open source<\/strong>. Ces divers outils compl\u00e9mentent Hadoop et am\u00e9liorent sa capacit\u00e9 de traitement Big Data.<\/p><p>Parmi les plus populaires, <strong>Apache Hive <\/strong>est une <strong><a href=\"https:\/\/datascientest.com\/data-warehouse\">Data Warehouse<\/a><\/strong> d\u00e9di\u00e9e au traitement de larges ensembles de donn\u00e9es stock\u00e9s dans le HDFS. L&rsquo;outil Zookeeper automatise les basculements et r\u00e9duit l&rsquo;impact d&rsquo;une panne de NameNode.<\/p><p>De son c\u00f4t\u00e9,<strong> HBase est une base de donn\u00e9es non relationnelle<\/strong> pour Hadoop. Le service distribu\u00e9 Apache Flume permet le streaming de donn\u00e9es de larges quantit\u00e9s de donn\u00e9es de log.<\/p><p>Citons aussi <strong>Apache Sqoop, un outil de ligne de commande<\/strong> permettant la migration de donn\u00e9es entre Hadoop et les bases de donn\u00e9es relationnelles. La plateforme de d\u00e9veloppement Apache Pig permet le d\u00e9veloppement de jobs \u00e0 ex\u00e9cuter sur Hadoop.<\/p><p>Le <strong>syst\u00e8me de planification Apache Oozie<\/strong> facilite la gestion des jobs Hadoop. Enfin, HCatalog est un outil de gestion de tableau pour trier les donn\u00e9es en provenance de divers syst\u00e8mes de traitement.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-7805403 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"7805403\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-a93f859\" data-id=\"a93f859\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-aa876c6 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"aa876c6\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formation-data-engineer\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">D\u00e9couvrir l'\u00e9cosyst\u00e8me Hadoop<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-1a5e595 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"1a5e595\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-eec793f\" data-id=\"eec793f\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-88b8865 elementor-widget elementor-widget-heading\" data-id=\"88b8865\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Quels sont les avantages de Hadoop ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-ddbdc00 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"ddbdc00\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-15baeef\" data-id=\"15baeef\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-34debd5 elementor-widget elementor-widget-text-editor\" data-id=\"34debd5\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Les avantages de Hadoop sont nombreux. Ce framework permet tout d&rsquo;abord <strong>un stockage et un traitement plus rapides<\/strong> de vastes volumes de donn\u00e9es. Il s&rsquo;agit d&rsquo;un pr\u00e9cieux atout \u00e0 l&rsquo;\u00e8re des r\u00e9seaux sociaux et de l&rsquo;Internet des Objets.<\/p><p>Par ailleurs, <strong>Hadoop offre une flexibilit\u00e9<\/strong> permettant de stocker des donn\u00e9es non structur\u00e9es en tout genre telles que des textes, des symboles, des images ou des vid\u00e9os. Contrairement \u00e0 une base de donn\u00e9es relationnelle traditionnelle, les donn\u00e9es peuvent \u00eatre stock\u00e9es sans \u00eatre trait\u00e9es au pr\u00e9alable. Le fonctionnement est donc comparable \u00e0 une base de donn\u00e9es NoSQL.<\/p><p>En outre, Hadoop apporte aussi une importante puissance de traitement. Son <strong>mod\u00e8le de calcul distribu\u00e9<\/strong> offre performances et efficacit\u00e9.<\/p><p>Ce framework open source permet aussi de s&rsquo;attaquer au Big Data \u00e0 moindre co\u00fbt, puisqu&rsquo;il peut \u00eatre utilis\u00e9 gratuitement et librement. Il repose par ailleurs sur du hardware tr\u00e8s commun pour stocker les donn\u00e9es.<\/p><p>Un<strong> autre avantage majeur est l&rsquo;\u00e9lasticit\u00e9<\/strong>. Il suffit de changer le nombre de noeuds dans un cluster pour \u00e9tendre ou r\u00e9duire le syst\u00e8me.<\/p><p>Enfin, Hadoop ne d\u00e9pend pas du hardware pour pr\u00e9server la disponibilit\u00e9 des donn\u00e9es. Ces derni\u00e8res sont automatiquement copi\u00e9es plusieurs fois sur diff\u00e9rents noeuds du cluster. Si un appareil tombe en panne, le syst\u00e8me redirige automatiquement la t\u00e2che vers un autre. Le framework est donc tol\u00e9rant aux pannes et aux erreurs.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-e4bdf5f elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"e4bdf5f\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-8c11dda\" data-id=\"8c11dda\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-a328154 elementor-widget elementor-widget-heading\" data-id=\"a328154\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Quels sont les points faibles de Hadoop ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-a86440f elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"a86440f\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-9c0e5b6\" data-id=\"9c0e5b6\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-74c7700 elementor-widget elementor-widget-text-editor\" data-id=\"74c7700\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Malgr\u00e9 tous ses points forts, Hadoop pr\u00e9sente aussi des faiblesses. Tout d&rsquo;abord, <strong>l&rsquo;algorithme MapReduce n&rsquo;est pas toujours ad\u00e9quat<\/strong>. Il convient pour les requ\u00eates d&rsquo;informations les plus simples, mais pas pour les t\u00e2ches it\u00e9ratives. Il n&rsquo;est pas non plus efficace pour le calcul analytique avanc\u00e9, puisque les algorithmes it\u00e9ratifs requi\u00e8rent une intercommunication intensive.<\/p><p>Pour <a href=\"https:\/\/datascientest.com\/data-management-tout-savoir\" target=\"_blank\" rel=\"noopener\">le Data Management<\/a>, les m\u00e9tadonn\u00e9es et la gouvernance de donn\u00e9es, Hadoop n&rsquo;offre pas d&rsquo;outils adapt\u00e9s et compr\u00e9hensibles. On d\u00e9plore aussi <strong>le manque d&rsquo;outils pour la standardisation des donn\u00e9es<\/strong> et la d\u00e9termination de qualit\u00e9.<\/p><p>Un autre probl\u00e8me est <strong>qu&rsquo;Hadoop est difficile \u00e0 ma\u00eetriser<\/strong>. Il y a donc peu de programmeurs suffisamment comp\u00e9tents pour utiliser MapReduce. C&rsquo;est la raison pour laquelle beaucoup de fournisseurs ajoutent une technologie de base de donn\u00e9es SQL par dessus Hadoop. Les programmeurs ma\u00eetrisant SQL sont nettement plus nombreux.<\/p><p>Dernier point faible :<strong> la s\u00e9curit\u00e9 des donn\u00e9es<\/strong>. Le protocole d&rsquo;authentification Kerberos aide toutefois \u00e0 s\u00e9curiser les environnements Hadoop.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-3841b19 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"3841b19\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-78789e8\" data-id=\"78789e8\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-736f70e elementor-widget elementor-widget-heading\" data-id=\"736f70e\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Quels sont les cas d'usage de Hadoop ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-3eb85a7 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"3eb85a7\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-2c17677\" data-id=\"2c17677\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-2c37fe2 elementor-widget elementor-widget-text-editor\" data-id=\"2c37fe2\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Hadoop offre <strong>de multiples possibilit\u00e9s<\/strong>. L&rsquo;un de ses principaux cas d&rsquo;usage est le traitement du Big Data. Ce framework est en effet adapt\u00e9 pour le traitement de vastes volumes de donn\u00e9es, de l&rsquo;ordre de plusieurs petabytes.<\/p><p>De tels volumes d&rsquo;informations requi\u00e8rent<strong> \u00e9norm\u00e9ment de puissance de traitement<\/strong>, et Hadoop est la solution ad\u00e9quate. Une entreprise devant traiter de plus petits volumes, de l&rsquo;ordre de quelques centaines de gigabytes, pourra en revanche se contenter d&rsquo;une solution alternative.<\/p><p>Un autre cas d&rsquo;usage majeur de Hadoop est <strong>le stockage de donn\u00e9es diverses<\/strong>. La flexibilit\u00e9 de ce framework permet de prendre en charge de nombreux types de donn\u00e9es diff\u00e9rents. Il est possible de stocker des textes, des images, ou m\u00eame des vid\u00e9os. La nature du traitement de donn\u00e9es peut \u00eatre s\u00e9lectionn\u00e9e en fonction des besoins. On retrouve ainsi la flexibilit\u00e9 d&rsquo;un <strong><a href=\"https:\/\/datascientest.com\/data-lake-tout-savoir\">Data Lake<\/a><\/strong>.<\/p><p>En outre, Hadoop est utilis\u00e9 pour<strong> le traitement parall\u00e8le des donn\u00e9es<\/strong>. L&rsquo;algorithme MapReduce permet d&rsquo;orchestrer le traitement parall\u00e8le des donn\u00e9es stock\u00e9es. Cela signifie que plusieurs t\u00e2ches peuvent \u00eatre effectu\u00e9es simultan\u00e9ment.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-1a3c8a6 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"1a3c8a6\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-d4f052d\" data-id=\"d4f052d\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-ef41d8f elementor-widget elementor-widget-heading\" data-id=\"ef41d8f\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Comment les entreprises utilisent-elles Hadoop ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-8fd3584 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"8fd3584\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-6b5c857\" data-id=\"6b5c857\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-c5277ce elementor-widget elementor-widget-video\" data-id=\"c5277ce\" data-element_type=\"widget\" data-settings=\"{&quot;youtube_url&quot;:&quot;https:\\\/\\\/www.youtube.com\\\/watch?v=AdOBnCb8Xbg&quot;,&quot;video_type&quot;:&quot;youtube&quot;,&quot;controls&quot;:&quot;yes&quot;}\" data-widget_type=\"video.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-wrapper elementor-open-inline\">\n\t\t\t<div class=\"elementor-video\"><\/div>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-9205a35 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"9205a35\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-2b417a8\" data-id=\"2b417a8\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-54f38c6 elementor-widget elementor-widget-text-editor\" data-id=\"54f38c6\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Des entreprises de toutes les industries utilisent Hadoop pour<strong> le traitement du Big Data<\/strong>. Le framework permet par exemple de comprendre les besoins et les attentes des clients.<\/p><p>De grandes entreprises des industries de la finance et des r\u00e9seaux sociaux utilisent cette technologie pour c<strong>omprendre les attentes des consommateurs<\/strong> en analysant le Big Data sur leur activit\u00e9, sur leur comportement.<\/p><p>\u00c0 partir de ces donn\u00e9es, il est possible de <strong>proposer des offres personnalis\u00e9es<\/strong> aux clients. C&rsquo;est tout le principe de la publicit\u00e9 cibl\u00e9e sur les r\u00e9seaux sociaux ou des moteurs de recommandation sur les plateformes de e-commerce.<\/p><p>Par ailleurs, Hadoop permet aussi <strong>d&rsquo;optimiser les processus de l&rsquo;entreprise<\/strong>. \u00c0 partir des donn\u00e9es de transaction et celles des clients, l&rsquo;analyse de tendance et l&rsquo;analyse pr\u00e9dictive aide les entreprises \u00e0 personnaliser leurs produits et leurs stocks pour accro\u00eetre les ventes.<\/p><p>Ceci permet de <strong>prendre de meilleures d\u00e9cisions<\/strong> et g\u00e9n\u00e9rer des profits plus importants. En analysant les donn\u00e9es sur le comportement et les interactions des employ\u00e9s, il est aussi possible d&rsquo;am\u00e9liorer l&rsquo;environnement de travail.<\/p><p>Dans <strong>l&rsquo;industrie de la sant\u00e9<\/strong>, les institutions m\u00e9dicales peuvent utiliser Hadoop pour surveiller la vaste quantit\u00e9 de donn\u00e9es li\u00e9es aux probl\u00e8mes de sant\u00e9 et aux r\u00e9sultats des traitements m\u00e9dicaux. Les chercheurs peuvent analyser ces donn\u00e9es afin d&rsquo;identifier des probl\u00e8mes de sant\u00e9 et choisir des traitements ad\u00e9quats.<\/p><p>Les <strong>traders et le monde de la finance<\/strong> utilisent aussi Hadoop. Son algorithme permet de scanner les donn\u00e9es de march\u00e9 pour identifier des opportunit\u00e9s et des tendances saisonni\u00e8res. Les entreprises de la finance peuvent automatiser les op\u00e9rations gr\u00e2ce au framework.<\/p><p>Par ailleurs,<strong> Hadoop est utilis\u00e9 pour l&rsquo;Internet des Objets<\/strong>. Ces appareils requi\u00e8rent des donn\u00e9es pour fonctionner correctement. Les fabricants utilisent donc Hadoop en guise de Data Warehouse pour stocker les milliards de transactions enregistr\u00e9es par l&rsquo;IoT. Le streaming de donn\u00e9es peut ainsi \u00eatre g\u00e9r\u00e9 correctement.<\/p><p>Il ne s&rsquo;agit l\u00e0 que de quelques exemples. En outre, Hadoop est utilis\u00e9 dans <strong>le domaine du sport et de la recherche scientifique<\/strong>.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-e482e09 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"e482e09\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-a3c75a7\" data-id=\"a3c75a7\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-ad95808 elementor-widget elementor-widget-heading\" data-id=\"ad95808\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Comment apprendre \u00e0 utiliser Hadoop ? Les formations DataScientest<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-9d9ce11 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"9d9ce11\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-f471ff7\" data-id=\"f471ff7\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-e55f38d elementor-widget elementor-widget-video\" data-id=\"e55f38d\" data-element_type=\"widget\" data-settings=\"{&quot;youtube_url&quot;:&quot;https:\\\/\\\/www.youtube.com\\\/watch?v=zL849MWrSag&amp;t=1s&quot;,&quot;video_type&quot;:&quot;youtube&quot;,&quot;controls&quot;:&quot;yes&quot;}\" data-widget_type=\"video.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-wrapper elementor-open-inline\">\n\t\t\t<div class=\"elementor-video\"><\/div>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-188b524 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"188b524\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-4b1a124\" data-id=\"4b1a124\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-576a290 elementor-widget elementor-widget-text-editor\" data-id=\"576a290\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>En r\u00e9sum\u00e9, Hadoop est tr\u00e8s utile pour le traitement du Big Data lorsqu&rsquo;il impl\u00e9ment\u00e9 et utilis\u00e9 correctement. Cet <strong>outil versatile et polyvalent<\/strong> est id\u00e9al pour les entreprises confront\u00e9es \u00e0 de larges volumes de donn\u00e9es.<\/p><p>Dans ce contexte,<strong> apprendre \u00e0 ma\u00eetriser Hadoop peut \u00eatre tr\u00e8s utile<\/strong>. Vos comp\u00e9tences seront tr\u00e8s recherch\u00e9es par de nombreuses organisations de tous les secteurs d&rsquo;activit\u00e9, et vous pourrez donc facilement trouver un emploi bien r\u00e9mun\u00e9r\u00e9.<\/p><p>Si vous \u00eates chef d&rsquo;entreprise, vous pouvez aussi financer la formation \u00e0 Hadoop pour vos employ\u00e9s. Ils pourront ainsi manipuler le Big Data et saisir toutes les opportunit\u00e9s offertes.<\/p><p>La <a href=\"https:\/\/datascientest.com\/formation-data-engineer\">formation Data Engineer<\/a> de DataScientest propose d&rsquo;apprendre \u00e0 ma\u00eetriser Hadoop, et tous les outils et techniques d&rsquo;ing\u00e9nierie des donn\u00e9es. Le programme est divis\u00e9 en cinq modules : programmation, base de donn\u00e9es, Big Data Volume, Big Data Vitesse, et automatisation et d\u00e9ploiement.<\/p><p>Au fil du cursus, les apprenants d\u00e9couvriront <strong>Hadoop<\/strong>, mais aussi <strong>Hive<\/strong>, <strong>Hbase<\/strong>, <strong>Pig<\/strong>, <strong><a href=\"https:\/\/datascientest.com\/pyspark\">Spark<\/a><\/strong>, <strong><a href=\"https:\/\/datascientest.com\/bash-tout-savoir\">Bash<\/a><\/strong>, <strong>Cassandra<\/strong>, le <strong><a href=\"https:\/\/datascientest.com\/sql-tout-savoir\">SQL<\/a> <\/strong>ou encore <strong>Kafka<\/strong>. \u00c0 l&rsquo;issue de la formation, <strong>un dipl\u00f4me de Data Engineer certifi\u00e9 par l&rsquo;Universit\u00e9 de la Sorbonne<\/strong> est d\u00e9cern\u00e9.<\/p><p>Ce parcours permet de <strong>se former au m\u00e9tier d&rsquo;ing\u00e9nieur des donn\u00e9es<\/strong>. Parmi les alumnis, 93% ont trouv\u00e9 un emploi imm\u00e9diatement apr\u00e8s l&rsquo;obtention du dipl\u00f4me. Les comp\u00e9tences acquises peuvent \u00eatre utilis\u00e9es directement en entreprise.<\/p><p>Le programme peut \u00eatre compl\u00e9t\u00e9 en 9 mois en formation continue, ou 11 semaines en Formation Continue. Toutes nos formations adoptent<strong> une approche hybride innovante de Blended Learning<\/strong>, mariant apprentissage en pr\u00e9sentiel et distanciel.<\/p><p>Le prix de la formation s&rsquo;\u00e9l\u00e8ve \u00e0 5000\u20ac, avec possibilit\u00e9 de payer en plusieurs fois. Le <strong>cursus est \u00e9ligible au <a href=\"\/formation-data-cpf\"><u>CPF<\/u><\/a><\/strong> (compte professionnel de formation) et peut \u00eatre financ\u00e9 par le P\u00f4le Emploi via l&rsquo;AIF.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-32d991a elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"32d991a\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-f722302\" data-id=\"f722302\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-6bbe939 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"6bbe939\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formation-data-engineer\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Commencer une formation Data Engineer<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-f4d6063 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"f4d6063\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-1e38fbf\" data-id=\"1e38fbf\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-0bcb53f elementor-widget elementor-widget-text-editor\" data-id=\"0bcb53f\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Vous savez tout sur Hadoop. D\u00e9couvrez <a href=\"https:\/\/datascientest.com\/open-source\" target=\"_blank\" rel=\"noopener\">notre dossier complet sur l&rsquo;Open Source<\/a>, et <a href=\"https:\/\/datascientest.com\/data-warehouse\" target=\"_blank\" rel=\"noopener\">notre introduction \u00e0 la Data Warehouse<\/a>.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-44951fe elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"44951fe\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-3c390a5\" data-id=\"3c390a5\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-71d5133 elementor-widget elementor-widget-html\" data-id=\"71d5133\" data-element_type=\"widget\" data-widget_type=\"html.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<script type=\"application\/ld+json\">\r\n{\r\n  \"@context\": \"https:\/\/schema.org\",\r\n  \"@type\": \"FAQPage\",\r\n  \"mainEntity\": [{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Qu'est-ce que Hadoop ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Hadoop est un framework logiciel d\u00e9di\u00e9 au stockage et au traitement de larges volumes de donn\u00e9es. Il s'agit d'un projet open source, sponsoris\u00e9 par la fondation Apache Software Foundation.\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Quels sont les quatre modules de Apache Hadoop ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Apache Hadoop repose sur quatre principaux modules. Tout d'abord, le Hadoop Distributed File System (HDFS) est utilis\u00e9 pour le stockage de donn\u00e9es. Il est comparable \u00e0 un syst\u00e8me de fichier local sur un ordinateur classique.\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Comment Hadoop permet le traitement du Big Data ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Le traitement du Big Data par Hadoop repose sur l'utilisation de la capacit\u00e9 de stockage et de traitement distribu\u00e9 de clusters. Il s'agit d'une base pour la cr\u00e9ation d'applications Big Data.\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Quels sont les diff\u00e9rents outils de l'\u00e9cosyst\u00e8me Hadoop ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"L'\u00e9cosyst\u00e8me Hadoop regroupe une large vari\u00e9t\u00e9 d'outils Big Data open source. Ces divers outils compl\u00e9mentent Hadoop et am\u00e9liorent sa capacit\u00e9 de traitement Big Data.\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Quels sont les avantages de Hadoop ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Les avantages de Hadoop sont nombreux. Ce framework permet tout d'abord un stockage et un traitement plus rapides de vastes volumes de donn\u00e9es. Il s'agit d'un pr\u00e9cieux atout \u00e0 l'\u00e8re des r\u00e9seaux sociaux et de l'Internet des Objets.\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Quels sont les points faibles de Hadoop ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Malgr\u00e9 tous ses points forts, Hadoop pr\u00e9sente aussi des faiblesses. Tout d'abord, l'algorithme MapReduce n'est pas toujours ad\u00e9quat. Il convient pour les requ\u00eates d'informations les plus simples, mais pas pour les t\u00e2ches it\u00e9ratives. Il n'est pas non plus efficace pour le calcul analytique avanc\u00e9, puisque les algorithmes it\u00e9ratifs requi\u00e8rent une intercommunication intensive.\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Quels sont les cas d'usage de Hadoop ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Hadoop offre de multiples possibilit\u00e9s. L'un de ses principaux cas d'usage est le traitement du Big Data. Ce framework est en effet adapt\u00e9 pour le traitement de vastes volumes de donn\u00e9es, de l'ordre de plusieurs petabytes.\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Comment les entreprises utilisent-elles Hadoop ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Des entreprises de toutes les industries utilisent Hadoop pour le traitement du Big Data. Le framework permet par exemple de comprendre les besoins et les attentes des clients.\"\r\n    }\r\n  }]\r\n}\r\n<\/script>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>Hadoop est un framework Open Source d\u00e9di\u00e9 au stockage et au traitement du Big Data. D\u00e9couvrez tout ce que vous devez savoir : d\u00e9finition, histoire, fonctionnement, avantages, formations&#8230; Durant plusieurs d\u00e9cennies, les entreprises stockaient principalement leurs donn\u00e9es sur des bases de donn\u00e9es relationnelles (RDBMS) afin de les stocker et d&rsquo;effectuer des requ\u00eates. Toutefois, ce type [&hellip;]<\/p>\n","protected":false},"author":77,"featured_media":55007,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"content-type":"","inline_featured_image":false},"categories":[2497],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v21.7 (Yoast SEO v21.7) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Hadoop : qu&#039;est-ce que c&#039;est et comment apprendre \u00e0 l&#039;utiliser ?<\/title>\n<meta name=\"description\" content=\"Hadoop est le principal framework d\u00e9di\u00e9 au stockage et au traitement du Big Data. D\u00e9couvrez son principe, son fonctionnement et son utilisation.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/datascientest.com\/hadoop\" \/>\n<meta property=\"og:locale\" content=\"fr_FR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Hadoop : qu&#039;est-ce que c&#039;est et comment apprendre \u00e0 l&#039;utiliser ?\" \/>\n<meta property=\"og:url\" content=\"https:\/\/datascientest.com\/hadoop\" \/>\n<meta property=\"og:site_name\" content=\"Formation Data Science | DataScientest.com\" \/>\n<meta property=\"article:published_time\" content=\"2021-03-18T10:47:18+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2024-09-22T21:17:45+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/datascientest.com\/wp-content\/uploads\/2021\/03\/illu_hadoop_blog-107.png\" \/>\n\t<meta property=\"og:image:width\" content=\"2560\" \/>\n\t<meta property=\"og:image:height\" content=\"1405\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Raphael Kassel\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"\u00c9crit par\" \/>\n\t<meta name=\"twitter:data1\" content=\"Raphael Kassel\" \/>\n\t<meta name=\"twitter:label2\" content=\"Dur\u00e9e de lecture estim\u00e9e\" \/>\n\t<meta name=\"twitter:data2\" content=\"13 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/datascientest.com\/hadoop\",\"url\":\"https:\/\/datascientest.com\/hadoop\",\"name\":\"Hadoop : qu'est-ce que c'est et comment apprendre \u00e0 l'utiliser ?\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/#website\"},\"datePublished\":\"2021-03-18T10:47:18+00:00\",\"dateModified\":\"2024-09-22T21:17:45+00:00\",\"author\":{\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/6eca16f63daaafcbc96e15549b9d4ee1\"},\"description\":\"Hadoop est le principal framework d\u00e9di\u00e9 au stockage et au traitement du Big Data. D\u00e9couvrez son principe, son fonctionnement et son utilisation.\",\"inLanguage\":\"fr-FR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/datascientest.com\/hadoop\"]}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/datascientest.com\/#website\",\"url\":\"https:\/\/datascientest.com\/\",\"name\":\"Formation Data Science | DataScientest.com\",\"description\":\"Leader de la formation en Data Science\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/datascientest.com\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"fr-FR\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/6eca16f63daaafcbc96e15549b9d4ee1\",\"name\":\"Raphael Kassel\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/raph.jpeg\",\"contentUrl\":\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/raph.jpeg\",\"caption\":\"Raphael Kassel\"},\"description\":\"Raphael Kassel est le Head of Data Programs chez DataScientest. Il supervise une \u00e9quipe Data, impl\u00e9mente de nouveaux parcours comme \\\"Chef de projet IA\\\" et \\\"Data Product Manager\\\", et contribue \u00e0 la modernisation des op\u00e9rations du groupe. En collaboration \u00e9troite avec l'\u00e9quipe de d\u00e9veloppement, il adapte l'accompagnement acad\u00e9mique aux \u00e9volutions de l'\u00e9quipe data et \u00e0 l'internationalisation.\",\"sameAs\":[\"https:\/\/www.linkedin.com\/in\/raphaelkassel\/\",\"Data Science\"],\"url\":\"https:\/\/datascientest.com\/author\/raphaelkassel\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Hadoop : qu'est-ce que c'est et comment apprendre \u00e0 l'utiliser ?","description":"Hadoop est le principal framework d\u00e9di\u00e9 au stockage et au traitement du Big Data. D\u00e9couvrez son principe, son fonctionnement et son utilisation.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/datascientest.com\/hadoop","og_locale":"fr_FR","og_type":"article","og_title":"Hadoop : qu'est-ce que c'est et comment apprendre \u00e0 l'utiliser ?","og_url":"https:\/\/datascientest.com\/hadoop","og_site_name":"Formation Data Science | DataScientest.com","article_published_time":"2021-03-18T10:47:18+00:00","article_modified_time":"2024-09-22T21:17:45+00:00","og_image":[{"width":2560,"height":1405,"url":"https:\/\/datascientest.com\/wp-content\/uploads\/2021\/03\/illu_hadoop_blog-107.png","type":"image\/png"}],"author":"Raphael Kassel","twitter_card":"summary_large_image","twitter_misc":{"\u00c9crit par":"Raphael Kassel","Dur\u00e9e de lecture estim\u00e9e":"13 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/datascientest.com\/hadoop","url":"https:\/\/datascientest.com\/hadoop","name":"Hadoop : qu'est-ce que c'est et comment apprendre \u00e0 l'utiliser ?","isPartOf":{"@id":"https:\/\/datascientest.com\/#website"},"datePublished":"2021-03-18T10:47:18+00:00","dateModified":"2024-09-22T21:17:45+00:00","author":{"@id":"https:\/\/datascientest.com\/#\/schema\/person\/6eca16f63daaafcbc96e15549b9d4ee1"},"description":"Hadoop est le principal framework d\u00e9di\u00e9 au stockage et au traitement du Big Data. D\u00e9couvrez son principe, son fonctionnement et son utilisation.","inLanguage":"fr-FR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/datascientest.com\/hadoop"]}]},{"@type":"WebSite","@id":"https:\/\/datascientest.com\/#website","url":"https:\/\/datascientest.com\/","name":"Formation Data Science | DataScientest.com","description":"Leader de la formation en Data Science","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/datascientest.com\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"fr-FR"},{"@type":"Person","@id":"https:\/\/datascientest.com\/#\/schema\/person\/6eca16f63daaafcbc96e15549b9d4ee1","name":"Raphael Kassel","image":{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/datascientest.com\/#\/schema\/person\/image\/","url":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/raph.jpeg","contentUrl":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/raph.jpeg","caption":"Raphael Kassel"},"description":"Raphael Kassel est le Head of Data Programs chez DataScientest. Il supervise une \u00e9quipe Data, impl\u00e9mente de nouveaux parcours comme \"Chef de projet IA\" et \"Data Product Manager\", et contribue \u00e0 la modernisation des op\u00e9rations du groupe. En collaboration \u00e9troite avec l'\u00e9quipe de d\u00e9veloppement, il adapte l'accompagnement acad\u00e9mique aux \u00e9volutions de l'\u00e9quipe data et \u00e0 l'internationalisation.","sameAs":["https:\/\/www.linkedin.com\/in\/raphaelkassel\/","Data Science"],"url":"https:\/\/datascientest.com\/author\/raphaelkassel"}]}},"_links":{"self":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts\/52797"}],"collection":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/users\/77"}],"replies":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/comments?post=52797"}],"version-history":[{"count":0,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts\/52797\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/media\/55007"}],"wp:attachment":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/media?parent=52797"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/categories?post=52797"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/tags?post=52797"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}