{"id":174593,"date":"2023-04-20T05:46:16","date_gmt":"2023-04-20T04:46:16","guid":{"rendered":"https:\/\/datascientest.com\/de\/?p=174593"},"modified":"2023-04-20T05:53:57","modified_gmt":"2023-04-20T04:53:57","slug":"hdfs-hadoop-distributed-file-system-was-ist-das","status":"publish","type":"post","link":"https:\/\/datascientest.com\/de\/hdfs-hadoop-distributed-file-system-was-ist-das","title":{"rendered":"HDFS (Hadoop Distributed File System): Was ist das?"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"174593\" class=\"elementor elementor-174593\" data-elementor-post-type=\"post\">\n\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-1a914530 e-flex e-con-boxed e-con\" data-id=\"1a914530\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-2a9468ec elementor-widget elementor-widget-heading\" data-id=\"2a9468ec\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-heading-title{padding:0;margin:0;line-height:1}.elementor-widget-heading .elementor-heading-title[class*=elementor-size-]>a{color:inherit;font-size:inherit;line-height:inherit}.elementor-widget-heading .elementor-heading-title.elementor-size-small{font-size:15px}.elementor-widget-heading .elementor-heading-title.elementor-size-medium{font-size:19px}.elementor-widget-heading .elementor-heading-title.elementor-size-large{font-size:29px}.elementor-widget-heading .elementor-heading-title.elementor-size-xl{font-size:39px}.elementor-widget-heading .elementor-heading-title.elementor-size-xxl{font-size:59px}<\/style><h2 class=\"elementor-heading-title elementor-size-default\">Das Akronym HDFS steht f\u00fcr Hadoop Distributed File System. Wie der Name schon sagt, ist HDFS eng mit dem Hadoop-Tool verbunden. Wozu dient HDFS? Was ist die Verbindung zwischen HDFS und Hadoop? Wie funktioniert HDFS? All diese Fragen werden wir mithilfe dieses Artikels beantworten. <\/h2>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-82da4ac e-flex e-con-boxed e-con\" data-id=\"82da4ac\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-19ea79c elementor-widget elementor-widget-heading\" data-id=\"19ea79c\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">HDFS: Was ist Hadoop?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-75a69c1c elementor-widget elementor-widget-text-editor\" data-id=\"75a69c1c\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-text-editor.elementor-drop-cap-view-stacked .elementor-drop-cap{background-color:#69727d;color:#fff}.elementor-widget-text-editor.elementor-drop-cap-view-framed .elementor-drop-cap{color:#69727d;border:3px solid;background-color:transparent}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap{margin-top:8px}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap-letter{width:1em;height:1em}.elementor-widget-text-editor .elementor-drop-cap{float:left;text-align:center;line-height:1;font-size:50px}.elementor-widget-text-editor .elementor-drop-cap-letter{display:inline-block}<\/style>\t\t\t\t<p><a href=\"https:\/\/datascientest.com\/de\/hadoop\">Hadoop<\/a> ist ein <a href=\"https:\/\/datascientest.com\/de\/open-source-definition\">Open-Source-Tool<\/a>, das die Welt der Informatik revolutioniert hat. Es ist insbesondere der Grund f\u00fcr die Entstehung von Big Data. Mit <a href=\"https:\/\/datascientest.com\/de\/data-science-und-big-data-im-zeitalter-von-big-data-die-business-intelligence-abloest\">Big Data (Massendaten)<\/a> sind wir gezwungen, gro\u00dfe Datenmengen zu verarbeiten, und das ist mit herk\u00f6mmlichen Werkzeugen eine langwierige und m\u00fchsame Aufgabe. Mit <a href=\"https:\/\/hadoop.apache.org\/\">Hadoop<\/a> gehen wir den Weg \u00fcber eine verteilte Architektur, die Kosteneinsparungen und Leistungssteigerungen erm\u00f6glicht.<\/p><p>Der Unterschied zwischen einer verteilten und einer herk\u00f6mmlichen Architektur besteht darin, dass ein Cluster von Maschinen, also eine Gruppe von Computern, verwendet wird.<\/p><p>Seit Hadoop werden die Daten zwischen den Rechnern im Cluster geteilt, sodass die Operationen parallelisiert werden. Dabei wird zwischen den Maschinen im Cluster unterschieden: Einige Maschinen besitzen die Daten und verarbeiten sie, w\u00e4hrend eine Maschine die Daten koordiniert. Diese Architektur wird allgemein als &#8222;master-slave&#8220; (Meister-Sklave) bezeichnet. In Hadoop wird der &#8222;Master&#8220;-Rechner als Namenode bezeichnet und die &#8222;Slave&#8220;-Rechner werden als Datanodes bezeichnet.<\/p><p>Nachdem wir nun die Grundkenntnisse \u00fcber Hadoop haben, k\u00f6nnen wir anfangen, \u00fcber <strong>HDFS<\/strong> zu sprechen. Um mehr Informationen \u00fcber Hadoop zu erhalten, kannst du diesen Artikel lesen.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-179fab5 elementor-widget elementor-widget-image\" data-id=\"179fab5\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-image{text-align:center}.elementor-widget-image a{display:inline-block}.elementor-widget-image a img[src$=\".svg\"]{width:48px}.elementor-widget-image img{vertical-align:middle;display:inline-block}<\/style>\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"1024\" height=\"563\" src=\"https:\/\/datascientest.com\/de\/files\/2023\/04\/Illu_BLOG_NEW_hadoop.png\" class=\"attachment-full size-full wp-image-174596\" alt=\"\" srcset=\"https:\/\/datascientest.com\/de\/files\/2023\/04\/Illu_BLOG_NEW_hadoop.png 1024w, https:\/\/datascientest.com\/de\/files\/2023\/04\/Illu_BLOG_NEW_hadoop-300x165.png 300w, https:\/\/datascientest.com\/de\/files\/2023\/04\/Illu_BLOG_NEW_hadoop-768x422.png 768w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-557a37e2 e-flex e-con-boxed e-con\" data-id=\"557a37e2\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-7f67c1e0 elementor-widget elementor-widget-heading\" data-id=\"7f67c1e0\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Wozu dient HDFS ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-68fecc29 elementor-widget elementor-widget-text-editor\" data-id=\"68fecc29\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Wir haben die Operationen erw\u00e4hnt, die mit Hadoop durchgef\u00fchrt werden, aber dieses Tool besteht aus mehreren Komponenten. Wir verarbeiten die Daten mit <strong>MapReduce-Operationen,<\/strong> w\u00e4hrend die <strong>Yarn-Komponente<\/strong> dazu dient, die verschiedenen Maschinen in deinem Cluster zu \u00fcberwachen und ihnen die n\u00f6tigen Ressourcen zuzuweisen. HDFS wurde f\u00fcr die Speicherung von Dateien entwickelt. Wie der Name schon sagt (Hadoop Distributed File System zur Erinnerung), handelt es sich um ein Dateisystem.<\/p><p>\u00c4hnlich wie beim Dateisystem unseres Betriebssystems k\u00f6nnen mit <strong>HDFS<\/strong> alle Dateitypen in verschiedenen Ordnern organisiert werden (&#8222;hierarchical file system&#8220;). Dies gilt sowohl f\u00fcr &#8222;klassische&#8220; Dateien wie csv oder json als auch f\u00fcr andere Dateitypen, die f\u00fcr Big-Data-Aufgaben verwendet werden, wie parquet, avro und orc. Wir sind nicht wie in einer relationalen Datenbank eingeschr\u00e4nkt, sondern sehen <strong>HDFS<\/strong> eher als <a href=\"https:\/\/datascientest.com\/de\/alles-wissenswerte-ueber-data-lake\">Data Lake<\/a>. Wir speichern dort die Rohdaten aus unserer Datenpipeline und verarbeiten sie dann in einem <a href=\"https:\/\/datascientest.com\/de\/data-warehouse\">Data Warehouse<\/a> oder in Datenbanken.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-150a7f04 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"150a7f04\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/de\/unsere-aus-und-weiterbildungen\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Hadoop lernen<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-602b54e5 e-flex e-con-boxed e-con\" data-id=\"602b54e5\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-20d4bd6b elementor-widget elementor-widget-heading\" data-id=\"20d4bd6b\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Wie funktionieren HDFS ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-e4329a1 elementor-widget elementor-widget-text-editor\" data-id=\"e4329a1\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Wenn man es mit einem klassischen Dateisystem eines Betriebssystems vergleichen kann, gibt es jedoch Unterschiede in der Nutzung und Speicherung.<\/p><p>Wir befinden uns in einem Cluster von Maschinen, also wie k\u00f6nnen wir wissen, auf welcher Maschine im Cluster unsere Daten gespeichert sind?<\/p><p>Wie du wahrscheinlich schon vermutet hast, werden wir <strong>Namenode<\/strong> verwenden. Um die verschiedenen Maschinen im Cluster verwalten zu k\u00f6nnen, muss der Namenode \u00fcber den Status jeder Maschine Bescheid wissen, weshalb wir dort <strong>Metadaten<\/strong> finden k\u00f6nnen.<\/p><p>Insbesondere werden wir wissen, auf welchen Maschinen die Daten gespeichert sind. Ein weiterer Vorteil eines <strong>Hadoop-Clusters ist, dass wir &#8222;fault tolerant&#8220; (ausfalltolerant)<\/strong> sind. Da wir mehrere Maschinen zur Verf\u00fcgung haben, k\u00f6nnen wir Kopien unserer <a href=\"https:\/\/datascientest.com\/de\/azure-databricks-was-ist-das-denn\">Daten erstellen und sie auf die Maschinen verteilen.<\/a> Wenn also ein Rechner ausf\u00e4llt, k\u00f6nnen wir immer noch auf die Daten zugreifen. Au\u00dferdem werden die Daten nicht &#8222;vollst\u00e4ndig&#8220; auf die Maschinen verteilt, sondern in Bl\u00f6cke segmentiert. Dies erm\u00f6glicht es uns, uns gegen das Risiko eines Maschinenausfalls zu sch\u00fctzen, indem wir unsere Daten nur teilweise verlieren.<\/p><p>Betrachten wir das folgende Schema, um die <strong>Datenspeicherung in HDFS<\/strong> zu verstehen:<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-361ed7f6 elementor-widget elementor-widget-image\" data-id=\"361ed7f6\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"563\" height=\"460\" src=\"https:\/\/datascientest.com\/de\/files\/2023\/04\/Fichier-103.png\" class=\"attachment-full size-full wp-image-174597\" alt=\"\" srcset=\"https:\/\/datascientest.com\/de\/files\/2023\/04\/Fichier-103.png 563w, https:\/\/datascientest.com\/de\/files\/2023\/04\/Fichier-103-300x245.png 300w\" sizes=\"(max-width: 563px) 100vw, 563px\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-6c00a18d elementor-widget elementor-widget-text-editor\" data-id=\"6c00a18d\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Wie bereits erw\u00e4hnt, finden wir im Namenode die Metadaten unserer Datei: ihren Namen, die Anzahl der Replikate und ihre Segmentierung in Bl\u00f6cke, aber es gibt auch andere Metadaten.<\/p><p>Diese Elemente best\u00e4tigen, dass sich die <strong>Verwendung von HDFS<\/strong> von der Verwendung eines Dateisystems \u00fcber eine <a href=\"https:\/\/datascientest.com\/de\/tortendiagramm-excel-ein-blick-auf-diesen-diagrammtyp\">Tortendiagramm-Schnittstelle<\/a> unterscheidet. Tats\u00e4chlich verwenden wir es eher unter dem Aspekt der Batchverarbeitung und greifen auf unsere Daten \u00fcber einen Link wie diesen zu: &#8222;hdfs:\/cluster-ip:XXXX\/\/data\/users.csv&#8220;.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-2cbcdcbb e-flex e-con-boxed e-con\" data-id=\"2cbcdcbb\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-251f7bcd elementor-widget elementor-widget-heading\" data-id=\"251f7bcd\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Weiterf\u00fchrende Informationen<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-415d8de elementor-widget elementor-widget-text-editor\" data-id=\"415d8de\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Nachdem wir verstanden haben, wie <strong>Hadoop<\/strong> funktioniert, wollen wir nun das HDFS-Dateisystem und die Hadoop-Suite \u00fcben. Allerdings ist es schwierig, sie als Privatperson zu verwenden.<\/p><p>Der erste Grund ist einfach, dass wir nicht \u00fcber einen Cluster von Rechnern verf\u00fcgen. Der zweite Grund ist, dass wir selbst mit einem Maschinencluster immer noch Hadoop darauf installieren und es in <a href=\"https:\/\/datascientest.com\/de\/welche-berufe-gibt-es-im-bereich-big-data-und-welche-kompetenzen-sind-erforderlich\">Big-Data-Problemen<\/a> verwenden m\u00fcssen, was f\u00fcr eine Privatperson selten notwendig ist.<\/p><p>Du kannst mehr \u00fcber die verschiedenen Komponenten des Hadoop-Tools lernen, indem du den Data Engineer-Kurs von DataScientest absolvierst.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-7e1592a1 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"7e1592a1\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/de\/weiterbildung-data-engineer\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Data Engineer Weiterbildung<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-5da7ccb3 elementor-widget elementor-widget-text-editor\" data-id=\"5da7ccb3\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>In unserer Weiterbildung wirst Du auch mehr \u00fcber seinen &#8222;kleinen Bruder&#8220; erfahren:<a href=\"https:\/\/datascientest.com\/de\/apache-spark\"> Spark, das gro\u00dfe Datenmengen<\/a> viel schneller als Hadoop verarbeiten kann, aber keinen Speicheraspekt hat, weshalb es neben HDFS unterrichtet wird.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-d510304 e-flex e-con-boxed e-con\" data-id=\"d510304\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-7c1e9c2 elementor-widget elementor-widget-html\" data-id=\"7c1e9c2\" data-element_type=\"widget\" data-widget_type=\"html.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<script type=\"application\/ld+json\">.\n{\n  \"@context\": \"https:\/\/schema.org\",\n  \"@type\": \"FAQPage\",\n  \"mainEntity\": [{{\n    \"@type\": \"Frage\",\n    \"name\": \"Wie funktionieren HDFS?\",\n    \"acceptedAnswer\": {\n      \"@type\": \"Answer\",\n      \"text\": \"Man kann es mit einem klassischen Dateisystem eines Betriebssystems vergleichen, aber es gibt Unterschiede in der Nutzung und Speicherung. Wir befinden uns in einem Cluster von Rechnern, wie k\u00f6nnen wir also wissen, auf welchem Rechner des Clusters unsere Daten gespeichert sind? Wie du wahrscheinlich schon vermutet hast, werden wir Namenode verwenden. Um die verschiedenen Maschinen im Cluster verwalten zu k\u00f6nnen, muss der Namenode \u00fcber den Status jeder Maschine Bescheid wissen, weshalb wir dort Metadaten finden k\u00f6nnen.\"\n    }\n  },{\n    \"@type\": \"Question\",\n    \"name\": \"Was sind die Vorteile von Azure Virtual Desktop\",\n    \"acceptedAnswer\": {\n      \"@type\": \"Answer\",\n      \"text\": \"F\u00fcr Endbenutzer bietet Azure Virtual Desktop einen Remote-Zugriff auf ihre Desktop-Umgebung, was besonders f\u00fcr die zunehmende Verbreitung von Telearbeit geeignet ist. Die Verbindung zum Windows-Desktop erm\u00f6glicht auch den Zugriff auf Anwendungen, die Nutzer auf bestimmten Ger\u00e4ten nicht installieren k\u00f6nnten.\"\n    }\n  },{\n    \"@type\": \"Question\",\n    \"name\": \"Wie sinnvoll ist es, HDFS zu verwenden?\",\n    \"acceptedAnswer\": {\n      \"@type\": \"Answer\",\n      \"text\": \"Genau wie das Dateisystem unseres Betriebssystems k\u00f6nnen alle Dateitypen mit HDFS in verschiedenen Ordnern (\\\"hierarchical file system\") organisiert werden. Egal ob es sich um \"klassische\" Dateien wie csv oder json handelt oder um andere Dateitypen, die f\u00fcr Big-Data-Aufgaben wie parquet, avro und orc verwendet werden. Wir sind nicht wie in einer relationalen Datenbank eingeschr\u00e4nkt, sondern sehen HDFS als einen Data Lake. Wir speichern dort die Rohdaten aus unserer Datenpipeline und bearbeiten sie dann, um sie in einem Data Warehouse oder in Datenbanken zu platzieren.\"\n    }\n  }]\n}\n<\/script>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>Das Akronym HDFS steht f\u00fcr Hadoop Distributed File System. Wie der Name schon sagt, ist HDFS eng mit dem Hadoop-Tool verbunden. Wozu dient HDFS? Was ist die Verbindung zwischen HDFS und Hadoop? Wie funktioniert HDFS? All diese Fragen werden wir mithilfe dieses Artikels beantworten. HDFS: Was ist Hadoop? Hadoop ist ein Open-Source-Tool, das die Welt [&hellip;]<\/p>\n","protected":false},"author":67,"featured_media":174594,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"content-type":"","inline_featured_image":false},"categories":[2454],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v21.7 (Yoast SEO v21.7) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>HDFS (Hadoop Distributed File System): Was ist das?<\/title>\n<meta name=\"description\" content=\"HDFS (Hadoop Distributed File System): Was ist das? Das erf\u00e4hrst Du in unserem Artikel - Schaue jetzt rein !\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/datascientest.com\/de\/hdfs-hadoop-distributed-file-system-was-ist-das\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"HDFS (Hadoop Distributed File System): Was ist das?\" \/>\n<meta property=\"og:description\" content=\"Das Akronym HDFS steht f\u00fcr Hadoop Distributed File System. Wie der Name schon sagt, ist HDFS eng mit dem Hadoop-Tool verbunden. Wozu dient HDFS? Was ist\" \/>\n<meta property=\"og:url\" content=\"https:\/\/datascientest.com\/de\/hdfs-hadoop-distributed-file-system-was-ist-das\" \/>\n<meta property=\"og:site_name\" content=\"Weiterbildung Data Science | DataScientest.com\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/DataScientestEN\" \/>\n<meta property=\"article:published_time\" content=\"2023-04-20T04:46:16+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-04-20T04:53:57+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2023\/04\/hdfs-hadoop.webp\" \/>\n\t<meta property=\"og:image:width\" content=\"1024\" \/>\n\t<meta property=\"og:image:height\" content=\"562\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/webp\" \/>\n<meta name=\"author\" content=\"Melanie\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@DataScientest__\" \/>\n<meta name=\"twitter:site\" content=\"@DataScientest__\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Melanie\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"6 Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\/\/datascientest.com\/de\/hdfs-hadoop-distributed-file-system-was-ist-das#article\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/de\/hdfs-hadoop-distributed-file-system-was-ist-das\"},\"author\":{\"name\":\"Melanie\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/19d5f7ade9407eb69af3bf6d1ae1731d\"},\"headline\":\"HDFS (Hadoop Distributed File System): Was ist das?\",\"datePublished\":\"2023-04-20T04:46:16+00:00\",\"dateModified\":\"2023-04-20T04:53:57+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\/\/datascientest.com\/de\/hdfs-hadoop-distributed-file-system-was-ist-das\"},\"wordCount\":794,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\/\/datascientest.com\/de\/#organization\"},\"articleSection\":[\"Data Science\"],\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\/\/datascientest.com\/de\/hdfs-hadoop-distributed-file-system-was-ist-das#respond\"]}],\"copyrightYear\":\"2023\",\"copyrightHolder\":{\"@id\":\"https:\/\/datascientest.com\/#organization\"}},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/datascientest.com\/de\/hdfs-hadoop-distributed-file-system-was-ist-das\",\"url\":\"https:\/\/datascientest.com\/de\/hdfs-hadoop-distributed-file-system-was-ist-das\",\"name\":\"HDFS (Hadoop Distributed File System): Was ist das?\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/de\/#website\"},\"datePublished\":\"2023-04-20T04:46:16+00:00\",\"dateModified\":\"2023-04-20T04:53:57+00:00\",\"description\":\"HDFS (Hadoop Distributed File System): Was ist das? Das erf\u00e4hrst Du in unserem Artikel - Schaue jetzt rein !\",\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/datascientest.com\/de\/hdfs-hadoop-distributed-file-system-was-ist-das\"]}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/datascientest.com\/de\/#website\",\"url\":\"https:\/\/datascientest.com\/de\/\",\"name\":\"Weiterbildung Data Science | DataScientest.com\",\"description\":\"F\u00fchrender Anbieter von Schulungen im Bereich Data Science\",\"publisher\":{\"@id\":\"https:\/\/datascientest.com\/de\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/datascientest.com\/de\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"de\"},{\"@type\":\"Organization\",\"@id\":\"https:\/\/datascientest.com\/de\/#organization\",\"name\":\"DataScientest\",\"url\":\"https:\/\/datascientest.com\/de\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/\",\"url\":\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png\",\"contentUrl\":\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png\",\"width\":301,\"height\":301,\"caption\":\"DataScientest\"},\"image\":{\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/\"},\"sameAs\":[\"https:\/\/www.facebook.com\/DataScientestEN\",\"https:\/\/twitter.com\/DataScientest__\",\"https:\/\/www.linkedin.com\/company\/datascientest-germany\/\",\"https:\/\/www.tiktok.com\/@datascientest\"]},{\"@type\":\"Person\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/19d5f7ade9407eb69af3bf6d1ae1731d\",\"name\":\"Melanie\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/8d3d660a0698de06f13ecf4823519da1?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/8d3d660a0698de06f13ecf4823519da1?s=96&d=mm&r=g\",\"caption\":\"Melanie\"},\"url\":\"https:\/\/datascientest.com\/de\/author\/melaniekrause\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"HDFS (Hadoop Distributed File System): Was ist das?","description":"HDFS (Hadoop Distributed File System): Was ist das? Das erf\u00e4hrst Du in unserem Artikel - Schaue jetzt rein !","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/datascientest.com\/de\/hdfs-hadoop-distributed-file-system-was-ist-das","og_locale":"de_DE","og_type":"article","og_title":"HDFS (Hadoop Distributed File System): Was ist das?","og_description":"Das Akronym HDFS steht f\u00fcr Hadoop Distributed File System. Wie der Name schon sagt, ist HDFS eng mit dem Hadoop-Tool verbunden. Wozu dient HDFS? Was ist","og_url":"https:\/\/datascientest.com\/de\/hdfs-hadoop-distributed-file-system-was-ist-das","og_site_name":"Weiterbildung Data Science | DataScientest.com","article_publisher":"https:\/\/www.facebook.com\/DataScientestEN","article_published_time":"2023-04-20T04:46:16+00:00","article_modified_time":"2023-04-20T04:53:57+00:00","og_image":[{"width":1024,"height":562,"url":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2023\/04\/hdfs-hadoop.webp","type":"image\/webp"}],"author":"Melanie","twitter_card":"summary_large_image","twitter_creator":"@DataScientest__","twitter_site":"@DataScientest__","twitter_misc":{"Verfasst von":"Melanie","Gesch\u00e4tzte Lesezeit":"6 Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/datascientest.com\/de\/hdfs-hadoop-distributed-file-system-was-ist-das#article","isPartOf":{"@id":"https:\/\/datascientest.com\/de\/hdfs-hadoop-distributed-file-system-was-ist-das"},"author":{"name":"Melanie","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/19d5f7ade9407eb69af3bf6d1ae1731d"},"headline":"HDFS (Hadoop Distributed File System): Was ist das?","datePublished":"2023-04-20T04:46:16+00:00","dateModified":"2023-04-20T04:53:57+00:00","mainEntityOfPage":{"@id":"https:\/\/datascientest.com\/de\/hdfs-hadoop-distributed-file-system-was-ist-das"},"wordCount":794,"commentCount":0,"publisher":{"@id":"https:\/\/datascientest.com\/de\/#organization"},"articleSection":["Data Science"],"inLanguage":"de","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/datascientest.com\/de\/hdfs-hadoop-distributed-file-system-was-ist-das#respond"]}],"copyrightYear":"2023","copyrightHolder":{"@id":"https:\/\/datascientest.com\/#organization"}},{"@type":"WebPage","@id":"https:\/\/datascientest.com\/de\/hdfs-hadoop-distributed-file-system-was-ist-das","url":"https:\/\/datascientest.com\/de\/hdfs-hadoop-distributed-file-system-was-ist-das","name":"HDFS (Hadoop Distributed File System): Was ist das?","isPartOf":{"@id":"https:\/\/datascientest.com\/de\/#website"},"datePublished":"2023-04-20T04:46:16+00:00","dateModified":"2023-04-20T04:53:57+00:00","description":"HDFS (Hadoop Distributed File System): Was ist das? Das erf\u00e4hrst Du in unserem Artikel - Schaue jetzt rein !","inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/datascientest.com\/de\/hdfs-hadoop-distributed-file-system-was-ist-das"]}]},{"@type":"WebSite","@id":"https:\/\/datascientest.com\/de\/#website","url":"https:\/\/datascientest.com\/de\/","name":"Weiterbildung Data Science | DataScientest.com","description":"F\u00fchrender Anbieter von Schulungen im Bereich Data Science","publisher":{"@id":"https:\/\/datascientest.com\/de\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/datascientest.com\/de\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"de"},{"@type":"Organization","@id":"https:\/\/datascientest.com\/de\/#organization","name":"DataScientest","url":"https:\/\/datascientest.com\/de\/","logo":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/","url":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png","contentUrl":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png","width":301,"height":301,"caption":"DataScientest"},"image":{"@id":"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/DataScientestEN","https:\/\/twitter.com\/DataScientest__","https:\/\/www.linkedin.com\/company\/datascientest-germany\/","https:\/\/www.tiktok.com\/@datascientest"]},{"@type":"Person","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/19d5f7ade9407eb69af3bf6d1ae1731d","name":"Melanie","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/8d3d660a0698de06f13ecf4823519da1?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/8d3d660a0698de06f13ecf4823519da1?s=96&d=mm&r=g","caption":"Melanie"},"url":"https:\/\/datascientest.com\/de\/author\/melaniekrause"}]}},"_links":{"self":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts\/174593"}],"collection":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/users\/67"}],"replies":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/comments?post=174593"}],"version-history":[{"count":0,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts\/174593\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/media\/174594"}],"wp:attachment":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/media?parent=174593"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/categories?post=174593"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/tags?post=174593"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}