{"id":149614,"date":"2023-07-26T09:22:04","date_gmt":"2023-07-26T08:22:04","guid":{"rendered":"https:\/\/multi.datascientest.com\/?p=149614"},"modified":"2023-10-30T13:43:29","modified_gmt":"2023-10-30T12:43:29","slug":"pyspark-alles-wissenswerte-uber-die-python-bibliothek","status":"publish","type":"post","link":"https:\/\/datascientest.com\/de\/pyspark-alles-wissenswerte-uber-die-python-bibliothek","title":{"rendered":"PySpark: alles Wissenswerte \u00fcber die Python-Bibliothek"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"149614\" class=\"elementor elementor-149614\" data-elementor-post-type=\"post\">\n\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-9c47984 e-flex e-con-boxed e-con\" data-id=\"9c47984\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-021ad67 elementor-widget elementor-widget-heading\" data-id=\"021ad67\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-heading-title{padding:0;margin:0;line-height:1}.elementor-widget-heading .elementor-heading-title[class*=elementor-size-]>a{color:inherit;font-size:inherit;line-height:inherit}.elementor-widget-heading .elementor-heading-title.elementor-size-small{font-size:15px}.elementor-widget-heading .elementor-heading-title.elementor-size-medium{font-size:19px}.elementor-widget-heading .elementor-heading-title.elementor-size-large{font-size:29px}.elementor-widget-heading .elementor-heading-title.elementor-size-xl{font-size:39px}.elementor-widget-heading .elementor-heading-title.elementor-size-xxl{font-size:59px}<\/style><h3 class=\"elementor-heading-title elementor-size-default\"><p>Wenn es um die Verarbeitung von Datenbanken mit Python geht, kommt einem sofort die pandas-Bibliothek in den Sinn. Mit wachsender Gr\u00f6\u00dfe der Datenbanken, nehmen allerdings die Berechnungen immer mehr Zeit in Anspruch.<\/p>\n<p>Doch zum Gl\u00fcck gibt es eine andere Python-Bibliothek, die pandas recht \u00e4hnlich ist und es erm\u00f6glicht, sehr gro\u00dfe Datenmengen zu verarbeiten: PySpark.<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-3818f53 e-flex e-con-boxed e-con\" data-id=\"3818f53\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-6ccbb9a elementor-widget elementor-widget-text-editor\" data-id=\"6ccbb9a\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-text-editor.elementor-drop-cap-view-stacked .elementor-drop-cap{background-color:#69727d;color:#fff}.elementor-widget-text-editor.elementor-drop-cap-view-framed .elementor-drop-cap{color:#69727d;border:3px solid;background-color:transparent}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap{margin-top:8px}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap-letter{width:1em;height:1em}.elementor-widget-text-editor .elementor-drop-cap{float:left;text-align:center;line-height:1;font-size:50px}.elementor-widget-text-editor .elementor-drop-cap-letter{display:inline-block}<\/style>\t\t\t\t<p><span style=\"font-weight: 400;\"><a href=\"https:\/\/datascientest.com\/de\/azure-databricks-was-ist-das-denn\">Apache<\/a><a href=\"https:\/\/datascientest.com\/de\/azure-databricks-was-ist-das-denn\"> Spark<\/a> ist ein vom <\/span><b>AMPLab<\/b><span style=\"font-weight: 400;\"> der <a href=\"https:\/\/www.berkeley.edu\/\">University of California Berkeley<\/a> entwickeltes Open-Source-Framework zur Verarbeitung gro\u00dfer Datenbanken unter Verwendung von <\/span><b>Distributed Computing<\/b><span style=\"font-weight: 400;\"> (Verteiltes Rechnen), einer Technik, bei der mehrere in <\/span><b>Clustern <\/b><span style=\"font-weight: 400;\">verteilte Recheneinheiten zugunsten eines einzelnen Projekts genutzt werden, um die Ausf\u00fchrungszeit f\u00fcr eine Anfrage zu verringern. <\/span><\/p><p><span style=\"font-weight: 400;\">Spark wurde in <\/span><b>Scala <\/b><span style=\"font-weight: 400;\">entwickelt und ist in seiner nativen Sprache am leistungsf\u00e4higsten. Die Bibliothek PySpark bietet jedoch die M\u00f6glichkeit, die Software mit der Sprache <\/span><b>Python <\/b><span style=\"font-weight: 400;\">zu verwenden, ohne dass die Leistung von Scala-Implementierungen beeintr\u00e4chtigt wird.<\/span><\/p><p><span style=\"font-weight: 400;\">Pyspark ist daher eine gute Alternative zur Panda-Bibliothek, wenn Sie gro\u00dfe Datens\u00e4tze verarbeiten wollen, die zeitaufw\u00e4ndige Berechnungen erfordern.<\/span><\/p><p>\u00a0<\/p><p>\ud83d\udca1Auch interessant:<\/p><table dir=\"ltr\" border=\"1\" cellspacing=\"0\" cellpadding=\"0\"><colgroup><col width=\"426\" \/><\/colgroup><tbody><tr><td data-sheets-value=\"{&quot;1&quot;:2,&quot;2&quot;:&quot;Apache Spark&quot;}\" data-sheets-hyperlink=\"https:\/\/datascientest.com\/de\/apache-spark\"><a class=\"in-cell-link\" href=\"https:\/\/datascientest.com\/de\/apache-spark\" target=\"_blank\" rel=\"noopener\">Apache Spark<\/a><\/td><\/tr><tr><td data-sheets-value=\"{&quot;1&quot;:2,&quot;2&quot;:&quot;Apache Kafka&quot;}\" data-sheets-hyperlink=\"https:\/\/datascientest.com\/de\/apache-kafka\"><a class=\"in-cell-link\" href=\"https:\/\/datascientest.com\/de\/apache-kafka\" target=\"_blank\" rel=\"noopener\">Apache Kafka<\/a><\/td><\/tr><tr><td data-sheets-value=\"{&quot;1&quot;:2,&quot;2&quot;:&quot;Apache Cassandra&quot;}\" data-sheets-hyperlink=\"https:\/\/datascientest.com\/de\/apache-cassandra-die-beliebteste-nosql-bdd\"><a class=\"in-cell-link\" href=\"https:\/\/datascientest.com\/de\/apache-cassandra-die-beliebteste-nosql-bdd\" target=\"_blank\" rel=\"noopener\">Apache Cassandra<\/a><\/td><\/tr><tr><td data-sheets-value=\"{&quot;1&quot;:2,&quot;2&quot;:&quot;Apache Schulung&quot;}\" data-sheets-hyperlink=\"https:\/\/datascientest.com\/de\/apache-schulung-wie-lerne-ich-hadoop-spark-und-cassandra\"><a class=\"in-cell-link\" href=\"https:\/\/datascientest.com\/de\/apache-schulung-wie-lerne-ich-hadoop-spark-und-cassandra\" target=\"_blank\" rel=\"noopener\">Apache Schulung<\/a><\/td><\/tr><tr><td data-sheets-value=\"{&quot;1&quot;:2,&quot;2&quot;:&quot;Apache Airflow&quot;}\" data-sheets-hyperlink=\"https:\/\/datascientest.com\/de\/apache-airflow-was-ist-das-und-wie-kann-man-es-nutzen\"><a class=\"in-cell-link\" href=\"https:\/\/datascientest.com\/de\/apache-airflow-was-ist-das-und-wie-kann-man-es-nutzen\" target=\"_blank\" rel=\"noopener\">Apache Airflow<\/a><\/td><\/tr><tr><td data-sheets-value=\"{&quot;1&quot;:2,&quot;2&quot;:&quot;Apache Flume&quot;}\" data-sheets-hyperlink=\"https:\/\/datascientest.com\/de\/apache-flume-was-ist-das-wozu-dient-es\"><a class=\"in-cell-link\" href=\"https:\/\/datascientest.com\/de\/apache-flume-was-ist-das-wozu-dient-es\" target=\"_blank\" rel=\"noopener\">Apache Flume<\/a><\/td><\/tr><tr><td data-sheets-value=\"{&quot;1&quot;:2,&quot;2&quot;:&quot;Apache Storm&quot;}\" data-sheets-hyperlink=\"https:\/\/datascientest.com\/de\/apache-storm-was-ist-das-wozu-benutzt-man-es\"><a class=\"in-cell-link\" href=\"https:\/\/datascientest.com\/de\/apache-storm-was-ist-das-wozu-benutzt-man-es\" target=\"_blank\" rel=\"noopener\">Apache Storm<\/a><\/td><\/tr><\/tbody><\/table>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-a64c0c9 e-flex e-con-boxed e-con\" data-id=\"a64c0c9\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-8464fb2 elementor-widget elementor-widget-heading\" data-id=\"8464fb2\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Die Architektur von Spark<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-9dfb156 elementor-widget elementor-widget-text-editor\" data-id=\"9dfb156\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Zun\u00e4chst einmal ist es wichtig, die Grundlagen der Funktionsweise von Spark zu verstehen.<\/span><\/p><p><span style=\"font-weight: 400\">Wenn man \u00fcber PySpark mit Spark interagiert, sendet man Anweisungen an den Driver. Dieser koordiniert s\u00e4mtliche Vorg\u00e4nge. Diese Kommunikation wird mittels eines <\/span><b>SparkContext-Objekts<\/b><span style=\"font-weight: 400\"> vorgenommen. Dieses Objekt koordiniert die verschiedenen Berechnungen in den verschiedenen Clustern.<\/span><\/p><p><span style=\"font-weight: 400\">Der gro\u00dfe Vorteil von Spark liegt darin, dass der Code v\u00f6llig unabh\u00e4ngig vom SparkContext ist. Dadurch kann man seinen Code lokal auf jedem beliebigen Rechner entwickeln. <\/span><span style=\"font-weight: 400\">In diesem Artikel werden wir einige zentrale Elemente von Spark vorstellen, beginnend mit RDDs, der elementarsten Struktur von Spark. Anschlie\u00dfend werden wir uns mit dem DataFrame-Typ besch\u00e4ftigen, einer komplexeren Struktur als RDD, die f\u00fcr <\/span><strong><a href=\"https:\/\/datascientest.com\/de\/machine-learning-definition-funktionsweise-anwendungen\">Machine Learning<\/a><\/strong><span style=\"font-weight: 400\"> optimiert wurde.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-2426957 elementor-align-center button-principal elementor-widget elementor-widget-button\" data-id=\"2426957\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-md\" href=\"https:\/\/datascientest.com\/de\/unsere-aus-und-weiterbildungen\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Entdecke unsere Weiterbildungen<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-957bff4 e-flex e-con-boxed e-con\" data-id=\"957bff4\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-227cbdb elementor-widget elementor-widget-heading\" data-id=\"227cbdb\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">RDD - Resilient Distributed Data<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-445c28c elementor-widget elementor-widget-text-editor\" data-id=\"445c28c\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Ein RDD ist die Spark-Darstellung einer <\/span><b>Datentabelle<\/b><span style=\"font-weight: 400\">. Diese besteht aus einer Sammlung von Elementen, die man verwenden kann, um Tupel, W\u00f6rterb\u00fccher, Listen oder \u00c4hnliches zu speichern. Die St\u00e4rke eines RDD liegt in seiner F\u00e4higkeit, den Code m\u00f6glichst bequem auszuwerten: Berechnungen werden n\u00e4mlich so lange wie m\u00f6glich aufgeschoben.<\/span><\/p><p><span style=\"font-weight: 400\">So wird beim Import von Dateien zun\u00e4chst nur ein Zeiger erstellt. Die tats\u00e4chliche Berechnung erfolgt erst, wenn man versucht, ein Ergebnis anzuzeigen oder zu verwenden.<\/span><\/p><p><span style=\"font-weight: 400\">Da ein RDD <\/span><b>zeilenweise <\/b><span style=\"font-weight: 400\">gelesen wird, ist es besonders effizient f\u00fcr die <\/span><b>Verarbeitung von Textdateien<\/b><span style=\"font-weight: 400\"> (z. B. die H\u00e4ufigkeit bestimmter W\u00f6rter in einem Text z\u00e4hlen). F\u00fcr <\/span><b>spaltenbasierte<\/b><span style=\"font-weight: 400\"> Berechnungen ist es jedoch eine ungeeignete Struktur.<\/span><\/p><p><span style=\"font-weight: 400\">Um Machine Learning zu betreiben, m\u00fcssen wir daher eine neue Struktur einf\u00fchren: <\/span><b>DataFrames<\/b><span style=\"font-weight: 400\">.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-c7d5304 elementor-widget__width-initial elementor-widget elementor-widget-video\" data-id=\"c7d5304\" data-element_type=\"widget\" data-settings=\"{&quot;youtube_url&quot;:&quot;https:\\\/\\\/www.youtube.com\\\/watch?v=te2TvSN80OA&amp;t=20s&quot;,&quot;video_type&quot;:&quot;youtube&quot;,&quot;controls&quot;:&quot;yes&quot;}\" data-widget_type=\"video.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-video .elementor-widget-container{overflow:hidden;transform:translateZ(0)}.elementor-widget-video .elementor-wrapper{aspect-ratio:var(--video-aspect-ratio)}.elementor-widget-video .elementor-wrapper iframe,.elementor-widget-video .elementor-wrapper video{height:100%;width:100%;display:flex;border:none;background-color:#000}@supports not (aspect-ratio:1\/1){.elementor-widget-video .elementor-wrapper{position:relative;overflow:hidden;height:0;padding-bottom:calc(100% \/ var(--video-aspect-ratio))}.elementor-widget-video .elementor-wrapper iframe,.elementor-widget-video .elementor-wrapper video{position:absolute;top:0;right:0;bottom:0;left:0}}.elementor-widget-video .elementor-open-inline .elementor-custom-embed-image-overlay{position:absolute;top:0;right:0;bottom:0;left:0;background-size:cover;background-position:50%}.elementor-widget-video .elementor-custom-embed-image-overlay{cursor:pointer;text-align:center}.elementor-widget-video .elementor-custom-embed-image-overlay:hover .elementor-custom-embed-play i{opacity:1}.elementor-widget-video .elementor-custom-embed-image-overlay img{display:block;width:100%;aspect-ratio:var(--video-aspect-ratio);-o-object-fit:cover;object-fit:cover;-o-object-position:center center;object-position:center center}@supports not (aspect-ratio:1\/1){.elementor-widget-video .elementor-custom-embed-image-overlay{position:relative;overflow:hidden;height:0;padding-bottom:calc(100% \/ var(--video-aspect-ratio))}.elementor-widget-video .elementor-custom-embed-image-overlay img{position:absolute;top:0;right:0;bottom:0;left:0}}.elementor-widget-video .e-hosted-video .elementor-video{-o-object-fit:cover;object-fit:cover}.e-con-inner>.elementor-widget-video,.e-con>.elementor-widget-video{width:var(--container-widget-width);--flex-grow:var(--container-widget-flex-grow)}<\/style>\t\t<div class=\"elementor-wrapper elementor-open-inline\">\n\t\t\t<div class=\"elementor-video\"><\/div>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-baa641f e-flex e-con-boxed e-con\" data-id=\"baa641f\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-b493188 elementor-widget elementor-widget-heading\" data-id=\"b493188\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Pyspark DataFrame\n<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-a8bca22 elementor-widget elementor-widget-text-editor\" data-id=\"a8bca22\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Der <a href=\"https:\/\/datascientest.com\/de\/dataframe\">Pyspark DataFrame<\/a> ist der derzeit <\/span><b>optimale Aufbau f\u00fcr Machine Learning<\/b><span style=\"font-weight: 400;\">. Er verwendet grunds\u00e4tzlich die gleichen Prinzipien wie ein RDD, ist aber in einer SQL-Struktur sowohl in Spalten als auch in Zeilen strukturiert. Seine Form wurde von den DataFrames des Pandas-Moduls inspiriert.<\/span><\/p><p><span style=\"font-weight: 400;\">Dank der DataFrame-Struktur k\u00f6nnen wir also leistungsf\u00e4hige Berechnungen in einer vertrauten (weil pandas-\u00e4hnlichen) Sprache durchf\u00fchren ohne die Kosten, die mit dem Erlernen einer neuen funktionalen Sprache verbunden sind.<\/span><\/p><p><span style=\"text-decoration: underline;\"><a href=\"https:\/\/datascientest.com\/de\/category\/python-de\">Spark SQL<\/a><\/span><span style=\"font-weight: 400;\"> ist ein Modul von Spark, das den <\/span><b>Umgang mit strukturierten Daten<\/b><span style=\"font-weight: 400;\"> erm\u00f6glicht. Innerhalb dieses Moduls wurde auch der Spark DataFrame entwickelt.<\/span><\/p><p><span style=\"font-weight: 400;\">Spark SQL verf\u00fcgt \u00fcber ein anschauliches Infoblatt, das sowohl Beispiele als auch Erkl\u00e4rungen liefert. Im Gegensatz zu dem, was man im Internet findet, ist dieses Infoblatt das einzige Dokument, das st\u00e4ndig mit der neuesten Version von Spark aktualisiert wird.<\/span><\/p><p><span style=\"font-weight: 400;\">Dieser Artikel ist nur eine Einf\u00fchrung in die wichtigsten Begrifflichkeiten von Pyspark. <\/span><strong><a href=\"https:\/\/datascientest.com\/de\/unsere-aus-und-weiterbildungen\"><span style=\"text-decoration: underline;\">Unsere Weiterbildungen<\/span><\/a><\/strong><span style=\"font-weight: 400;\"> beinhalten ein ganzes Modul zum Erlernen dieses wichtigen Tools f\u00fcr den Umgang mit gro\u00dfen Datenmengen. Wenn Du dieses Instrument beherrschen m\u00f6chtest, empfehlen wir Dir eine unserer <\/span><strong><span style=\"text-decoration: underline;\"><a href=\"https:\/\/datascientest.com\/de\/unsere-aus-und-weiterbildungen\">Weiterbildungen in Data Science<\/a>.<\/span><\/strong><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-6066920 elementor-align-center button-principal elementor-widget elementor-widget-button\" data-id=\"6066920\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-md\" href=\"https:\/\/datascientest.com\/de\/terminvereinbarung\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Einen Termin vereinbaren<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>Wenn es um die Verarbeitung von Datenbanken mit Python geht, kommt einem sofort die pandas-Bibliothek in den Sinn. Mit wachsender Gr\u00f6\u00dfe der Datenbanken, nehmen allerdings die Berechnungen immer mehr Zeit in Anspruch. Doch zum Gl\u00fcck gibt es eine andere Python-Bibliothek, die pandas recht \u00e4hnlich ist und es erm\u00f6glicht, sehr gro\u00dfe Datenmengen zu verarbeiten: PySpark. Apache [&hellip;]<\/p>\n","protected":false},"author":45,"featured_media":44186,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"content-type":"","inline_featured_image":false},"categories":[2454],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v21.7 (Yoast SEO v21.7) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>PySpark: alles Wissenswerte \u00fcber die Python-Bibliothek<\/title>\n<meta name=\"description\" content=\"Wenn es um die Verarbeitung von Datenbanken mit Python geht, kommt einem sofort die Pandas-Bibliothek in den Sinn doch es gibt auch PySpark!\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/datascientest.com\/de\/pyspark-alles-wissenswerte-uber-die-python-bibliothek\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"PySpark: alles Wissenswerte \u00fcber die Python-Bibliothek\" \/>\n<meta property=\"og:description\" content=\"Wenn es um die Verarbeitung von Datenbanken mit Python geht, kommt einem sofort die pandas-Bibliothek in den Sinn. Mit wachsender Gr\u00f6\u00dfe der Datenbanken,\" \/>\n<meta property=\"og:url\" content=\"https:\/\/datascientest.com\/de\/pyspark-alles-wissenswerte-uber-die-python-bibliothek\" \/>\n<meta property=\"og:site_name\" content=\"Weiterbildung Data Science | DataScientest.com\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/DataScientestEN\" \/>\n<meta property=\"article:published_time\" content=\"2023-07-26T08:22:04+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-10-30T12:43:29+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2021\/02\/illu_pyspark_blog-84.png\" \/>\n\t<meta property=\"og:image:width\" content=\"2560\" \/>\n\t<meta property=\"og:image:height\" content=\"1405\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Daniel\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@DataScientest__\" \/>\n<meta name=\"twitter:site\" content=\"@DataScientest__\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Daniel\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"4 Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\/\/datascientest.com\/de\/pyspark-alles-wissenswerte-uber-die-python-bibliothek#article\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/de\/pyspark-alles-wissenswerte-uber-die-python-bibliothek\"},\"author\":{\"name\":\"Daniel\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/5a86e30c5090234fb43dd8baa83c44b0\"},\"headline\":\"PySpark: alles Wissenswerte \u00fcber die Python-Bibliothek\",\"datePublished\":\"2023-07-26T08:22:04+00:00\",\"dateModified\":\"2023-10-30T12:43:29+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\/\/datascientest.com\/de\/pyspark-alles-wissenswerte-uber-die-python-bibliothek\"},\"wordCount\":664,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\/\/datascientest.com\/de\/#organization\"},\"articleSection\":[\"Data Science\"],\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\/\/datascientest.com\/de\/pyspark-alles-wissenswerte-uber-die-python-bibliothek#respond\"]}],\"copyrightYear\":\"2023\",\"copyrightHolder\":{\"@id\":\"https:\/\/datascientest.com\/#organization\"}},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/datascientest.com\/de\/pyspark-alles-wissenswerte-uber-die-python-bibliothek\",\"url\":\"https:\/\/datascientest.com\/de\/pyspark-alles-wissenswerte-uber-die-python-bibliothek\",\"name\":\"PySpark: alles Wissenswerte \u00fcber die Python-Bibliothek\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/de\/#website\"},\"datePublished\":\"2023-07-26T08:22:04+00:00\",\"dateModified\":\"2023-10-30T12:43:29+00:00\",\"description\":\"Wenn es um die Verarbeitung von Datenbanken mit Python geht, kommt einem sofort die Pandas-Bibliothek in den Sinn doch es gibt auch PySpark!\",\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/datascientest.com\/de\/pyspark-alles-wissenswerte-uber-die-python-bibliothek\"]}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/datascientest.com\/de\/#website\",\"url\":\"https:\/\/datascientest.com\/de\/\",\"name\":\"Weiterbildung Data Science | DataScientest.com\",\"description\":\"F\u00fchrender Anbieter von Schulungen im Bereich Data Science\",\"publisher\":{\"@id\":\"https:\/\/datascientest.com\/de\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/datascientest.com\/de\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"de\"},{\"@type\":\"Organization\",\"@id\":\"https:\/\/datascientest.com\/de\/#organization\",\"name\":\"DataScientest\",\"url\":\"https:\/\/datascientest.com\/de\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/\",\"url\":\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png\",\"contentUrl\":\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png\",\"width\":301,\"height\":301,\"caption\":\"DataScientest\"},\"image\":{\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/\"},\"sameAs\":[\"https:\/\/www.facebook.com\/DataScientestEN\",\"https:\/\/twitter.com\/DataScientest__\",\"https:\/\/www.linkedin.com\/company\/datascientest-germany\/\",\"https:\/\/www.tiktok.com\/@datascientest\"]},{\"@type\":\"Person\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/5a86e30c5090234fb43dd8baa83c44b0\",\"name\":\"Daniel\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/837acad4f2dc47e85d81cce837261670?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/837acad4f2dc47e85d81cce837261670?s=96&d=mm&r=g\",\"caption\":\"Daniel\"},\"sameAs\":[\"https:\/\/www.linkedin.com\/school\/datascientest\/\",\"user\"],\"jobTitle\":\"ing\u00e9nieur logiciel\",\"worksFor\":\"DataScientest\",\"url\":\"https:\/\/datascientest.com\/de\/author\/team-redac\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"PySpark: alles Wissenswerte \u00fcber die Python-Bibliothek","description":"Wenn es um die Verarbeitung von Datenbanken mit Python geht, kommt einem sofort die Pandas-Bibliothek in den Sinn doch es gibt auch PySpark!","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/datascientest.com\/de\/pyspark-alles-wissenswerte-uber-die-python-bibliothek","og_locale":"de_DE","og_type":"article","og_title":"PySpark: alles Wissenswerte \u00fcber die Python-Bibliothek","og_description":"Wenn es um die Verarbeitung von Datenbanken mit Python geht, kommt einem sofort die pandas-Bibliothek in den Sinn. Mit wachsender Gr\u00f6\u00dfe der Datenbanken,","og_url":"https:\/\/datascientest.com\/de\/pyspark-alles-wissenswerte-uber-die-python-bibliothek","og_site_name":"Weiterbildung Data Science | DataScientest.com","article_publisher":"https:\/\/www.facebook.com\/DataScientestEN","article_published_time":"2023-07-26T08:22:04+00:00","article_modified_time":"2023-10-30T12:43:29+00:00","og_image":[{"width":2560,"height":1405,"url":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2021\/02\/illu_pyspark_blog-84.png","type":"image\/png"}],"author":"Daniel","twitter_card":"summary_large_image","twitter_creator":"@DataScientest__","twitter_site":"@DataScientest__","twitter_misc":{"Verfasst von":"Daniel","Gesch\u00e4tzte Lesezeit":"4 Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/datascientest.com\/de\/pyspark-alles-wissenswerte-uber-die-python-bibliothek#article","isPartOf":{"@id":"https:\/\/datascientest.com\/de\/pyspark-alles-wissenswerte-uber-die-python-bibliothek"},"author":{"name":"Daniel","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/5a86e30c5090234fb43dd8baa83c44b0"},"headline":"PySpark: alles Wissenswerte \u00fcber die Python-Bibliothek","datePublished":"2023-07-26T08:22:04+00:00","dateModified":"2023-10-30T12:43:29+00:00","mainEntityOfPage":{"@id":"https:\/\/datascientest.com\/de\/pyspark-alles-wissenswerte-uber-die-python-bibliothek"},"wordCount":664,"commentCount":0,"publisher":{"@id":"https:\/\/datascientest.com\/de\/#organization"},"articleSection":["Data Science"],"inLanguage":"de","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/datascientest.com\/de\/pyspark-alles-wissenswerte-uber-die-python-bibliothek#respond"]}],"copyrightYear":"2023","copyrightHolder":{"@id":"https:\/\/datascientest.com\/#organization"}},{"@type":"WebPage","@id":"https:\/\/datascientest.com\/de\/pyspark-alles-wissenswerte-uber-die-python-bibliothek","url":"https:\/\/datascientest.com\/de\/pyspark-alles-wissenswerte-uber-die-python-bibliothek","name":"PySpark: alles Wissenswerte \u00fcber die Python-Bibliothek","isPartOf":{"@id":"https:\/\/datascientest.com\/de\/#website"},"datePublished":"2023-07-26T08:22:04+00:00","dateModified":"2023-10-30T12:43:29+00:00","description":"Wenn es um die Verarbeitung von Datenbanken mit Python geht, kommt einem sofort die Pandas-Bibliothek in den Sinn doch es gibt auch PySpark!","inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/datascientest.com\/de\/pyspark-alles-wissenswerte-uber-die-python-bibliothek"]}]},{"@type":"WebSite","@id":"https:\/\/datascientest.com\/de\/#website","url":"https:\/\/datascientest.com\/de\/","name":"Weiterbildung Data Science | DataScientest.com","description":"F\u00fchrender Anbieter von Schulungen im Bereich Data Science","publisher":{"@id":"https:\/\/datascientest.com\/de\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/datascientest.com\/de\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"de"},{"@type":"Organization","@id":"https:\/\/datascientest.com\/de\/#organization","name":"DataScientest","url":"https:\/\/datascientest.com\/de\/","logo":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/","url":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png","contentUrl":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png","width":301,"height":301,"caption":"DataScientest"},"image":{"@id":"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/DataScientestEN","https:\/\/twitter.com\/DataScientest__","https:\/\/www.linkedin.com\/company\/datascientest-germany\/","https:\/\/www.tiktok.com\/@datascientest"]},{"@type":"Person","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/5a86e30c5090234fb43dd8baa83c44b0","name":"Daniel","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/837acad4f2dc47e85d81cce837261670?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/837acad4f2dc47e85d81cce837261670?s=96&d=mm&r=g","caption":"Daniel"},"sameAs":["https:\/\/www.linkedin.com\/school\/datascientest\/","user"],"jobTitle":"ing\u00e9nieur logiciel","worksFor":"DataScientest","url":"https:\/\/datascientest.com\/de\/author\/team-redac"}]}},"_links":{"self":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts\/149614"}],"collection":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/users\/45"}],"replies":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/comments?post=149614"}],"version-history":[{"count":0,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts\/149614\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/media\/44186"}],"wp:attachment":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/media?parent=149614"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/categories?post=149614"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/tags?post=149614"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}