{"id":175651,"date":"2023-05-01T12:10:15","date_gmt":"2023-05-01T11:10:15","guid":{"rendered":"https:\/\/datascientest.com\/de\/?p=175651"},"modified":"2023-10-30T08:57:30","modified_gmt":"2023-10-30T07:57:30","slug":"selenium-python-case-study-zum-euronews-web-scraping","status":"publish","type":"post","link":"https:\/\/datascientest.com\/de\/selenium-python-case-study-zum-euronews-web-scraping","title":{"rendered":"Selenium Python: Case Study zum Euronews Web Scraping"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"175651\" class=\"elementor elementor-175651\" data-elementor-post-type=\"post\">\n\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-1dd1c035 e-flex e-con-boxed e-con\" data-id=\"1dd1c035\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-5362965e elementor-widget elementor-widget-heading\" data-id=\"5362965e\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-heading-title{padding:0;margin:0;line-height:1}.elementor-widget-heading .elementor-heading-title[class*=elementor-size-]>a{color:inherit;font-size:inherit;line-height:inherit}.elementor-widget-heading .elementor-heading-title.elementor-size-small{font-size:15px}.elementor-widget-heading .elementor-heading-title.elementor-size-medium{font-size:19px}.elementor-widget-heading .elementor-heading-title.elementor-size-large{font-size:29px}.elementor-widget-heading .elementor-heading-title.elementor-size-xl{font-size:39px}.elementor-widget-heading .elementor-heading-title.elementor-size-xxl{font-size:59px}<\/style><h3 class=\"elementor-heading-title elementor-size-default\">Selenium Python: Was ist Web Scraping ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-6a4424d2 elementor-widget elementor-widget-text-editor\" data-id=\"6a4424d2\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-text-editor.elementor-drop-cap-view-stacked .elementor-drop-cap{background-color:#69727d;color:#fff}.elementor-widget-text-editor.elementor-drop-cap-view-framed .elementor-drop-cap{color:#69727d;border:3px solid;background-color:transparent}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap{margin-top:8px}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap-letter{width:1em;height:1em}.elementor-widget-text-editor .elementor-drop-cap{float:left;text-align:center;line-height:1;font-size:50px}.elementor-widget-text-editor .elementor-drop-cap-letter{display:inline-block}<\/style>\t\t\t\t<p>Als Data Scientist, Data Engineer oder Data Analyst musst du mit Datens\u00e4tzen umgehen, die in eine Anwendung, einen Machine-Learning-Algorithmus oder eine Datenanalyse einflie\u00dfen.<\/p><p>In manchen F\u00e4llen kannst du bereits erstellte Datens\u00e4tze verwenden, aber manchmal musst du den Datensatz auch selbst zusammenstellen oder einen Datensatz vervollst\u00e4ndigen, indem du Informationen aus dem Internet abrufst.<\/p><p>Informationen manuell zu sammeln, z. B. durch Kopieren und Einf\u00fcgen des Inhalts, der dich interessiert, auf jeder Seite, ist undenkbar, wenn die Menge der zu sammelnden Informationen gro\u00df ist. Gl\u00fccklicherweise ist es m\u00f6glich, das Sammeln von Inhalten im Internet mithilfe von Web Scraping zu automatisieren.<\/p><p>Web Scraping bezeichnet das automatische Abrufen von Daten und Inhalten aus dem Internet. Python verf\u00fcgt \u00fcber mehrere Bibliotheken, die das Web Scraping erm\u00f6glichen.<\/p><p>Unter diesen ist die Beautiful Soup Library wahrscheinlich die bekannteste und hat den Vorteil, dass sie einfach zu bedienen ist. Sie ist jedoch nicht in der Lage, Informationen abzurufen, die dynamisch \u00fcber JavaScript in eine Webseite eingef\u00fcgt werden. Heute werden wir uns mit dem Selenium-Framework besch\u00e4ftigen, das unter anderem den Vorteil hat, dies zu erm\u00f6glichen.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-5e7af73d e-flex e-con-boxed e-con\" data-id=\"5e7af73d\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-29a7ef9d elementor-widget elementor-widget-heading\" data-id=\"29a7ef9d\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Warum Selenium f\u00fcr Web Scraping verwenden?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-7b737e43 elementor-widget elementor-widget-text-editor\" data-id=\"7b737e43\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Selenium ist ein Open-Source-<a href=\"https:\/\/datascientest.com\/de\/was-ist-ein-framework\">Framework<\/a>, das urspr\u00fcnglich entwickelt wurde, um automatisierte Tests in verschiedenen Browsern (Chrome, Internet Explorer, Firefox, Safari,&#8230;) durchzuf\u00fchren. Diese Bibliothek wird auch zum Web-Scraping verwendet, da sie es erm\u00f6glicht, zwischen Internetseiten zu navigieren und mit den Elementen der Seite wie ein echter Benutzer zu interagieren.<\/p><p>Auf diese Weise wird es m\u00f6glich, dynamische Webseiten zu scrapen, d. h. Webseiten, die dem Benutzer je nach seinen Aktionen ein bestimmtes Ergebnis zur\u00fcckgeben.<\/p><p>Im weiteren Verlauf dieses Artikels werden wir sehen, wie wir mit Selenium Nachrichtenartikel von der <a href=\"https:\/\/de.euronews.com\/\">Euronews-Website<\/a> abrufen und einen Dataframe erstellen k\u00f6nnen, der f\u00fcr ein Textmining-Projekt bereit ist.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-588fb9f9 e-flex e-con-boxed e-con\" data-id=\"588fb9f9\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-190a6d3d elementor-widget elementor-widget-heading\" data-id=\"190a6d3d\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Praxisbeispiel: Web Scraping von Zeitungsartikeln, die von Euronews abgerufen wurden<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-4217262c elementor-widget elementor-widget-text-editor\" data-id=\"4217262c\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Um unser Web-Scraping-Skript und unsere Analyse zu implementieren, werden wir <strong>Jupyter Notebook<\/strong> verwenden. Zuerst musst du die verschiedenen Bibliotheken, die du f\u00fcr die Verwendung von Selenium ben\u00f6tigst, mit Hilfe von pip install auf deiner<a href=\"https:\/\/datascientest.com\/de\/top-10-der-python-bibliotheken-fur-data-scientists\"> Python-Umgebung installieren.<\/a><\/p><p>&#8222;`<br \/>pip install selenium<br \/>pip install webdriver_manager<br \/>&#8222;`<\/p><p>Das Selenium-Modul bietet Zugang zu :<\/p><p>Auf den Selenium webdriver, eine wichtige Komponente, die unseren Code, hier in der Programmiersprache Python, interpretiert und mit dem Browser interagiert. Im Rahmen dieses Tutorials werden wir einen Webtreiber verwenden, der den Chrome-Browser steuert.<br \/>Auf die By-Methode, die es erm\u00f6glicht, mit dem DOM zu interagieren und Elemente auf der Webseite zu finden.<\/p><p>Das Modul WebDriver Manager sorgt f\u00fcr die Verwaltung (Download, Konfiguration und Wartung) der von Selenium WebDriver ben\u00f6tigten Treiber.<\/p><p>Importieren wir nun die ben\u00f6tigten Bibliotheken:<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1d92a9de elementor-widget elementor-widget-shortcode\" data-id=\"1d92a9de\" data-element_type=\"widget\" data-widget_type=\"shortcode.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-shortcode\"><script src=\"https:\/\/gist.github.com\/maelysBB\/dc5da1873f08e24214890f9cc813fcce.js\"><\/script><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-3ae102a3 elementor-widget elementor-widget-text-editor\" data-id=\"3ae102a3\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Es ist soweit, wir k\u00f6nnen mit dem Thema beginnen. Wir werden die Euronews-Artikel des Vortags scrapen.<\/p><p>Hier ist eine Beschreibung der verschiedenen Schritte, die wir durchf\u00fchren werden:<\/p><p>Wir gehen auf die Archivseite der Artikel des Vortags.<br \/>Die Links aller Artikel, die am Vortag des aktuellen Datums erschienen sind, abrufen und in einer Liste speichern.<br \/>Iteriere die in unserer Liste enthaltenen Links und erstelle eine weitere Liste, die f\u00fcr jeden Artikel ein W\u00f6rterbuch mit :<\/p><ul><li>Titel des ArtikelsDas Datum, an dem er erschienen ist<\/li><li>Die Autoren<\/li><li>Die Abs\u00e4tze des Artikels<\/li><li>Die Kategorie<\/li><li>Der Link zu dem Artikel<\/li><li>Eine schnelle visuelle Analyse unseres Textkorpus durchf\u00fchren<\/li><\/ul>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-58c8c85 e-flex e-con-boxed e-con\" data-id=\"58c8c85\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-3b2bdacd elementor-widget elementor-widget-heading\" data-id=\"3b2bdacd\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Schritt 1: Verwende Selenium, um auf die Artikel des Vortags zuzugreifen.<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-375599cf elementor-widget elementor-widget-text-editor\" data-id=\"375599cf\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Zun\u00e4chst wollen wir uns mit der Struktur der Url des euronews-Archivs besch\u00e4ftigen. Um die Artikel eines bestimmten Tages abzurufen, hat die Url die Form: https:\/\/www.euronews.com\/{years}\/{month}\/{days}.<\/p><p>Wir stellen auch fest, dass es eine Paginierung mit 30 Artikeln pro Seite gibt und dass es bei mehr als 30 Artikeln m\u00f6glich ist, von einer Seite zur n\u00e4chsten zu wechseln, indem man einen Query-Param in die Url einf\u00fcgt: https:\/\/www.euronews.com\/{years}\/{month}\/{days}?p={page}.<\/p><p>Foto zum Einf\u00fcgen :<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-6def6522 elementor-widget elementor-widget-image\" data-id=\"6def6522\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-image{text-align:center}.elementor-widget-image a{display:inline-block}.elementor-widget-image a img[src$=\".svg\"]{width:48px}.elementor-widget-image img{vertical-align:middle;display:inline-block}<\/style>\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"703\" height=\"494\" src=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image9.png\" class=\"attachment-full size-full wp-image-175654\" alt=\"\" srcset=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image9.png 703w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image9-300x211.png 300w\" sizes=\"(max-width: 703px) 100vw, 703px\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1f78535e elementor-widget elementor-widget-text-editor\" data-id=\"1f78535e\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Um das Datum des Vortags abzurufen, verwenden wir die Bibliothek datetime und erstellen drei Variablen, die das Jahr, den Monat und den Tag enthalten.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-13f8b5fc elementor-widget elementor-widget-shortcode\" data-id=\"13f8b5fc\" data-element_type=\"widget\" data-widget_type=\"shortcode.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-shortcode\"><script src=\"https:\/\/gist.github.com\/maelysBB\/888cad7dab9cecbfa281b354e8ec52be.js\"><\/script><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-609d27a0 elementor-widget elementor-widget-text-editor\" data-id=\"609d27a0\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Wir testen die Selenium-Bibliothek, indem wir einen Chrome Webdriver initialisieren. Der unten stehende Code erm\u00f6glicht es uns, mit Selenium automatisch alles auszuf\u00fchren, was wir manuell tun w\u00fcrden: den Browser \u00f6ffnen, die Euronews-Seite mit den Artikeln des Vortags aufrufen, auf die Schaltfl\u00e4che zum Akzeptieren von Cookies klicken und auf der Seite scrollen.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-6080da71 elementor-widget elementor-widget-shortcode\" data-id=\"6080da71\" data-element_type=\"widget\" data-widget_type=\"shortcode.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-shortcode\"><script src=\"https:\/\/gist.github.com\/maelysBB\/88df6c9ce52adcb1aa96f0e2afbc7a7b.js\"><\/script><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-7b3e69ca elementor-widget elementor-widget-text-editor\" data-id=\"7b3e69ca\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Die Funktion scroll wurde in einer Zelle weiter oben im Notebook definiert:<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-a6c630f elementor-widget elementor-widget-shortcode\" data-id=\"a6c630f\" data-element_type=\"widget\" data-widget_type=\"shortcode.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-shortcode\"><script src=\"https:\/\/gist.github.com\/maelysBB\/d02d6ab0f3d82d13ee7629c5c66a873f.js\"><\/script><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-34c75d2b e-flex e-con-boxed e-con\" data-id=\"34c75d2b\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-723cdc16 elementor-widget elementor-widget-heading\" data-id=\"723cdc16\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Schritt 2: Links aus den Artikeln abrufen<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-45509aad elementor-widget elementor-widget-text-editor\" data-id=\"45509aad\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Wir stellen fest, dass die Anzahl der Artikel f\u00fcr einen bestimmten Tag auf der Webseite steht, damit wir wissen, von welcher Seite wir die Artikel abrufen m\u00fcssen:<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-2dc6d43 elementor-widget elementor-widget-image\" data-id=\"2dc6d43\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"697\" height=\"263\" src=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image4-1.png\" class=\"attachment-full size-full wp-image-175655\" alt=\"\" srcset=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image4-1.png 697w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image4-1-300x113.png 300w\" sizes=\"(max-width: 697px) 100vw, 697px\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-6a44b915 elementor-widget elementor-widget-text-editor\" data-id=\"6a44b915\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Unabh\u00e4ngig von den verwendeten Web-Scraping-Bibliotheken ist es notwendig, die Seite zu inspizieren, um die Elemente der Webseite zu identifizieren, die f\u00fcr uns von Interesse sind. Wir k\u00f6nnen dies \u00fcber CSS-Selektoren tun.<\/p><p>Um eine Seite zu inspizieren, klicke mit der rechten Maustaste und dann auf &#8222;Inspizieren&#8220; oder verwende den Shortcut Strg + Cmd + C unter macOS oder Strg + Shift + C unter Windows und Linux.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-3247066c elementor-widget elementor-widget-text-editor\" data-id=\"3247066c\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Mit der BY-Klasse von Selenium (die wir anstelle der .find_elements_by-Methode verwenden werden) haben wir die Wahl zwischen verschiedenen Arten von Eigenschaften, um ein Element auf einer Webseite zu lokalisieren, unter anderem:<\/p><ul><li>Die ID des Elements<\/li><li>Der Name des Elements<\/li><li>Der Name des Tags<\/li><li>Seinen Xpath<\/li><li>Seine Klasse<\/li><\/ul><p>Nach der Inspektion sehen wir, dass sich der Elementz\u00e4hler im ersten strong-Tag der Klasse &#8222;c-block-listing__results&#8220; befindet.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-426d48d2 elementor-widget elementor-widget-image\" data-id=\"426d48d2\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"1007\" height=\"461\" src=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image3-1.png\" class=\"attachment-full size-full wp-image-175656\" alt=\"\" srcset=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image3-1.png 1007w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image3-1-300x137.png 300w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image3-1-768x352.png 768w\" sizes=\"(max-width: 1007px) 100vw, 1007px\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-2529db4c elementor-widget elementor-widget-text-editor\" data-id=\"2529db4c\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Um das Element abzurufen, werden wir seinen XPath verwenden. Der XPath ist ein XML-Pfad, der es erm\u00f6glicht, durch die HTML-Struktur einer Seite zu navigieren und jedes Element auf dieser Seite zu finden.<\/p><p>Beim Webscraping ist es besonders n\u00fctzlich, den XPath-Pfad eines Elements zu verwenden, wenn die Klasse des Elements nicht ausreicht, um es zu identifizieren, z. B. wenn wir ein Sub-Tag eines Elements einer bestimmten Klasse abrufen m\u00f6chten.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-c787a7d elementor-widget elementor-widget-shortcode\" data-id=\"c787a7d\" data-element_type=\"widget\" data-widget_type=\"shortcode.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-shortcode\"><script src=\"https:\/\/gist.github.com\/maelysBB\/212c46f5fbee135913332791a3856107.js\"><\/script><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1028ed13 elementor-widget elementor-widget-text-editor\" data-id=\"1028ed13\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Der Xpath eines HTML-Elements ist wie folgt strukturiert:<\/p><p>\/\/tag_name_of_major_element[@attribute=&#8220;Value&#8220;]\/tag_name_of_sub_element[index_of_the_sub_element]<\/p><p>Wo:<\/p><p>tag_name_of_major_element entspricht dem Haupt-Tag (div, img, p, b usw.).<br \/>attribute entspricht der Klasse oder id des Elements und value seinem Wert.<br \/>tag_name_of_sub_element entspricht dem Tag des Unter-Tags.<br \/>index_of_the_sub_element beginnt bei 1 und entspricht der Nummer des Sub-Tags. Dieser Index ist nur relevant, wenn es mehrere Unterelemente gibt, die im Haupttag enthalten sind.<\/p><p>Die Methode .text, erm\u00f6glicht uns den Zugriff auf den Wert des Textes des Elements, hier &#8222;57&#8220;.<\/p><p>Anhand der Anzahl der abgerufenen Artikel und der Paginierung auf 30, die wir beobachtet haben, berechnen wir die Anzahl der Seiten, die wir scrapen m\u00fcssen, hier 2.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-720b7ad4 elementor-widget elementor-widget-shortcode\" data-id=\"720b7ad4\" data-element_type=\"widget\" data-widget_type=\"shortcode.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-shortcode\"><script src=\"https:\/\/gist.github.com\/maelysBB\/73b301de563edf363c9f4c941709eff1.js\"><\/script><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-139216e elementor-widget elementor-widget-text-editor\" data-id=\"139216e\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Wir werden nun die Links der verschiedenen Artikel abrufen. Beim Inspizieren f\u00e4llt uns auf, dass die Links der Artikel die Klasse object__title__link haben. Wir rufen alle Elemente ab, die diese Klasse haben, und erstellen eine Liste, die f\u00fcr jedes Element den Wert des<strong> Attributs href (das den Link enth\u00e4lt)<\/strong> enth\u00e4lt, den wir mit der Methode get attribute abgerufen haben.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-74843f9c elementor-widget elementor-widget-shortcode\" data-id=\"74843f9c\" data-element_type=\"widget\" data-widget_type=\"shortcode.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-shortcode\"><script src=\"https:\/\/gist.github.com\/maelysBB\/97f046499ed29c2a0db6c99474eafcfb.js\"><\/script><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-4325085 e-flex e-con-boxed e-con\" data-id=\"4325085\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-2ca56d93 elementor-widget elementor-widget-heading\" data-id=\"2ca56d93\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Schritt 3: Scraping des Inhalts jedes Artikels<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-6f73b0bd elementor-widget elementor-widget-text-editor\" data-id=\"6f73b0bd\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Wir kommen nun zum entscheidenden Teil dieses Artikels: dem Scraping jedes einzelnen Artikels, der in der zuvor erstellten Artikelliste enthalten ist. Lass uns die Struktur der HTML-Seite inspizieren :<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-2297b346 elementor-widget elementor-widget-image\" data-id=\"2297b346\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"1280\" height=\"596\" src=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image18.png\" class=\"attachment-full size-full wp-image-175657\" alt=\"\" srcset=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image18.png 1280w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image18-300x140.png 300w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image18-1024x477.png 1024w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image18-768x358.png 768w\" sizes=\"(max-width: 1280px) 100vw, 1280px\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-39d78932 elementor-widget elementor-widget-text-editor\" data-id=\"39d78932\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Es f\u00e4llt auf, dass die uns interessierenden Kontextdaten wie Titel, Autor, Kategorie usw. immer an zweiter Stelle der Klassen stehen, die wir lokalisiert haben. An der ersten Position enth\u00e4lt das HTML n\u00e4mlich Informationen \u00fcber den vorherigen Artikel, die auf der Seite nicht angezeigt werden.<\/p><p>Mit dem folgenden Code k\u00f6nnen wir die Inhalte, die uns auf der Seite interessieren, abrufen:<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-637934e6 elementor-widget elementor-widget-shortcode\" data-id=\"637934e6\" data-element_type=\"widget\" data-widget_type=\"shortcode.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-shortcode\"><script src=\"https:\/\/gist.github.com\/maelysBB\/9de95e92205f6de93bca7ac99bc5f5c5.js\"><\/script><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-511fa8c elementor-widget elementor-widget-text-editor\" data-id=\"511fa8c\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Hier sind die verschiedenen Schritte des vorherigen Codes:<\/p><ul><li>Man greift auf jeden Artikel zu.<\/li><li>Man ruft den Text der Kontextdaten des Artikels ab (Titel, Autoren, Kategorie, Ver\u00f6ffentlichungsdatum).<\/li><li>Man ruft die Abs\u00e4tze des Artikels ab.<\/li><li>Man erstellt ein W\u00f6rterbuch mit den abgerufenen Daten.<\/li><li>Man f\u00fcgt dieses W\u00f6rterbuch zu einer Liste mit dem Namen &#8222;list_of_articles&#8220; hinzu.<br \/>Im Falle eines Fehlers speichert man den Link des Artikels in einer Liste &#8222;errors&#8220;.<\/li><\/ul><p>NB: Es f\u00e4llt auf, dass es sich bei den meisten fehlerhaften Artikeln um Videoartikel handelt, die eine andere html-Struktur haben. Im Rahmen dieses Artikels beschlie\u00dfen wir, die wenigen Fehlerf\u00e4lle nicht zu behandeln.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-76ee9c07 e-flex e-con-boxed e-con\" data-id=\"76ee9c07\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-5f11c895 elementor-widget elementor-widget-heading\" data-id=\"5f11c895\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Schritt 4: Schnelle Visualisierung<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-15893180 elementor-widget elementor-widget-text-editor\" data-id=\"15893180\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Bevor wir zum Schluss kommen, werden wir eine kurze Visualisierung der gescrappten Artikel durchf\u00fchren. Dieser Schritt k\u00f6nnte zu den ersten Schritten eines <a href=\"https:\/\/datascientest.com\/de\/nlp-natural-language-processing-eine-einfuhrung\">Natural Processing Language (NLP)-Projekts<\/a> geh\u00f6ren.<\/p><p>Zun\u00e4chst importieren wir die f\u00fcr den weiteren Verlauf notwendigen Bibliotheken und erstellen dann einen Dataframe mithilfe der W\u00f6rterbuchliste list_of_articles.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-66b18551 elementor-widget elementor-widget-shortcode\" data-id=\"66b18551\" data-element_type=\"widget\" data-widget_type=\"shortcode.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-shortcode\"><script src=\"https:\/\/gist.github.com\/maelysBB\/c37ce213912ef028f781a23d9bef25ad.js\"><\/script><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-7066d440 elementor-widget elementor-widget-text-editor\" data-id=\"7066d440\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Hier sind die ersten Zeilen des Dataframes :<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-5d1bb5eb elementor-widget elementor-widget-image\" data-id=\"5d1bb5eb\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"708\" height=\"202\" src=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image19.png\" class=\"attachment-full size-full wp-image-175658\" alt=\"\" srcset=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image19.png 708w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image19-300x86.png 300w\" sizes=\"(max-width: 708px) 100vw, 708px\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-c31159 elementor-widget elementor-widget-text-editor\" data-id=\"c31159\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Zun\u00e4chst besch\u00e4ftigen wir uns mit den verschiedenen Kategorien von Artikeln, indem wir mithilfe der <a href=\"https:\/\/datascientest.com\/de\/seaborn-alles-ueber-das-python-tool-zur-datenvisualisierung\">Seaborn-Bibliothek<\/a> die Anzahl der Artikel pro Kategorie anzeigen.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-6cb2e2df elementor-widget elementor-widget-shortcode\" data-id=\"6cb2e2df\" data-element_type=\"widget\" data-widget_type=\"shortcode.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-shortcode\"><script src=\"https:\/\/gist.github.com\/maelysBB\/08fe126f1ef2e5e422b409fd5f20ae27.js\"><\/script><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-5f9d9496 elementor-widget elementor-widget-image\" data-id=\"5f9d9496\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"878\" height=\"581\" src=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image2-2.png\" class=\"attachment-full size-full wp-image-175659\" alt=\"\" srcset=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image2-2.png 878w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image2-2-300x199.png 300w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image2-2-768x508.png 768w\" sizes=\"(max-width: 878px) 100vw, 878px\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-704d80a1 elementor-widget elementor-widget-text-editor\" data-id=\"704d80a1\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Bevor wir die <a href=\"https:\/\/datascientest.com\/de\/wordcloud-definition\">Wortwolke<\/a> anzeigen, entfernen wir die Stopwords mithilfe der Klasse stopwords aus dem Paket nltk.corpus.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-bfe0a6d elementor-widget elementor-widget-shortcode\" data-id=\"bfe0a6d\" data-element_type=\"widget\" data-widget_type=\"shortcode.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-shortcode\"><script src=\"https:\/\/gist.github.com\/maelysBB\/e187fc36689503fd9a4c3eb8cbf16ae4.js\"><\/script><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1f59346c elementor-widget elementor-widget-text-editor\" data-id=\"1f59346c\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Schlie\u00dflich definieren wir eine Funktion, um eine Wortwolke mithilfe des Moduls wordcloud zu erstellen, das als Argument unsere Reihe mit den Artikeln nimmt.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-748afee1 elementor-widget elementor-widget-shortcode\" data-id=\"748afee1\" data-element_type=\"widget\" data-widget_type=\"shortcode.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-shortcode\"><script src=\"https:\/\/gist.github.com\/maelysBB\/f87f301a2dfa3bad480d27bb0c5b1b09.js\"><\/script><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-122fe1e3 elementor-widget elementor-widget-image\" data-id=\"122fe1e3\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"509\" height=\"447\" src=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image7.png\" class=\"attachment-full size-full wp-image-175660\" alt=\"\" srcset=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image7.png 509w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image7-300x263.png 300w\" sizes=\"(max-width: 509px) 100vw, 509px\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-4b75422c elementor-widget elementor-widget-text-editor\" data-id=\"4b75422c\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Hiermit sind wir am Ende dieses Tutorials angelangt, das dir gezeigt hat, wie<strong> Selenium dir beim Scraping von Daten<\/strong> im Internet helfen kann und dir die Gelegenheit gegeben hat, eine schnelle visuelle Analyse von Textdaten durchzuf\u00fchren.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-cef27a9 elementor-widget elementor-widget-text-editor\" data-id=\"cef27a9\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Wenn du mehr \u00fcber die Hintergr\u00fcnde des Einsatzes von <a href=\"https:\/\/datascientest.com\/de\/web-scraping-theorie-und-anwendung-fuer-jedermann\"><strong>Web Scraping<\/strong><\/a> in den verschiedenen Datenberufen erfahren m\u00f6chtest, kannst du dir gerne unseren Artikel zu diesem Thema ansehen oder dich \u00fcber die Inhalte unserer verschiedenen Studieng\u00e4nge informieren.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-20ffb811 e-flex e-con-boxed e-con\" data-id=\"20ffb811\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-43bcd2c5 elementor-widget elementor-widget-html\" data-id=\"43bcd2c5\" data-element_type=\"widget\" data-widget_type=\"html.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<script type=\"application\/ld+json\">.\n{\n  \"@context\": \"https:\/\/schema.org\",\n  \"@type\": \"FAQPage\",\n  \"mainEntity\": [{{\n    \"@type\": \"Frage\",\n    \"name\": \"Was ist Web Scraping?\",\n    \"acceptedAnswer\": {\n      \"@type\": \"Answer\",\n      \"text\": \"Informationen manuell zu sammeln, z. B. indem du den Inhalt, der dich interessiert, von jeder Seite kopierst und einf\u00fcgst, ist undenkbar, wenn die Menge der zu sammelnden Informationen sehr gro\u00df ist. Gl\u00fccklicherweise ist es m\u00f6glich, das Sammeln von Inhalten im Internet mithilfe von Web Scraping zu automatisieren. Web Scraping bezeichnet das automatische Abrufen von Daten und Inhalten aus dem Internet. Python verf\u00fcgt \u00fcber mehrere Bibliotheken, die das Web Scraping erm\u00f6glichen.\"\n    }\n  },{\n    \"@type\": \"Question\",\n    \"name\": \"Warum Selenium f\u00fcr Web Scraping verwenden?\",\n    \"acceptedAnswer\": {\n      \"@type\": \"Answer\",\n      \"text\": \"Selenium ist ein Open-Source-Framework, das urspr\u00fcnglich entwickelt wurde, um automatisierte Tests in verschiedenen Browsern (Chrome, Internet Explorer, Firefox, Safari,...) durchzuf\u00fchren. Diese Bibliothek wird auch zum Web-Scraping verwendet, da sie es erm\u00f6glicht, zwischen Webseiten zu navigieren und mit den Elementen der Seite wie ein echter Benutzer zu interagieren. Auf diese Weise wird es m\u00f6glich, dynamische Webseiten zu scrapen, d. h. Seiten, die dem Nutzer je nach seinen Aktionen ein bestimmtes Ergebnis zur\u00fcckgeben.\"\n    }\n  }]\n}\n<\/script>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-35449c63 e-flex e-con-boxed e-con\" data-id=\"35449c63\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-1005303d elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"1005303d\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/de\/unsere-aus-und-weiterbildungen\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Data Science Weiterbildungen<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>Selenium Python: Was ist Web Scraping ? Als Data Scientist, Data Engineer oder Data Analyst musst du mit Datens\u00e4tzen umgehen, die in eine Anwendung, einen Machine-Learning-Algorithmus oder eine Datenanalyse einflie\u00dfen. In manchen F\u00e4llen kannst du bereits erstellte Datens\u00e4tze verwenden, aber manchmal musst du den Datensatz auch selbst zusammenstellen oder einen Datensatz vervollst\u00e4ndigen, indem du Informationen [&hellip;]<\/p>\n","protected":false},"author":67,"featured_media":175652,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"content-type":"","inline_featured_image":false},"categories":[2454],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v21.7 (Yoast SEO v21.7) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Selenium Python: Case Study zum Euronews Web Scraping<\/title>\n<meta name=\"description\" content=\"Selenium Python ist ein Tool zum Webscraping. Entdecke unsere Case Study \u00fcber Euro News und erfahre, wie sie ....\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/datascientest.com\/de\/selenium-python-case-study-zum-euronews-web-scraping\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Selenium Python: Case Study zum Euronews Web Scraping\" \/>\n<meta property=\"og:description\" content=\"Selenium Python: Was ist Web Scraping ? Als Data Scientist, Data Engineer oder Data Analyst musst du mit Datens\u00e4tzen umgehen, die in eine Anwendung, einen\" \/>\n<meta property=\"og:url\" content=\"https:\/\/datascientest.com\/de\/selenium-python-case-study-zum-euronews-web-scraping\" \/>\n<meta property=\"og:site_name\" content=\"Weiterbildung Data Science | DataScientest.com\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/DataScientestEN\" \/>\n<meta property=\"article:published_time\" content=\"2023-05-01T11:10:15+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-10-30T07:57:30+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2023\/05\/selenium-webscraping.webp\" \/>\n\t<meta property=\"og:image:width\" content=\"1024\" \/>\n\t<meta property=\"og:image:height\" content=\"421\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/webp\" \/>\n<meta name=\"author\" content=\"Melanie\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@DataScientest__\" \/>\n<meta name=\"twitter:site\" content=\"@DataScientest__\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Melanie\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"10\u00a0Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\/\/datascientest.com\/de\/selenium-python-case-study-zum-euronews-web-scraping#article\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/de\/selenium-python-case-study-zum-euronews-web-scraping\"},\"author\":{\"name\":\"Melanie\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/19d5f7ade9407eb69af3bf6d1ae1731d\"},\"headline\":\"Selenium Python: Case Study zum Euronews Web Scraping\",\"datePublished\":\"2023-05-01T11:10:15+00:00\",\"dateModified\":\"2023-10-30T07:57:30+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\/\/datascientest.com\/de\/selenium-python-case-study-zum-euronews-web-scraping\"},\"wordCount\":1601,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\/\/datascientest.com\/de\/#organization\"},\"articleSection\":[\"Data Science\"],\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\/\/datascientest.com\/de\/selenium-python-case-study-zum-euronews-web-scraping#respond\"]}],\"copyrightYear\":\"2023\",\"copyrightHolder\":{\"@id\":\"https:\/\/datascientest.com\/#organization\"}},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/datascientest.com\/de\/selenium-python-case-study-zum-euronews-web-scraping\",\"url\":\"https:\/\/datascientest.com\/de\/selenium-python-case-study-zum-euronews-web-scraping\",\"name\":\"Selenium Python: Case Study zum Euronews Web Scraping\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/de\/#website\"},\"datePublished\":\"2023-05-01T11:10:15+00:00\",\"dateModified\":\"2023-10-30T07:57:30+00:00\",\"description\":\"Selenium Python ist ein Tool zum Webscraping. Entdecke unsere Case Study \u00fcber Euro News und erfahre, wie sie ....\",\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/datascientest.com\/de\/selenium-python-case-study-zum-euronews-web-scraping\"]}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/datascientest.com\/de\/#website\",\"url\":\"https:\/\/datascientest.com\/de\/\",\"name\":\"Weiterbildung Data Science | DataScientest.com\",\"description\":\"F\u00fchrender Anbieter von Schulungen im Bereich Data Science\",\"publisher\":{\"@id\":\"https:\/\/datascientest.com\/de\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/datascientest.com\/de\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"de\"},{\"@type\":\"Organization\",\"@id\":\"https:\/\/datascientest.com\/de\/#organization\",\"name\":\"DataScientest\",\"url\":\"https:\/\/datascientest.com\/de\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/\",\"url\":\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png\",\"contentUrl\":\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png\",\"width\":301,\"height\":301,\"caption\":\"DataScientest\"},\"image\":{\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/\"},\"sameAs\":[\"https:\/\/www.facebook.com\/DataScientestEN\",\"https:\/\/twitter.com\/DataScientest__\",\"https:\/\/www.linkedin.com\/company\/datascientest-germany\/\",\"https:\/\/www.tiktok.com\/@datascientest\"]},{\"@type\":\"Person\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/19d5f7ade9407eb69af3bf6d1ae1731d\",\"name\":\"Melanie\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/8d3d660a0698de06f13ecf4823519da1?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/8d3d660a0698de06f13ecf4823519da1?s=96&d=mm&r=g\",\"caption\":\"Melanie\"},\"url\":\"https:\/\/datascientest.com\/de\/author\/melaniekrause\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Selenium Python: Case Study zum Euronews Web Scraping","description":"Selenium Python ist ein Tool zum Webscraping. Entdecke unsere Case Study \u00fcber Euro News und erfahre, wie sie ....","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/datascientest.com\/de\/selenium-python-case-study-zum-euronews-web-scraping","og_locale":"de_DE","og_type":"article","og_title":"Selenium Python: Case Study zum Euronews Web Scraping","og_description":"Selenium Python: Was ist Web Scraping ? Als Data Scientist, Data Engineer oder Data Analyst musst du mit Datens\u00e4tzen umgehen, die in eine Anwendung, einen","og_url":"https:\/\/datascientest.com\/de\/selenium-python-case-study-zum-euronews-web-scraping","og_site_name":"Weiterbildung Data Science | DataScientest.com","article_publisher":"https:\/\/www.facebook.com\/DataScientestEN","article_published_time":"2023-05-01T11:10:15+00:00","article_modified_time":"2023-10-30T07:57:30+00:00","og_image":[{"width":1024,"height":421,"url":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2023\/05\/selenium-webscraping.webp","type":"image\/webp"}],"author":"Melanie","twitter_card":"summary_large_image","twitter_creator":"@DataScientest__","twitter_site":"@DataScientest__","twitter_misc":{"Verfasst von":"Melanie","Gesch\u00e4tzte Lesezeit":"10\u00a0Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/datascientest.com\/de\/selenium-python-case-study-zum-euronews-web-scraping#article","isPartOf":{"@id":"https:\/\/datascientest.com\/de\/selenium-python-case-study-zum-euronews-web-scraping"},"author":{"name":"Melanie","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/19d5f7ade9407eb69af3bf6d1ae1731d"},"headline":"Selenium Python: Case Study zum Euronews Web Scraping","datePublished":"2023-05-01T11:10:15+00:00","dateModified":"2023-10-30T07:57:30+00:00","mainEntityOfPage":{"@id":"https:\/\/datascientest.com\/de\/selenium-python-case-study-zum-euronews-web-scraping"},"wordCount":1601,"commentCount":0,"publisher":{"@id":"https:\/\/datascientest.com\/de\/#organization"},"articleSection":["Data Science"],"inLanguage":"de","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/datascientest.com\/de\/selenium-python-case-study-zum-euronews-web-scraping#respond"]}],"copyrightYear":"2023","copyrightHolder":{"@id":"https:\/\/datascientest.com\/#organization"}},{"@type":"WebPage","@id":"https:\/\/datascientest.com\/de\/selenium-python-case-study-zum-euronews-web-scraping","url":"https:\/\/datascientest.com\/de\/selenium-python-case-study-zum-euronews-web-scraping","name":"Selenium Python: Case Study zum Euronews Web Scraping","isPartOf":{"@id":"https:\/\/datascientest.com\/de\/#website"},"datePublished":"2023-05-01T11:10:15+00:00","dateModified":"2023-10-30T07:57:30+00:00","description":"Selenium Python ist ein Tool zum Webscraping. Entdecke unsere Case Study \u00fcber Euro News und erfahre, wie sie ....","inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/datascientest.com\/de\/selenium-python-case-study-zum-euronews-web-scraping"]}]},{"@type":"WebSite","@id":"https:\/\/datascientest.com\/de\/#website","url":"https:\/\/datascientest.com\/de\/","name":"Weiterbildung Data Science | DataScientest.com","description":"F\u00fchrender Anbieter von Schulungen im Bereich Data Science","publisher":{"@id":"https:\/\/datascientest.com\/de\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/datascientest.com\/de\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"de"},{"@type":"Organization","@id":"https:\/\/datascientest.com\/de\/#organization","name":"DataScientest","url":"https:\/\/datascientest.com\/de\/","logo":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/","url":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png","contentUrl":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png","width":301,"height":301,"caption":"DataScientest"},"image":{"@id":"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/DataScientestEN","https:\/\/twitter.com\/DataScientest__","https:\/\/www.linkedin.com\/company\/datascientest-germany\/","https:\/\/www.tiktok.com\/@datascientest"]},{"@type":"Person","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/19d5f7ade9407eb69af3bf6d1ae1731d","name":"Melanie","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/8d3d660a0698de06f13ecf4823519da1?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/8d3d660a0698de06f13ecf4823519da1?s=96&d=mm&r=g","caption":"Melanie"},"url":"https:\/\/datascientest.com\/de\/author\/melaniekrause"}]}},"_links":{"self":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts\/175651"}],"collection":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/users\/67"}],"replies":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/comments?post=175651"}],"version-history":[{"count":0,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts\/175651\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/media\/175652"}],"wp:attachment":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/media?parent=175651"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/categories?post=175651"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/tags?post=175651"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}