{"id":176865,"date":"2023-05-26T21:01:51","date_gmt":"2023-05-26T20:01:51","guid":{"rendered":"https:\/\/datascientest.com\/de\/?p=176865"},"modified":"2023-10-30T09:42:41","modified_gmt":"2023-10-30T08:42:41","slug":"python-web-scraping-scrapy-alles-ueber-das-tool","status":"publish","type":"post","link":"https:\/\/datascientest.com\/de\/python-web-scraping-scrapy-alles-ueber-das-tool","title":{"rendered":"Python Web Scraping Scrapy: Alles \u00fcber das Tool"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"176865\" class=\"elementor elementor-176865\" data-elementor-post-type=\"post\">\n\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-d2665cd e-flex e-con-boxed e-con\" data-id=\"d2665cd\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-0a3ca4b elementor-widget elementor-widget-heading\" data-id=\"0a3ca4b\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-heading-title{padding:0;margin:0;line-height:1}.elementor-widget-heading .elementor-heading-title[class*=elementor-size-]>a{color:inherit;font-size:inherit;line-height:inherit}.elementor-widget-heading .elementor-heading-title.elementor-size-small{font-size:15px}.elementor-widget-heading .elementor-heading-title.elementor-size-medium{font-size:19px}.elementor-widget-heading .elementor-heading-title.elementor-size-large{font-size:29px}.elementor-widget-heading .elementor-heading-title.elementor-size-xl{font-size:39px}.elementor-widget-heading .elementor-heading-title.elementor-size-xxl{font-size:59px}<\/style><h2 class=\"elementor-heading-title elementor-size-default\">Beim Surfen im Internet ist es auf vielen Seiten nicht m\u00f6glich, Daten direkt f\u00fcr den pers\u00f6nlichen Gebrauch zu speichern. Die einfachste L\u00f6sung in diesem Fall ist einfach das manuelle Kopieren und Einf\u00fcgen der Daten, was schnell m\u00fchsam und zeitaufwendig werden kann. Aus diesem Grund werden h\u00e4ufig Web Scraping-Techniken eingesetzt, um Daten von Webseiten zu extrahieren. <\/h2>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-c187e7b elementor-widget elementor-widget-text-editor\" data-id=\"c187e7b\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-text-editor.elementor-drop-cap-view-stacked .elementor-drop-cap{background-color:#69727d;color:#fff}.elementor-widget-text-editor.elementor-drop-cap-view-framed .elementor-drop-cap{color:#69727d;border:3px solid;background-color:transparent}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap{margin-top:8px}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap-letter{width:1em;height:1em}.elementor-widget-text-editor .elementor-drop-cap{float:left;text-align:center;line-height:1;font-size:50px}.elementor-widget-text-editor .elementor-drop-cap-letter{display:inline-block}<\/style>\t\t\t\t<p><span style=\"font-weight: 400;\">Web Scraping ist die Automatisierung des Prozesses der fast automatischen Extraktion von Daten aus Webseiten. Dies geschieht mithilfe von Scraping-Tools, die oft auch als Web Scraper bezeichnet werden. Diese erm\u00f6glichen dann das Laden und Extrahieren spezifischer Daten von Websites entsprechend den Bed\u00fcrfnissen der Nutzer. Sie werden meist f\u00fcr eine einzelne Website ma\u00dfgeschneidert und dann so konfiguriert, dass sie auch mit anderen Websites funktionieren, die die gleiche Struktur haben. <\/span><\/p><p><span style=\"font-weight: 400;\">Zusammen mit der Programmiersprache Python sind <\/span><a href=\"https:\/\/pypi.org\/project\/beautifulsoup4\/\"><strong>BeautifulSoup<\/strong><\/a> <span style=\"font-weight: 400;\">und <\/span><b>Scrapy Crawler <\/b><span style=\"font-weight: 400;\">die am h\u00e4ufigsten verwendeten Tools im Bereich des Web Scrapings. In diesem Artikel werden wir einige Unterschiede zwischen den beiden Tools vorstellen und uns dann auf Scrapy konzentrieren.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-4d57a9c e-flex e-con-boxed e-con\" data-id=\"4d57a9c\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-d0a0a63 elementor-widget elementor-widget-heading\" data-id=\"d0a0a63\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Web Scraping vs Web Crawling<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1f2bfa1 elementor-widget elementor-widget-text-editor\" data-id=\"1f2bfa1\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Bevor wir zum eigentlichen Thema kommen, ist es interessant, den Unterschied zwischen den Techniken Web Scraping und Web Crawling zu verstehen:<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-73444b6 elementor-widget elementor-widget-heading\" data-id=\"73444b6\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Das Web Scraping<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-63678c7 elementor-widget elementor-widget-text-editor\" data-id=\"63678c7\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Beim <a href=\"https:\/\/datascientest.com\/de\/web-scraping-theorie-und-anwendung-fuer-jedermann\">Web Scraping<\/a> werden Roboter eingesetzt, um eine Webseite programmatisch zu analysieren und Inhalte zu extrahieren. Beim Web Scraping ist es daher notwendig, gezielt nach Daten zu suchen.<\/p><p>Beispiel f\u00fcr Web Scraping: Extraktion von Preisen f\u00fcr verschiedene spezifische Produkte auf der Amazon-Website oder einer anderen <a href=\"https:\/\/datascientest.com\/de\/die-verwendung-von-data-science-im-e-commerce\">E-Commerce-Website.<\/a><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-8910fe4 elementor-widget elementor-widget-heading\" data-id=\"8910fe4\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Das Web Crawling<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-f9771ce elementor-widget elementor-widget-text-editor\" data-id=\"f9771ce\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Der Begriff Crawling wird als Analogie zur Art und Weise verwendet, wie eine Spinne krabbelt (dies ist auch der Grund, warum Webcrawler oft als Spider bezeichnet werden).<\/p><p>Web Crawling Tools werden auch Roboter (Bots, die Crawler genannt werden) einsetzen, um das World Wide Web systematisch zu durchsuchen, normalerweise mit dem Ziel, es zu indexieren.<\/p><p>Dabei wird eine Seite in ihrer Gesamtheit betrachtet und jedes Element auf ihr referenziert, einschlie\u00dflich des letzten Buchstabens und des letzten Punktes der Seite. Die verwendeten Bots werden dann, w\u00e4hrend sie durch Unmengen von Daten und Informationen navigieren, die Informationen, die sich in den tiefsten Schichten befinden, lokalisieren und abrufen.<\/p><p>Als Beispiel f\u00fcr <strong>Web Crawling-Tools<\/strong> k\u00f6nnen alle Suchmaschinen wie Google, Yahoo oder Bing genannt werden. Diese crawlen Webseiten und nutzen die extrahierten Informationen, um diese zu indexieren.<\/p><p>\u00a0<\/p><p>Auch interessant:<\/p><table dir=\"ltr\" border=\"1\" cellspacing=\"0\" cellpadding=\"0\"><colgroup><col width=\"268\" \/><\/colgroup><tbody><tr><td data-sheets-value=\"{&quot;1&quot;:2,&quot;2&quot;:&quot;Deep Neural Network&quot;}\" data-sheets-hyperlink=\"https:\/\/datascientest.com\/de\/deep-neural-network\"><a class=\"in-cell-link\" href=\"https:\/\/datascientest.com\/de\/deep-neural-network\" target=\"_blank\" rel=\"noopener\">Deep Neural Network<\/a><\/td><\/tr><tr><td data-sheets-value=\"{&quot;1&quot;:2,&quot;2&quot;:&quot;Deep Learning vs. Machine Learning&quot;}\" data-sheets-hyperlink=\"https:\/\/datascientest.com\/de\/deep-learning-vs-machine-learning\"><a class=\"in-cell-link\" href=\"https:\/\/datascientest.com\/de\/deep-learning-vs-machine-learning\" target=\"_blank\" rel=\"noopener\">Deep Learning vs. Machine Learning<\/a><\/td><\/tr><tr><td data-sheets-value=\"{&quot;1&quot;:2,&quot;2&quot;:&quot;Deep Learning - was ist das eigentlich ?&quot;}\" data-sheets-hyperlink=\"https:\/\/datascientest.com\/de\/deep-learning-oder-tiefes-lernen-was-ist-das-denn\"><a class=\"in-cell-link\" href=\"https:\/\/datascientest.com\/de\/deep-learning-oder-tiefes-lernen-was-ist-das-denn\" target=\"_blank\" rel=\"noopener\">Deep Learning &#8211; was ist das eigentlich ?<\/a><\/td><\/tr><tr><td data-sheets-value=\"{&quot;1&quot;:2,&quot;2&quot;:&quot;Deep Fake Gefahren&quot;}\" data-sheets-hyperlink=\"https:\/\/datascientest.com\/de\/deep-fake-gefahren-massnahmen-und-rechtslage\"><a class=\"in-cell-link\" href=\"https:\/\/datascientest.com\/de\/deep-fake-gefahren-massnahmen-und-rechtslage\" target=\"_blank\" rel=\"noopener\">Deep Fake Gefahren<\/a><\/td><\/tr><tr><td data-sheets-value=\"{&quot;1&quot;:2,&quot;2&quot;:&quot;Python Deep Learning Basics&quot;}\" data-sheets-hyperlink=\"https:\/\/datascientest.com\/de\/python-deep-learning-die-basics\"><a class=\"in-cell-link\" href=\"https:\/\/datascientest.com\/de\/python-deep-learning-die-basics\" target=\"_blank\" rel=\"noopener\">Python Deep Learning Basics<\/a><\/td><\/tr><tr><td data-sheets-value=\"{&quot;1&quot;:2,&quot;2&quot;:&quot;Style Transfer Deep Learning&quot;}\" data-sheets-hyperlink=\"https:\/\/datascientest.com\/de\/style-transfer-deep-learning\"><a class=\"in-cell-link\" href=\"https:\/\/datascientest.com\/de\/style-transfer-deep-learning\" target=\"_blank\" rel=\"noopener\">Style Transfer Deep Learning<\/a><\/td><\/tr><\/tbody><\/table>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-2a45895 e-flex e-con-boxed e-con\" data-id=\"2a45895\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-b0612a5 elementor-widget elementor-widget-heading\" data-id=\"b0612a5\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">BeautifulSoup vs Scrapy<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-4520f7a elementor-widget elementor-widget-text-editor\" data-id=\"4520f7a\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Weiter geht es mit einem kurzen Vergleich zwischen BeautifulSoup und Scrapy, den beiden meistgenutzten Bibliotheken f\u00fcr Web Scraping.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-e7afc24 elementor-widget elementor-widget-heading\" data-id=\"e7afc24\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">- BeautifulSoup<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-18f2cbe elementor-widget elementor-widget-text-editor\" data-id=\"18f2cbe\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>BeautifulSoup ist eine beliebte <a href=\"https:\/\/datascientest.com\/de\/top-10-der-python-bibliotheken-fur-data-scientists\">Python-Bibliothek<\/a>, mit der du <strong>HTML- oder XML-Dokumente<\/strong> analysieren kannst, um sie mithilfe einer Baumstruktur oder in Form eines W\u00f6rterbuchs zu beschreiben. Diese erm\u00f6glicht es dann, bestimmte Daten auf Webseiten leicht zu finden und zu extrahieren. BeautifulSoup ist recht einfach zu erlernen und verf\u00fcgt \u00fcber eine gute und umfassende Dokumentation, die das Lernen leicht macht.<\/p><h4>Die Vorteile von BeautifulSoup :<\/h4><p>Sehr gute Dokumentation (sehr hilfreich, wenn man gerade erst anf\u00e4ngt).<br \/>Gro\u00dfe Gemeinschaft von Nutzern.<br \/>F\u00fcr Anf\u00e4nger leicht zu erlernen und zu beherrschen.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1115df9 elementor-widget elementor-widget-text-editor\" data-id=\"1115df9\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<h4>Nachteile:<\/h4><p>Abh\u00e4ngigkeit von anderen externen Python-Bibliotheken.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-03e5d86 elementor-widget elementor-widget-heading\" data-id=\"03e5d86\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Scrapy<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1d2cfb2 elementor-widget elementor-widget-text-editor\" data-id=\"1d2cfb2\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Scrapy ist ein kompletter <a href=\"https:\/\/datascientest.com\/de\/open-source-definition\">Open-Source-Framework<\/a> und geh\u00f6rt zu den leistungsf\u00e4higsten Bibliotheken, die f\u00fcr die Datenextraktion im Internet verwendet werden. Scrapy enth\u00e4lt nativ Funktionen, um Daten aus HTML- oder XML-Quellen mithilfe von CSS- und XPath-Ausdr\u00fccken zu extrahieren.<\/p><h4>Einige Vorteile von Scrapy :<\/h4><p>Effizient in Bezug auf Speicher und CPU.<br \/>Eingebaute Funktionen f\u00fcr die Datenextraktion.<br \/>Leicht erweiterbar f\u00fcr gro\u00dfe Projekte.<br \/>Ziemlich leistungsstark und schnell im Vergleich zu anderen Bibliotheken.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-e713819 elementor-widget elementor-widget-text-editor\" data-id=\"e713819\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Als Nachteile sind die geringe Dokumentation zu nennen, die Anf\u00e4nger entmutigen kann.<\/p><p>Um alle oben genannten Punkte zusammenzufassen:<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-624c6f1 elementor-widget__width-initial elementor-widget elementor-widget-html\" data-id=\"624c6f1\" data-element_type=\"widget\" data-widget_type=\"html.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style type=\"text\/css\">\n.tg {border-collapse:collapse;border-spacing:0;}\n.tg td{border-color:black;border-style:solid;border-width:1px;font-family:Arial, sans-serif;font-size:14px;\n  overflow:hidden;padding:10px 5px;word-break:normal;}\n.tg th{border-color:black;border-style:solid;border-width:1px;font-family:Arial, sans-serif;font-size:14px;\n  font-weight:normal;overflow:hidden;padding:10px 5px;word-break:normal;}\n.tg .tg-8xxg{background-color:#9b9b9b;border-color:inherit;font-size:22px;font-weight:bold;text-align:center;vertical-align:top}\n.tg .tg-0pky{border-color:inherit;text-align:left;vertical-align:top}\n<\/style>\n<table class=\"tg\" style=\"undefined;table-layout: fixed; width: 800px\">\n<colgroup>\n<col style=\"width: 400px\">\n<col style=\"width: 400px\"><\/col>\n<\/colgroup>\n<thead>\n  <tr>\n    <th class=\"tg-8xxg\">Scrapy<\/th>\n    <th class=\"tg-8xxg\">BeautifulSoup<\/th>\n  <\/tr>\n<\/thead>\n<tbody>\n  <tr>\n    <td class=\"tg-0pky\">\n        <ul>\n        <li>Ein Framework<br><\/li>\n        <li>Hohe Verarbeitungsgeschwindigkeit durch eingebaute Funktionen<br><\/li>\n        <li>Beste Wahl f\u00fcr komplexe Projekte und Aufgaben<br><\/li>\n        <li>Scrapy ist komplexer als BeautifulSoup<br><\/li>\n        <li>Funktioniert viel mehr wie ein Referenzierer (Spider = Python-Klassen, mit denen man definieren kann, was man referenzieren soll, wie man es tun soll und wie man die Informationen extrahieren kann)<br><\/li>\n        <li>Einbindung von Funktionen zur Erstellung von Pipelines<\/li><br>\n        <\/ul>\n        <\/td>\n    <td class=\"tg-0pky\">\n        <ul>\n        <li>Python-Library \/ -Modul<br><\/li>\n        <li>Kann je nach Komplexit\u00e4t der Aufgabe langsam werden<br><\/li>\n        <li>Ideal f\u00fcr kleine Projekte<br><\/li>\n        <li>Ideal f\u00fcr Anf\u00e4nger<br><\/li>\n        <li> Wird als Synthax-Parser betrachtet. <br><\/li>\n        <\/ul>\n        <\/td>\n  <\/tr>\n<\/tbody>\n<\/table>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-684640a elementor-widget elementor-widget-image\" data-id=\"684640a\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-image{text-align:center}.elementor-widget-image a{display:inline-block}.elementor-widget-image a img[src$=\".svg\"]{width:48px}.elementor-widget-image img{vertical-align:middle;display:inline-block}<\/style>\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/04\/image3-2.png\" title=\"\" alt=\"\" loading=\"lazy\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-bc33161 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"bc33161\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/de\/unsere-aus-und-weiterbildungen\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Scrapy und BeautifulSoup lernen<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-7ee7baa e-flex e-con-boxed e-con\" data-id=\"7ee7baa\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-5fddbeef elementor-widget elementor-widget-heading\" data-id=\"5fddbeef\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Scrapy-Architektur<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-228a5d84 elementor-widget elementor-widget-text-editor\" data-id=\"228a5d84\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Wenn ein Projekt erstellt wird, gibt es verschiedene Dateien, die mit den Hauptkomponenten von Scrapy interagieren. Die Architektur von <strong>Scrapy,<\/strong> wie sie in der offiziellen Dokumentation beschrieben wird, ist unten zu sehen:<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-68b442fa elementor-widget elementor-widget-image\" data-id=\"68b442fa\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"1042\" height=\"621\" src=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image9-1.png\" class=\"attachment-full size-full wp-image-176868\" alt=\"\" srcset=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image9-1.png 1042w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image9-1-300x179.png 300w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image9-1-1024x610.png 1024w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image9-1-768x458.png 768w\" sizes=\"(max-width: 1042px) 100vw, 1042px\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-47230a31 elementor-widget elementor-widget-text-editor\" data-id=\"47230a31\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Wenn wir das Architekturdiagramm von Scrapy analysieren, sehen wir, dass sein zentrales Element, die Engine oder der Motor, vier ausf\u00fchrende Komponenten steuert:<\/p><ul><li>Die Spiders<\/li><li>Die Item Pipelines<\/li><li>Der Downloader<\/li><li>Der Scheduler<\/li><\/ul>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-64e9df61 elementor-widget elementor-widget-text-editor\" data-id=\"64e9df61\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Zu Beginn des Prozesses erfolgt die Kommunikation \u00fcber die Spider, die Anfragen (mit den zu scrappenden URLs und den zu extrahierenden Informationen) an die Engine weiterleiten. Die Engine leitet die Anfrage an den Scheduler weiter, der sie in der Warteschlange speichert (wenn mehrere <strong>URLs<\/strong> \u00fcbertragen werden).<\/p><p>Die Engine wird auch Anfragen vom Scheduler, der die Aufgaben zuvor angeordnet hat, empfangen, um sie an das Downloader-Modul weiterzuleiten, das den HTML-Code der Seite herunterl\u00e4dt und ihn in ein Response-Objekt umwandelt.<\/p><p>Das Response-Objekt wird dann an den Spider und dann an das ItemPipeline-Modul weitergeleitet. Dieser Vorgang wiederholt sich f\u00fcr die verschiedenen URL-Links der Webseiten.<\/p><p>Die Rollen der Komponenten k\u00f6nnen nun besser definiert werden:<\/p><ul><li>Spiders: Die Klassen, die die verschiedenen Methoden des Scrappings durch die Benutzer definieren. Die Methoden werden dann von Scrapy bei Bedarf aufgerufen.<\/li><li>Scrapy Engine: Kontrolliert den Datenfluss und l\u00f6st alle Ereignisse aus.<\/li><li>Scheduler: Kommuniziert mit der Engine \u00fcber die Reihenfolge der auszuf\u00fchrenden Aufgaben.<\/li><li>Downloader: Empf\u00e4ngt Anfragen von der Engine, um den Inhalt von Webseiten herunterzuladen.<\/li><li>ItemPipeline: Abfolgen von Transformationsschritten (zur Bereinigung, Validierung von Daten oder zum Einf\u00fcgen in eine Datenbank), die auf die extrahierten Rohdaten angewendet werden.<\/li><\/ul>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-cbc01db e-flex e-con-boxed e-con\" data-id=\"cbc01db\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-20ccfe9 elementor-widget elementor-widget-heading\" data-id=\"20ccfe9\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Installation von Scrapy<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-2e33395 elementor-widget elementor-widget-text-editor\" data-id=\"2e33395\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Die Installation von Scrapy ist recht einfach. F\u00fchre einfach den folgenden Befehl in einem Ubuntu-Terminal aus. Du kannst die Entsprechungen dieser Befehle f\u00fcr andere Betriebssysteme leicht finden:<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-61ddd27 elementor-widget elementor-widget-text-editor\" data-id=\"61ddd27\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p># Erstellen einer virtuellen Umgebung (OPTIONAL)<br \/>virtualenv scrapy_env<\/p><p># Aktivierung der Umgebung (OPTIONAL).<br \/>source scrapy_env\/bin\/active<\/p><p># Installation von Scrapy<br \/>pip install scrapy<\/p><p># Test zur \u00dcberpr\u00fcfung der Installation.<br \/>scrapy<\/p><p># F\u00fchre einen schnellen Benchmark-Test durch, um zu sehen, wie Scrappy auf deiner Hardware funktioniert.<br \/>scrapy bench<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-97b53a0 e-flex e-con-boxed e-con\" data-id=\"97b53a0\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-76d08a7 elementor-widget elementor-widget-heading\" data-id=\"76d08a7\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Die Scrapy-Eingabeaufforderung <\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-02c0b90 elementor-widget elementor-widget-text-editor\" data-id=\"02c0b90\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>In der Experimentierphase, d.h. wenn wir nach der Syntax des auszuf\u00fchrenden Codes suchen, um Informationen aus Internetseiten zu extrahieren, hat Scrapy eine spezielle Eingabeaufforderung, die es uns erlaubt, interaktiv mit der Engine zu interagieren: die Scrapy Shell.<\/p><p>Die <strong>Scrapy Shell<\/strong> ist auf Python aufgebaut, sodass wir jedes Modul, das wir ben\u00f6tigen, importieren k\u00f6nnen.<\/p><p>Um auf diese Eingabeaufforderung zuzugreifen (nachdem Scrapy installiert wurde), f\u00fchre einfach den folgenden Befehl aus:<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-cb696a6 elementor-widget elementor-widget-text-editor\" data-id=\"cb696a6\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p># Ouvrir le shell scrapy<br \/>scrapy shell &#8222;URL-de-la-page-internet&#8220;<br \/># exemple: scrapy shell &#8222;https:\/\/www.ville-ideale.fr\/abries_5001&#8220;<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-4b1805f elementor-widget elementor-widget-text-editor\" data-id=\"4b1805f\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Nach dem Start kannst du in der Shell die Befehle ausf\u00fchren, die die Informationen \u00fcber die angegebene Seite extrahieren. Wir k\u00f6nnen dann interaktiv verschiedene Befehle und Extraktionsans\u00e4tze ausprobieren.<\/p><p>Am Ende der Experimente werden die Codezeilen f\u00fcr die Extraktion in einer Spider-Klasse zur Automatisierung zusammengefasst.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-4b04086 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"4b04086\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/de\/unsere-aus-und-weiterbildungen\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Scrapy lernen<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-503800d e-flex e-con-boxed e-con\" data-id=\"503800d\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-6b709bf elementor-widget elementor-widget-heading\" data-id=\"6b709bf\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Die CSS- und XPATH-Selektoren<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-9000689 elementor-widget elementor-widget-text-editor\" data-id=\"9000689\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Beim Erstellen einer Spider-Klasse ist der wichtigste Schritt, den Code zu erstellen, der f\u00fcr das Abrufen der Daten verantwortlich ist (der Code, der im vorherigen Schritt von der Scrapy-Shell aus bestimmt wurde).<\/p><p>Um anzugeben, welche Daten von der Website von Scrapy heruntergeladen werden sollen, k\u00f6nnen wir :<\/p><h5>XPath-Selektoren:<\/h5><p>XPath-Selektoren werden beim Web Scraping aufgrund ihrer gro\u00dfen Bandbreite an M\u00f6glichkeiten sehr h\u00e4ufig verwendet. Zum Beispiel:<\/p><ul><li>Das genaue Element angeben, das von der Seite extrahiert werden soll.<\/li><li>Den mit einem Element verbundenen Text abrufen.<\/li><li>Das \u00fcbergeordnete oder untergeordnete Element herunterladen.<\/li><li>Benachbarte Elemente herunterladen.<br \/>Elemente herunterladen, die mit Schl\u00fcsselw\u00f6rtern beginnen\/enden.<\/li><li>Elemente abrufen, deren Attribute eine mathematische Bedingung erf\u00fcllen.<\/li><\/ul>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-0d4b86d elementor-widget elementor-widget-text-editor\" data-id=\"0d4b86d\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<ul><li aria-level=\"1\"><p>Die CSS-Selektoren:<\/p><p><strong>CSS-Selektoren<\/strong> sind eine einfachere Alternative f\u00fcr Anf\u00e4nger, insbesondere f\u00fcr diejenigen, die mit den CSS-Befehlen vertraut sind. CSS-Selektoren haben etwas weniger M\u00f6glichkeiten als XPath, aber im Fall von Scrapy wurden sie um eine zus\u00e4tzliche Syntax erweitert, die es erm\u00f6glicht, ein bestimmtes Elementattribut abzurufen.<\/p><\/li><li aria-level=\"1\"><p>Bibliothek BeautifulSoup:<\/p><p>Da Scrapy in Python geschrieben ist, ist es m\u00f6glich, bei Bedarf andere Bibliotheken zu importieren, um bestimmte Aufgaben zu erledigen. Dies ist der Fall bei der BeautifulSoup-Bibliothek, die bei der Definition der Datenextraktionsklassen (Spiders) verwendet (und somit importiert) werden kann.<\/p><\/li><\/ul>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-591fdac e-flex e-con-boxed e-con\" data-id=\"591fdac\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-2aba85e8 elementor-widget elementor-widget-heading\" data-id=\"2aba85e8\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Beispiel f\u00fcr die Datenextraktion mit Scrapy<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-574d96e9 elementor-widget elementor-widget-text-editor\" data-id=\"574d96e9\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Um dir einen konkreten Einblick in die M\u00f6glichkeiten von Scrapy zu geben, werden wir einige Daten \u00fcber DataScientest von der Website <a href=\"https:\/\/fr.trustpilot.com\/review\/datascientest.com\">https:\/\/fr.trustpilot.com\/review\/datascientest.com<\/a> abrufen.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-489c7c27 elementor-widget elementor-widget-image\" data-id=\"489c7c27\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"1240\" height=\"664\" src=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image2-3.png\" class=\"attachment-full size-full wp-image-176869\" alt=\"\" srcset=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image2-3.png 1240w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image2-3-300x161.png 300w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image2-3-1024x548.png 1024w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image2-3-768x411.png 768w\" sizes=\"(max-width: 1240px) 100vw, 1240px\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-12d9071a elementor-widget elementor-widget-text-editor\" data-id=\"12d9071a\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Die Idee ist, alle Kommentare und Bewertungen von Lernenden, die auf trustpilot verf\u00fcgbar sind, in einer einzigen CSV-Datei zusammenzufassen. Wir werden uns der Einfachheit halber auf die Bewertungen beschr\u00e4nken, die auf Deutsch abgegeben wurden.<\/p><p>Die empfohlene Methodik f\u00fcr das Web Scraping mit Scrapy :<\/p><ul><li>Analysiere und lokalisiere auf der Internetseite die verschiedenen Informationen, die du extrahieren willst.<\/li><li>Prototype in der Scrapy Shell die verschiedenen Befehle, um jedes der zu extrahierenden Elemente, die im vorherigen Schritt identifiziert wurden, zu extrahieren.<\/li><li>Erstelle ein <strong>Scrapy-Projekt<\/strong> und erstelle den Spider (um festzulegen, wie die Informationen von allen Seiten extrahiert werden sollen).<\/li><li>Den Spider auf einer Seite testen <br \/>Den Spider auf alle Seiten anwenden, um alle Informationen abzurufen.<\/li><\/ul>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-3defe358 elementor-widget elementor-widget-heading\" data-id=\"3defe358\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Step 1: Analyse und Lokalisierung der zu extrahierenden Informationen<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-453e88ae elementor-widget elementor-widget-text-editor\" data-id=\"453e88ae\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Das Ziel dieses recht manuellen Schrittes ist es einfach, n\u00fctzliche Informationen zu finden und die dazugeh\u00f6rigen <strong>HTML-Tags<\/strong> zu identifizieren. Wenn wir uns auf einen Beitrag konzentrieren (unten) :<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-628a12b7 elementor-widget elementor-widget-image\" data-id=\"628a12b7\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"930\" height=\"379\" src=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image12.png\" class=\"attachment-full size-full wp-image-176870\" alt=\"\" srcset=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image12.png 930w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image12-300x122.png 300w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image12-768x313.png 768w\" sizes=\"(max-width: 930px) 100vw, 930px\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-af49fa7 elementor-widget elementor-widget-text-editor\" data-id=\"af49fa7\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Wir werden uns mit den unten stehenden Informationen besch\u00e4ftigen:<\/p><ul><li>Der Kommentar<\/li><li>Das Datum des Kommentars<\/li><li>Das Datum der Ausbildung<\/li><li>Der Titel des Kommentars<\/li><li>Die Anmerkung<\/li><\/ul>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1366ac5a elementor-widget elementor-widget-text-editor\" data-id=\"1366ac5a\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Um auf den <strong>HTML-Code der Seite zuzugreifen, klickst du (im Edge- oder Firefox-Browser)<\/strong> einfach mit der rechten Maustaste auf die Seite und klickst auf die Option inspizieren. Auf der rechten Seite werden die verschiedenen Tags angezeigt, die den verschiedenen Elementen der Seite zugeordnet sind.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-710a8042 elementor-widget elementor-widget-image\" data-id=\"710a8042\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"1999\" height=\"750\" src=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image6-2.png\" class=\"attachment-full size-full wp-image-176871\" alt=\"\" srcset=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image6-2.png 1999w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image6-2-300x113.png 300w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image6-2-1024x384.png 1024w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image6-2-768x288.png 768w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image6-2-1536x576.png 1536w\" sizes=\"(max-width: 1999px) 100vw, 1999px\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-5daf09f3 elementor-widget elementor-widget-text-editor\" data-id=\"5daf09f3\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Um direkt auf den Tag zuzugreifen, der mit einem bestimmten Element verkn\u00fcpft ist, w\u00e4hle einfach das Element aus und wiederhole die vorherige Manipulation (Rechtsklick + inspizieren).<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-73c34c3b elementor-widget elementor-widget-image\" data-id=\"73c34c3b\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"1999\" height=\"1333\" src=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image8.png\" class=\"attachment-full size-full wp-image-176872\" alt=\"\" srcset=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image8.png 1999w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image8-300x200.png 300w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image8-1024x683.png 1024w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image8-768x512.png 768w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image8-1536x1024.png 1536w\" sizes=\"(max-width: 1999px) 100vw, 1999px\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-5d1932cc elementor-widget elementor-widget-text-editor\" data-id=\"5d1932cc\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Um z. B. das Tag f\u00fcr den Titel zu erhalten, kannst du nach der Manipulation das Haupt-Tag f\u00fcr den Titel des nebenstehenden Kommentars lesen: .typography_heading-s__f7029. Dies ist ein CSS-Tag (man spricht auch von einem CSS-Selektor), aus dem nur der Text extrahiert werden kann.<\/p><p>Dieser Vorgang wird f\u00fcr alle Elemente, die du extrahieren willst, wiederholt, um jedem Element das entsprechende CSS-Tag zuzuordnen.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-28f13d elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"28f13d\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/de\/unsere-aus-und-weiterbildungen\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Scrapy Weiterbildung<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-74bed0a1 elementor-widget elementor-widget-heading\" data-id=\"74bed0a1\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Schritt 2: Experimentieren mit der Scrapy Shell<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-5ab46e2c elementor-widget elementor-widget-text-editor\" data-id=\"5ab46e2c\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Sobald die Tags eindeutig identifiziert sind, k\u00f6nnen wir die Scrapy-Eingabeaufforderung betreten, um die Befehle zum Extrahieren vollst\u00e4ndig zu definieren.<\/p><p>Um die Scrapy Shell zu betreten, geben wir den folgenden Befehl ein (nachdem wir die virtuelle Umgebung aktiviert haben):<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-2d5975ec elementor-widget elementor-widget-text-editor\" data-id=\"2d5975ec\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p># \u00d6ffnet die Scrapy Shell auf der trustpilot-Website.<br \/>scrapy shell &#8222;https:\/\/fr.trustpilot.com\/review\/datascientest.com&#8220;.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1718e83a elementor-widget elementor-widget-text-editor\" data-id=\"1718e83a\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Der obige Befehl erm\u00f6glicht Folgendes:<\/p><ul><li>Alle Elemente der angegebenen Seite mithilfe der Scrapy-API abrufen.<\/li><li>Diese Elemente werden in einer Variablen &#8222;response&#8220; gespeichert.<\/li><li>Scrapy Shell \u00f6ffnen<\/li><\/ul>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-4259322c elementor-widget elementor-widget-text-editor\" data-id=\"4259322c\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>In der Variablen &#8222;response&#8220; k\u00f6nnen wir mithilfe der <strong>CSS-Selektoren<\/strong>, die wir im vorherigen Schritt identifiziert haben, die Informationen, nach denen wir suchen, genau abrufen.<\/p><p>Um die Informationen auf einfache und iterative Weise zu extrahieren (und sicherzustellen, dass die Informationen, die mit jedem Kommentar verbunden sind, einfach abgerufen werden), ist das erste Element, das wir extrahieren werden, die Liste aller Informationsblock-Selektoren auf einer Seite.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-730d68a3 elementor-widget elementor-widget-image\" data-id=\"730d68a3\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"601\" height=\"415\" src=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image5-1.png\" class=\"attachment-full size-full wp-image-176873\" alt=\"\" srcset=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image5-1.png 601w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image5-1-300x207.png 300w\" sizes=\"(max-width: 601px) 100vw, 601px\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-430a8c2e elementor-widget elementor-widget-text-editor\" data-id=\"430a8c2e\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Der CSS-Selektor, der einem Block zugeordnet ist, lautet wie folgt: .styles_reviewContentwrapper__zH_9M&#8216;.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-3af732a2 elementor-widget elementor-widget-image\" data-id=\"3af732a2\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"1999\" height=\"1333\" src=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image4-3.png\" class=\"attachment-full size-full wp-image-176874\" alt=\"\" srcset=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image4-3.png 1999w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image4-3-300x200.png 300w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image4-3-1024x683.png 1024w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image4-3-768x512.png 768w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image4-3-1536x1024.png 1536w\" sizes=\"(max-width: 1999px) 100vw, 1999px\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-3554430 elementor-widget elementor-widget-text-editor\" data-id=\"3554430\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Wir k\u00f6nnen dann den folgenden Befehl in der Scrapy-Shell ausf\u00fchren, um die Liste aller Bl\u00f6cke zu extrahieren.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-39c7a07d elementor-widget elementor-widget-text-editor\" data-id=\"39c7a07d\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p># Extrahiere alle Bl\u00f6cke.<br \/>response.css(&#8218;.styles_reviewContentwrapper__zH_9M&#8216;))<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1b4cc04a elementor-widget elementor-widget-text-editor\" data-id=\"1b4cc04a\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Als Ausgabe erh\u00e4lt man das folgende Ergebnis:<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1f4eafa0 elementor-widget elementor-widget-image\" data-id=\"1f4eafa0\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"1728\" height=\"651\" src=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image11.png\" class=\"attachment-full size-full wp-image-176875\" alt=\"\" srcset=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image11.png 1728w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image11-300x113.png 300w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image11-1024x386.png 1024w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image11-768x289.png 768w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image11-1536x579.png 1536w\" sizes=\"(max-width: 1728px) 100vw, 1728px\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-7ed09965 elementor-widget elementor-widget-text-editor\" data-id=\"7ed09965\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Dies ist eine Liste von Selektoren, die es erm\u00f6glichen, die in jedem Block enthaltenen Daten mithilfe jedes einzelnen Elements der Liste abzurufen. Wir k\u00f6nnen dann alles, was wir brauchen, mit den folgenden Codezeilen abrufen (jede Zeile muss separat in der Scrapy-Shell ausgef\u00fchrt werden):<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-5546727c elementor-widget elementor-widget-text-editor\" data-id=\"5546727c\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p># Abruf aller Informationsgruppen<br \/>selectors = response.css(&#8218;.styles_reviewContentwrapper__zH_9M&#8216;)<\/p><p># die Bewertung eines Elements abrufen<br \/>selectors[0].css(&#8218;img::attr(alt)&#8216;).extract()<\/p><p># Extrahiere den Titel auf einem Element.<br \/>selectors[0].css(&#8218;.typography_heading-s__f7029::text&#8216;).extract()<\/p><p># Kommentar und Datum auf einem Element<br \/>elt = selectors[0].css(&#8218;.typography_color-black__5LYEn::text&#8216;).extract()<br \/>exp_date = elt[-1].<br \/>comment = &#8220;.join([word for word in elt[:-1]])<\/p><p># Extrahiere das Datum des Kommentars (einen Tag versetzt zu dem, was angezeigt wird).<br \/>selectors[0].css(&#8218;div.typography_body-m__xgxZ_.typography_appearance-subtle__8_H2l.styles_datesWrapper__RCEKH &gt; time::text&#8216;).extract()<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-50c3d211 elementor-widget elementor-widget-heading\" data-id=\"50c3d211\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Schritt 3: Erstellen eines Scrapy-Projekts<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-51ec1832 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"51ec1832\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/de\/unsere-aus-und-weiterbildungen\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Scrapy in einer Fortbildung lernen<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-2067deee elementor-widget elementor-widget-text-editor\" data-id=\"2067deee\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Sobald das Prototyping der Scrapy-Codezeilen abgeschlossen ist, kann man leicht eine Spider-Klasse erstellen, die einfach nur alle oben genannten Codezeilen in einer einzigen Python-Datei zusammenfasst.<\/p><p>Scrapy bietet native Funktionen zum Initialisieren eines Scrapy-Projekts (und damit auch zum Initialisieren der Spider-Klassendateien). Um ein Scrapy-Projekt zu erstellen, f\u00fchre einfach den folgenden Befehl in der Shell aus:<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-55636a8d elementor-widget elementor-widget-text-editor\" data-id=\"55636a8d\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p># Erstelle ein Projekt (Beispiel Projekt trustdst).<br \/>scrapy startproject trustdst<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-62e2ae71 elementor-widget elementor-widget-text-editor\" data-id=\"62e2ae71\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Nach der Ausf\u00fchrung siehst du dann :<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-4c13ae7 elementor-widget elementor-widget-image\" data-id=\"4c13ae7\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"1473\" height=\"232\" src=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image7-1.png\" class=\"attachment-full size-full wp-image-176876\" alt=\"\" srcset=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image7-1.png 1473w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image7-1-300x47.png 300w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image7-1-1024x161.png 1024w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image7-1-768x121.png 768w\" sizes=\"(max-width: 1473px) 100vw, 1473px\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-20e07f60 elementor-widget elementor-widget-text-editor\" data-id=\"20e07f60\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Der soeben ausgef\u00fchrte Befehl hat einen Ordner mit initialisierten Python-Dateien erstellt. Wir k\u00f6nnen dann die folgende Architektur sehen :<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-682b1143 elementor-widget elementor-widget-image\" data-id=\"682b1143\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"370\" height=\"373\" src=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image10.png\" class=\"attachment-full size-full wp-image-176877\" alt=\"\" srcset=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image10.png 370w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image10-298x300.png 298w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image10-150x150.png 150w\" sizes=\"(max-width: 370px) 100vw, 370px\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-6340d318 elementor-widget elementor-widget-heading\" data-id=\"6340d318\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Schritt 4: Erstellen des Spiders<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1eb7bf43 elementor-widget elementor-widget-text-editor\" data-id=\"1eb7bf43\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Wir werden uns auf die im vorherigen Schritt erstellte Architektur st\u00fctzen, um die <a href=\"https:\/\/datascientest.com\/de\/spacy-open-source-blibliothek\">Python-Klassendatei<\/a> zu erstellen, mit der wir alle Informationen einer Seite auf einmal extrahieren k\u00f6nnen. Auch hier wird Scrapy uns erlauben, die Datei mit dem folgenden Befehl zu initialisieren:<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-478d688 elementor-widget elementor-widget-text-editor\" data-id=\"478d688\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p># Erstelle die Klasse Scraping Spider.<br \/>scrapy genspider trustpilotspider de.trustpilot.com\/review\/datascientest.com<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-50fca834 elementor-widget elementor-widget-text-editor\" data-id=\"50fca834\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Mit diesem Befehl wird die Datei trustpilotspider.py erstellt, die wir bearbeiten und f\u00fcr das Scraping von Daten verwenden werden.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-7aab6bdd elementor-widget elementor-widget-image\" data-id=\"7aab6bdd\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"780\" height=\"604\" src=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image1-2.png\" class=\"attachment-full size-full wp-image-176878\" alt=\"\" srcset=\"https:\/\/datascientest.com\/de\/files\/2023\/05\/image1-2.png 780w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image1-2-300x232.png 300w, https:\/\/datascientest.com\/de\/files\/2023\/05\/image1-2-768x595.png 768w\" sizes=\"(max-width: 780px) 100vw, 780px\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-476a1bf7 elementor-widget elementor-widget-text-editor\" data-id=\"476a1bf7\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Du kannst die Datei dann wie folgt bearbeiten:<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-150c5e3f elementor-widget elementor-widget-text-editor\" data-id=\"150c5e3f\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p># import von scrapy<br \/>import scrapy<\/p><p># Definition des Sipders<br \/>class TrustpilotspiderSpider(scrapy.Spider):<br \/>&#8222;&#8220;&#8220;<br \/>name: Ein Klassenattribut, das dem Spider einen Namen gibt.<br \/>Wir werden dies verwenden, wenn wir unseren Spider sp\u00e4ter scrapy crawl laufen lassen.<br \/>&lt;spider_name&gt;.<\/p><p>allowed_domains: ein Klassenattribut, das Scrapy mitteilt, dass es<br \/>nur Seiten der Dom\u00e4ne chocolate.co.uk crawlen soll.<br \/>Dies verhindert, dass der Spider weitergeht.<\/p><p>star_urls: ein Klassenattribut, das Scrapy die erste Url<br \/>er scrape sollte. Wir werden dies in K\u00fcrze \u00e4ndern.<\/p><p>parse: Die Parse-Funktion wird aufgerufen, nachdem eine Antwort von<br \/>von der Zielwebsite abgerufen wird.<br \/>&#8222;&#8220;&#8220;<br \/>name = &#8222;trustpilotspider&#8220;.<br \/>allowed_domains = [&#8222;de.trustpilot.com&#8220;].<br \/>start_urls = [&#8222;https:\/\/fr.trustpilot.com\/review\/datascientest.com&#8220;] # Umbruch der URL.<\/p><p>def parse(self, response):<br \/>&#8222;&#8220;&#8220;<br \/>Modul zum Abrufen von Informationen<br \/>&#8222;&#8220;&#8220;<\/p><p># Schleife \u00fcber alle Informationsbl\u00f6cke.<br \/>selectors = response.css(&#8218;.styles_reviewContentwrapper__zH_9M&#8216;)<\/p><p># Iterative Extraktion der Informationen<br \/>for selector in selectors:<br \/># Die Informationen, die zur\u00fcckgegeben werden sollen<br \/>yield{<br \/>&#8217;notes&#8216;: selector.css(&#8218;img::attr(alt)&#8216;).extract(),<br \/>&#8218;titel&#8216;: selector.css(&#8218;.typography_heading-s__f7029::text&#8216;).get(), # .extract()[0].<br \/>&#8218;exp_date&#8216;: selector.css(&#8218;.typography_color-black__5LYEn::text&#8216;).extract()[-1],<br \/>&#8218;comments&#8216;: &#8220;.join([text for text in selector.css(&#8218;.typography_color-black__5LYEn::text&#8216;).extract()[:-1]]),<br \/>&#8218;comment_date&#8216;: selector.css(&#8218;div.typography_body-m__xgxZ_.typography_appearance-subtle__8_H2l.styles_datesWrapper__RCEKH &gt; time::text&#8216;).get()<br \/>}<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1c7a0f95 elementor-widget elementor-widget-text-editor\" data-id=\"1c7a0f95\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Um die Datei auszuf\u00fchren, f\u00fchre einfach den folgenden Befehl aus:<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-7a448fb7 elementor-widget elementor-widget-text-editor\" data-id=\"7a448fb7\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>scrapy crawl trustpilotspider ou scrapy crawl trustpilotspider -O myonepagescrapeddata.json<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-716ce181 elementor-widget elementor-widget-text-editor\" data-id=\"716ce181\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">(wenn man das Ergebnis in einer JSON-Datei speichern m\u00f6chte)<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-37461b0 e-flex e-con-boxed e-con\" data-id=\"37461b0\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-0640204 elementor-widget elementor-widget-heading\" data-id=\"0640204\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Fazit<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-458caef elementor-widget elementor-widget-text-editor\" data-id=\"458caef\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Daten geh\u00f6ren zu den wertvollsten Verm\u00f6genswerten, die ein Unternehmen besitzen kann. Sie sind das Herzst\u00fcck von Data Science und Datenanalyse. Unternehmen, die aktiv Daten sammeln, k\u00f6nnen einen Wettbewerbsvorteil gegen\u00fcber Unternehmen entwickeln, die dies nicht tun. Mit ausreichenden Daten k\u00f6nnen Organisationen die Ursachen von Problemen besser bestimmen und fundierte Entscheidungen treffen.<\/p><p>Es gibt Szenarien, in denen eine Organisation m\u00f6glicherweise nicht \u00fcber gen\u00fcgend Daten verf\u00fcgt, um daraus die notwendigen Lehren zu ziehen. Dies ist z. B. bei einigen Start-up-Unternehmen der Fall, die fast immer ohne Daten beginnen. Eine L\u00f6sung f\u00fcr solche F\u00e4lle ist der Einsatz einer Datenerfassungstechnik wie Web Scraping.<\/p><p>Scrapy ist ein Open-Source-Framework mit einer gro\u00dfen Community, mit dem man effizient Daten aus dem Web extrahieren kann. Es eignet sich daher vollst\u00e4ndig f\u00fcr gro\u00dfe <strong>Web-Scraping-Projekte<\/strong>, da es eine klare Struktur und Instrumente zur Verarbeitung der abgerufenen Informationen bereitstellt.<\/p><p>Dieser Artikel sollte lediglich Scrapy mit einigen seiner grundlegenden Funktionen vorstellen, die von Data Engineers, Data Scientists oder Data Analysts zum Extrahieren von Informationen verwendet werden.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-aa7bbbf elementor-widget elementor-widget-text-editor\" data-id=\"aa7bbbf\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Si vous souhaitez aller plus loin avec Scrapy n\u2019h\u00e9sitez pas \u00e0 consulter la documentation officielle : <a href=\"https:\/\/docs.scrapy.org\/en\/latest\/intro\/tutorial.html\">Scrapy Tutorial \u2014 Scrapy 2.8.0 documentation<\/a><\/span><span style=\"font-weight: 400;\">. Pour en apprendre davantage sur les technologies et les m\u00e9thodologies d\u2019acquisition de l&#8217;information, <strong>n&#8217;h\u00e9sitez pas \u00e0 consulter les formations de DataScientest<\/strong>.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-e39400d elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"e39400d\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/de\/unsere-aus-und-weiterbildungen\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Data Weiterbildungen<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-c2ef0b5 elementor-widget elementor-widget-html\" data-id=\"c2ef0b5\" data-element_type=\"widget\" data-widget_type=\"html.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<script type=\"application\/ld+json\">.\n{\n  \"@context\": \"https:\/\/schema.org\",\n  \"@type\": \"FAQPage\",\n  \"mainEntity\": [{{\n    \"@type\": \"Question\",\n    \"name\": \"Scrapy-Architektur\",\n    \"acceptedAnswer\": {\n      \"@type\": \"Answer\",\n      \"text\": \"Wenn ein Projekt erstellt wird, gibt es verschiedene Dateien, die mit den Hauptkomponenten von Scrapy interagieren. Die folgende Abbildung zeigt die Architektur von Scrapy, wie sie in der offiziellen Dokumentation beschrieben wird.\n    }\n  },{\n    \"@type\": \"Question\",\n    \"name\": \"Installation von Scrapy\",\n    \"acceptedAnswer\": {\n      \"@type\": \"Answer\",\n      \"text\": \"Scrapy ist recht einfach zu installieren. F\u00fchre einfach den folgenden Befehl in einem Ubuntu-Terminal aus. Du kannst die Entsprechungen dieser Befehle f\u00fcr andere Betriebssysteme leicht finden\".\n    }\n  },{\n    \"@type\": \"Question\",\n    \"name\": \"Web Scraping Vs Web Crawling\",\n    \"acceptedAnswer\": {\n      \"@type\": \"Answer\",\n      \"text\": \"Beim Web Scraping werden Roboter eingesetzt, um eine Webseite programmatisch zu scannen und Inhalte zu extrahieren. Beim Web Scraping ist es daher notwendig, die Daten gezielt zu suchen. Der Begriff Crawling wird als Analogie zur Art und Weise verwendet, wie eine Spinne krabbelt (das ist auch der Grund, warum \"Webcrawler\" oft als Spider bezeichnet werden). Web Crawling Tools werden auch Roboter (Bots, die als Crawler bezeichnet werden) verwenden, um das World Wide Web systematisch zu durchsuchen, normalerweise mit dem Ziel, es zu indexieren.\"\n    }\n  }]\n}\n<\/script>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>Beim Surfen im Internet ist es auf vielen Seiten nicht m\u00f6glich, Daten direkt f\u00fcr den pers\u00f6nlichen Gebrauch zu speichern. Die einfachste L\u00f6sung in diesem Fall ist einfach das manuelle Kopieren und Einf\u00fcgen der Daten, was schnell m\u00fchsam und zeitaufwendig werden kann. Aus diesem Grund werden h\u00e4ufig Web Scraping-Techniken eingesetzt, um Daten von Webseiten zu extrahieren. [&hellip;]<\/p>\n","protected":false},"author":67,"featured_media":176867,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"content-type":"","inline_featured_image":false},"categories":[2454],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v21.7 (Yoast SEO v21.7) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Python Web Scraping Scrapy: Alles \u00fcber das Tool<\/title>\n<meta name=\"description\" content=\"Python Web Scraping Scrapy ist ein ausgezeichnetes Tool um deine Projekte weiterzubringen. Allerdings solltest du wissen,\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/datascientest.com\/de\/python-web-scraping-scrapy-alles-ueber-das-tool\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Python Web Scraping Scrapy: Alles \u00fcber das Tool\" \/>\n<meta property=\"og:description\" content=\"Beim Surfen im Internet ist es auf vielen Seiten nicht m\u00f6glich, Daten direkt f\u00fcr den pers\u00f6nlichen Gebrauch zu speichern. Die einfachste L\u00f6sung in diesem\" \/>\n<meta property=\"og:url\" content=\"https:\/\/datascientest.com\/de\/python-web-scraping-scrapy-alles-ueber-das-tool\" \/>\n<meta property=\"og:site_name\" content=\"Weiterbildung Data Science | DataScientest.com\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/DataScientestEN\" \/>\n<meta property=\"article:published_time\" content=\"2023-05-26T20:01:51+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-10-30T08:42:41+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2023\/05\/scrapy.webp\" \/>\n\t<meta property=\"og:image:width\" content=\"1025\" \/>\n\t<meta property=\"og:image:height\" content=\"563\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/webp\" \/>\n<meta name=\"author\" content=\"Melanie\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@DataScientest__\" \/>\n<meta name=\"twitter:site\" content=\"@DataScientest__\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Melanie\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"17 Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\/\/datascientest.com\/de\/python-web-scraping-scrapy-alles-ueber-das-tool#article\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/de\/python-web-scraping-scrapy-alles-ueber-das-tool\"},\"author\":{\"name\":\"Melanie\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/19d5f7ade9407eb69af3bf6d1ae1731d\"},\"headline\":\"Python Web Scraping Scrapy: Alles \u00fcber das Tool\",\"datePublished\":\"2023-05-26T20:01:51+00:00\",\"dateModified\":\"2023-10-30T08:42:41+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\/\/datascientest.com\/de\/python-web-scraping-scrapy-alles-ueber-das-tool\"},\"wordCount\":2780,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\/\/datascientest.com\/de\/#organization\"},\"articleSection\":[\"Data Science\"],\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\/\/datascientest.com\/de\/python-web-scraping-scrapy-alles-ueber-das-tool#respond\"]}],\"copyrightYear\":\"2023\",\"copyrightHolder\":{\"@id\":\"https:\/\/datascientest.com\/#organization\"}},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/datascientest.com\/de\/python-web-scraping-scrapy-alles-ueber-das-tool\",\"url\":\"https:\/\/datascientest.com\/de\/python-web-scraping-scrapy-alles-ueber-das-tool\",\"name\":\"Python Web Scraping Scrapy: Alles \u00fcber das Tool\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/de\/#website\"},\"datePublished\":\"2023-05-26T20:01:51+00:00\",\"dateModified\":\"2023-10-30T08:42:41+00:00\",\"description\":\"Python Web Scraping Scrapy ist ein ausgezeichnetes Tool um deine Projekte weiterzubringen. Allerdings solltest du wissen,\",\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/datascientest.com\/de\/python-web-scraping-scrapy-alles-ueber-das-tool\"]}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/datascientest.com\/de\/#website\",\"url\":\"https:\/\/datascientest.com\/de\/\",\"name\":\"Weiterbildung Data Science | DataScientest.com\",\"description\":\"F\u00fchrender Anbieter von Schulungen im Bereich Data Science\",\"publisher\":{\"@id\":\"https:\/\/datascientest.com\/de\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/datascientest.com\/de\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"de\"},{\"@type\":\"Organization\",\"@id\":\"https:\/\/datascientest.com\/de\/#organization\",\"name\":\"DataScientest\",\"url\":\"https:\/\/datascientest.com\/de\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/\",\"url\":\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png\",\"contentUrl\":\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png\",\"width\":301,\"height\":301,\"caption\":\"DataScientest\"},\"image\":{\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/\"},\"sameAs\":[\"https:\/\/www.facebook.com\/DataScientestEN\",\"https:\/\/twitter.com\/DataScientest__\",\"https:\/\/www.linkedin.com\/company\/datascientest-germany\/\",\"https:\/\/www.tiktok.com\/@datascientest\"]},{\"@type\":\"Person\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/19d5f7ade9407eb69af3bf6d1ae1731d\",\"name\":\"Melanie\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/8d3d660a0698de06f13ecf4823519da1?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/8d3d660a0698de06f13ecf4823519da1?s=96&d=mm&r=g\",\"caption\":\"Melanie\"},\"url\":\"https:\/\/datascientest.com\/de\/author\/melaniekrause\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Python Web Scraping Scrapy: Alles \u00fcber das Tool","description":"Python Web Scraping Scrapy ist ein ausgezeichnetes Tool um deine Projekte weiterzubringen. Allerdings solltest du wissen,","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/datascientest.com\/de\/python-web-scraping-scrapy-alles-ueber-das-tool","og_locale":"de_DE","og_type":"article","og_title":"Python Web Scraping Scrapy: Alles \u00fcber das Tool","og_description":"Beim Surfen im Internet ist es auf vielen Seiten nicht m\u00f6glich, Daten direkt f\u00fcr den pers\u00f6nlichen Gebrauch zu speichern. Die einfachste L\u00f6sung in diesem","og_url":"https:\/\/datascientest.com\/de\/python-web-scraping-scrapy-alles-ueber-das-tool","og_site_name":"Weiterbildung Data Science | DataScientest.com","article_publisher":"https:\/\/www.facebook.com\/DataScientestEN","article_published_time":"2023-05-26T20:01:51+00:00","article_modified_time":"2023-10-30T08:42:41+00:00","og_image":[{"width":1025,"height":563,"url":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2023\/05\/scrapy.webp","type":"image\/webp"}],"author":"Melanie","twitter_card":"summary_large_image","twitter_creator":"@DataScientest__","twitter_site":"@DataScientest__","twitter_misc":{"Verfasst von":"Melanie","Gesch\u00e4tzte Lesezeit":"17 Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/datascientest.com\/de\/python-web-scraping-scrapy-alles-ueber-das-tool#article","isPartOf":{"@id":"https:\/\/datascientest.com\/de\/python-web-scraping-scrapy-alles-ueber-das-tool"},"author":{"name":"Melanie","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/19d5f7ade9407eb69af3bf6d1ae1731d"},"headline":"Python Web Scraping Scrapy: Alles \u00fcber das Tool","datePublished":"2023-05-26T20:01:51+00:00","dateModified":"2023-10-30T08:42:41+00:00","mainEntityOfPage":{"@id":"https:\/\/datascientest.com\/de\/python-web-scraping-scrapy-alles-ueber-das-tool"},"wordCount":2780,"commentCount":0,"publisher":{"@id":"https:\/\/datascientest.com\/de\/#organization"},"articleSection":["Data Science"],"inLanguage":"de","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/datascientest.com\/de\/python-web-scraping-scrapy-alles-ueber-das-tool#respond"]}],"copyrightYear":"2023","copyrightHolder":{"@id":"https:\/\/datascientest.com\/#organization"}},{"@type":"WebPage","@id":"https:\/\/datascientest.com\/de\/python-web-scraping-scrapy-alles-ueber-das-tool","url":"https:\/\/datascientest.com\/de\/python-web-scraping-scrapy-alles-ueber-das-tool","name":"Python Web Scraping Scrapy: Alles \u00fcber das Tool","isPartOf":{"@id":"https:\/\/datascientest.com\/de\/#website"},"datePublished":"2023-05-26T20:01:51+00:00","dateModified":"2023-10-30T08:42:41+00:00","description":"Python Web Scraping Scrapy ist ein ausgezeichnetes Tool um deine Projekte weiterzubringen. Allerdings solltest du wissen,","inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/datascientest.com\/de\/python-web-scraping-scrapy-alles-ueber-das-tool"]}]},{"@type":"WebSite","@id":"https:\/\/datascientest.com\/de\/#website","url":"https:\/\/datascientest.com\/de\/","name":"Weiterbildung Data Science | DataScientest.com","description":"F\u00fchrender Anbieter von Schulungen im Bereich Data Science","publisher":{"@id":"https:\/\/datascientest.com\/de\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/datascientest.com\/de\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"de"},{"@type":"Organization","@id":"https:\/\/datascientest.com\/de\/#organization","name":"DataScientest","url":"https:\/\/datascientest.com\/de\/","logo":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/","url":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png","contentUrl":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png","width":301,"height":301,"caption":"DataScientest"},"image":{"@id":"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/DataScientestEN","https:\/\/twitter.com\/DataScientest__","https:\/\/www.linkedin.com\/company\/datascientest-germany\/","https:\/\/www.tiktok.com\/@datascientest"]},{"@type":"Person","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/19d5f7ade9407eb69af3bf6d1ae1731d","name":"Melanie","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/8d3d660a0698de06f13ecf4823519da1?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/8d3d660a0698de06f13ecf4823519da1?s=96&d=mm&r=g","caption":"Melanie"},"url":"https:\/\/datascientest.com\/de\/author\/melaniekrause"}]}},"_links":{"self":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts\/176865"}],"collection":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/users\/67"}],"replies":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/comments?post=176865"}],"version-history":[{"count":0,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts\/176865\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/media\/176867"}],"wp:attachment":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/media?parent=176865"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/categories?post=176865"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/tags?post=176865"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}