Im Zeitalter von Big Data haben sich mehrere Berufe herausgebildet, darunter auch der des Data Engineers. Wenn du diesen Beruf noch nicht kennst, empfehle ich dir, diesen Artikel zuerst zu lesen. Für diejenigen, die wissen, was ein Data Engineer macht, werden wir uns mit den Werkzeugen beschäftigen, die er benutzt.
Lass uns von diesem Schema ausgehen, um uns die verschiedenen Phasen, die Daten durchlaufen, vor Augen zu führen. Zur Erinnerung: Der Data Engineer wird vor allem in den ersten drei Phasen tätig sein (die letzte Phase betrifft Data Scientists und Data Analysts). Wir werden auf die Werkzeuge eingehen, die in diesen Phasen verwendet werden, aber sie können von Unternehmen zu Unternehmen unterschiedlich sein.
Die Datenquellen
Der erste Schritt besteht also darin, diese Daten mithilfe von Datenquellen zu sammeln. Es ist üblich, hier Python zu finden, um diese Daten zu sammeln. Wir werden zum Beispiel APIs wie OpenWeatherMap für Wetterdaten oder Binance für Finanzdaten anfordern. Es ist auch möglich, Webscraping zu betreiben, um Daten von Webseiten über die Python-Pakete BeautifulSoup oder Selenium abzurufen.
Mit dem Internet der Dinge werden Daten über Sensoren von vernetzten Objekten gestreamt (kontinuierlich). Daher ist es wichtig, bestimmte Aktionen zum richtigen Zeitpunkt durchzuführen, da sonst unerwartetes Verhalten unserer verbundenen Objekte auftreten kann. Hier kommt Apache Kafka mit seinem Nachrichtensystem ins Spiel. Rabbit MQ wird ebenfalls zur Verarbeitung von Streaming-Daten verwendet, ebenso wie die Programmiersprache Scala.
Die Datenspeicherung ist auch ein Werkzeug, das von Dateningenieuren verwendet wird.
Nachdem die Daten in Form einer Datei gesammelt wurden, müssen sie gespeichert werden. Dies kann in zwei Schritte unterteilt werden, wie es uns das Schema gezeigt hat.
Der erste Schritt besteht darin, die Daten ohne Transformationen zu speichern.
In diesem Fall werden die Daten in ihrem Rohzustand in einem Data Lake für eine mögliche zukünftige Nutzung gespeichert. In diesem Data Lake werden die Daten über Metadaten oder über ein herkömmliches Dateisystem organisiert. Mit Hadoop können wir ein solches zusammenstellen.
Wenn die Daten für eine spezifische Nutzung vorgesehen sind, kann der Data Engineer diese auch in ein Data Warehouse übertragen.
Im Gegensatz zu einem Data Lake sind die Daten in einem Data Warehouse strukturiert und stehen direkt den Data Analysts oder Data Scientists zur Verfügung.
Eine weitere Möglichkeit zur Datenspeicherung bieten Datenbanken. Relationale Datenbanken sind am weitesten verbreitet, und wir verwenden SQL, um sie zu verwalten. Heutzutage verarbeiten wir jedoch auch große Datenmengen, wofür NoSQL-Datenbanken zum Einsatz kommen.
Für semi-strukturierte Daten eignet sich beispielsweise MongoDB besonders gut, während Neo4j optimal für die Speicherung von Graphdaten ist. Daher muss ein Data Engineer geschickt zwischen verschiedenen Datenbanken jonglieren.
In Produktion gehen
Der Data Engineer kann auch bei der Industrialisierung der Lösungen eingreifen. Die Arbeit, die der Data Scientist oder der Data Analyst geleistet hat, ist nämlich noch nicht für alle zugänglich und deshalb wird der Data Engineer eine API für die Lösung erstellen, damit der Kunde eine Schnittstelle nutzen kann, um einfach die Modelle des Data Scientists zu verwenden.
Dann müssen wir einen Container für unsere Lösung erstellen, um sie einzusetzen, aber auch um sie mit anderen Komponenten zu kombinieren, und dafür verwenden wir das Flaggschiff-Tool Docker.
Die Cloud ist ein unverzichtbares Werkzeug für Dateningenieure
Nous avons listé quelques outils open source, mais de nos jours, il est de plus en plus courant d’utiliser un fournisseur de cloud comme AWS, GCP ou Azure pour répondre à nos différents besoins. Par exemple, si nous voulons utiliser un data lake, avec AWS, nous passerons par S3, tandis qu’avec GCP, ce sera Google Cloud Storage et avec Azure, simplement Azure Data Lake.
Automatisierung von Abläufen
Wenn unsere gesamte Datenpipeline funktioniert, müssen wir die verschiedenen Schritte unseres ETL-Systems in einem bestimmten Rhythmus automatisieren. Die Datenquellen werden nämlich Daten senden, die zunächst in einem Data Lake gespeichert und dann in ein Data Warehouse oder eine Datenbank umgewandelt werden müssen.
Um dies zu tun, verwenden wir einen Orchestrator. Der bekannteste ist Airflow, aber wenn du Echtzeitdaten hast, ist es besser, Nifi zu verwenden. Wenn unsere Datenpipeline vollständig ist, gibt es Tools von Cloud-Anbietern wie Cloud Composer von GCP oder Glue von AWS.
Fazit
Jetzt weißt du mehr über die Werkzeuge, die ein Data Engineer am häufigsten benutzt.
Wenn du lernen möchtest, wie du die Tools, die du gerade kennengelernt hast, einsetzen kannst, dann schau dir den Data Engineer-Kurs von DataScientest an.
