Data Engineers bzw. Dateningenieure und Dateningenieurinnen haben die Aufgabe, die Daten so aufzubereiten, dass die Data Scientists sie analysieren können. Hier erfährst Du alles, was Du über diesen Beruf im Bereich Big Data wissen solltest.
Big Data und Data Science entwickeln sich ständig weiter und immer mehr Berufe entstehen in diesem Bereich. Heute möchten wir Dir einen der drei wichtigsten Berufe im Bereich der Datenwissenschaft neben des Data Scientists und Data Analysts genauer vorstellen: Data Engineers.
Rolle und Aufgaben
Data Engineers sind Ingenieure bzw. Ingenieurinnen. Daher ist ihre Aufgabe, Sachen zu entwerfen und herzustellen. Sie haben sich aber nicht auf Flugzeuge oder Gebäude spezialisiert, sondern auf Daten. Genauer gesagt: auf „Datenpipelines“.
Ihre Aufgabe ist es zunächst, Rohdaten aus verschiedenen Quellen in einem zentralen Data Warehouse zu sammeln. Sie müssen die Datenbanken und Data Lakes der Organisation entwerfen und verwalten.
Sie müssen eine Pipeline einrichten, um die verschiedenen Schritte der Datenerfassung von der Extraktion bis zur Speicherung zu automatisieren. In einem zweiten Schritt „säubern“ Data Engineers die Daten und verarbeiten sie. Das Ziel? Die Daten sind bereit, von Data Scientists analysiert zu werden.
Data Engineers arbeiten also nicht allein. Sie sind Teil eines Teams und sie unterstützen die Data Scientists, indem sie ihnen gebrauchsfertige Daten zur Verfügung stellen. Die Data Scientists können dann Abfragen durchführen oder ihre Machine-Learning-Algorithmen starten, um die Daten zu analysieren.
Sie müssen auch Werkzeuge und Algorithmen entwickeln, die den Data Scientists und möglicherweise auch anderen MitarbeiterInnen oder Führungskräften der Organisation einen einfachen Zugang zu den von ihnen benötigten Daten ermöglichen.
Was sind die Aufgaben von Data Engineers?
Die Aufgaben von Data Engineers sind von Unternehmen zu Unternehmen unterschiedlich. In der Regel werden ihnen jedoch vier Hauptaufgaben übertragen.
Die erste besteht darin, die Prozesse zur Erfassung, Organisation, Speicherung und Modellierung von Daten zu entwickeln und einzuführen. Data Engineers sind also die hauptverantwortlichen Personen für die Dateninfrastruktur des Unternehmens.
Data Engineers müssen auch den Zugang zu den verschiedenen Quellen sicherstellen und für die Qualität der Daten sorgen. Darüber hinaus müssen sie dafür sorgen, dass die Data Analysts und Data Scientists des Unternehmens problemlos auf die Daten zugreifen und sie unter optimalen Bedingungen nutzen können.
Sehr häufig sind Data Engineers auch in der Rolle der DevOps zu finden: Sie sind dafür verantwortlich, dass die von den Data Scientists erstellten Vorhersagemodelle in Produktion gehen.
Schließlich sind sie unter der Leitung des/der Chief Data Officer und des Data Management Office für die Umsetzung einer Datenrichtlinie verantwortlich, die den geltenden Vorschriften entspricht. In Deutschland muss diese Richtlinie insbesondere die DSGVO und das Bundesdatenschutzgesetz einhalten.
Merkzettel Data Engineer
Welche Kompetenzen haben Data Engineers?
Data Engineers verfügen über eine Vielzahl von Fähigkeiten. Zunächst einmal beherrschen sie Datensprachen wie SQL und Datenbankverwaltungswerkzeuge. Diese Werkzeuge ermöglichen es ihnen, Datenbanken zu verwalten und Abfragen durchzuführen.
Je nachdem, welche Technologien das Unternehmen einsetzt, können andere Abfragetechnologien wie Cassandra und BigTable eine wertvolle Hilfe sein. Tatsächlich sind viele Organisationen mit einer einzigen Abfragetechnologie nicht zufrieden.
Seit neuestem gibt es eine Methode namens „ELT“ (Extract Transform Load). Sie besteht darin, zwei Schritte des ETL-Prozesses umzukehren: das „Transform“ (Verarbeiten) und das „Loading“ (Laden). Indem die Daten vor der Verarbeitung geladen werden, sind sie jederzeit zugänglich. Diese neue Methode eignet sich für die immer größer werdenden Datenpools und die aufkommende Cloud-Speicherung.
Dateningenieure und Dateningenieurinnen müssen auch mit Tools zur Datenspeicherung und ETL (Extract Transform Load) umgehen. Diese Werkzeuge sind das Herzstück ihrer Aufgabe, weil sie Daten aus verschiedenen Quellen sammeln und umwandeln.
STARTE DEINE KARRIERE
IM BEREICH DATA SCIENCE
STARTE DEINE KARRIERE
IM BEREICH DATA SCIENCE
Du bist an einem Quereinstieg in den Bereich Big Data interessiert, weißt aber nicht, wo Du anfangen sollst?
Dann solltest Du einen Blick auf unsere Weiterbildungen im Bereich Data Science werfen.
Die Beherrschung von Hadoop-basierten Analyselösungen wie Hbase und Hive wird von Data Engineers zunehmend erwartet. Auch wenn ihre Rolle nicht die der Data Scientists ist, erwarten die Unternehmen, dass Data Engineers in der Lage sind, Daten zu analysieren, um die Datenqualität zu überwachen. In einigen kleineren Unternehmen sind die Rollen weniger klar getrennt und die Funktionen von Data Scientists und Data Engineers werden manchmal zusammengeführt.
Kenntnisse in mathematischen und statistischen Prinzipien der Analyse sind erforderlich, um Daten zu manipulieren und richtig zu verarbeiten. Ebenso sind Kenntnisse der Datenmodellierung erforderlich, um zu wissen, wie man Tabellen und Partitionen strukturiert oder bestimmte Attribute wiederherstellt.
Dateningenieure und Dateningenieurinnen müssen eine allgemeine Programmiersprache wie Python, Java oder Go beherrschen und eventuell auch Kenntnisse in spezielleren Sprachen wie Scala, Julia oder Perl haben. Mit diesen Sprachen können Data Engineers Datenpipelines entwickeln, statistische Modelle implementieren, Analysen durchführen oder auch Dashboards und Datenvisualisierungen erstellen.
Heutzutage müssen Data Engineers auch eine Vorstellung davon haben, was Machine Learning, Deep Learning und künstliche Intelligenz sind. Diese Technologien sind nach wie vor das Fachgebiet der Data Scientists, aber auch hier müssen Data Engineers sie verstehen, um ihre Kollegen und Kolleginnen unterstützen zu können.
Da sich fast alle Unternehmen dem Cloud Computing zuwenden, müssen Data Engineers schließlich Cloud-Plattformen wie AWS, Google Cloud, Microsoft Azure und ihre verschiedenen Big-Data-Dienste beherrschen.
Schließlich müssen sie im Hinblick auf die Umsetzung von Data-Projekten in die Produktion bestimmte DevOps-Tools kennen: Versionierungstools, Virtualisierungs-Tools, APIs, Monitoring- und Automatisierungs-Tools…
Neben diesen konkreten Skills besteht eine der wichtigsten Eigenschaften von Data Engineers darin, dass sie sich schnell in eine unbekannte Technologie einarbeiten können. Dadurch sind sie in der Lage, mit dem unaufhörlichen Aufkommen neuer Technologien im schnelllebigen Bereich der Data Science Schritt zu halten.
In Bezug auf die „Soft Skills“ müssen Dateningenieure und Dateningenieurinnen auch kommunikationsfähig sein, um mit anderen Abteilungen zusammenzuarbeiten und die Ziele und Bedürfnisse der Unternehmensleitung zu verstehen.
Gehalt und Karrierechancen
Laut Glassdoor verdienen Data Engineers in den USA durchschnittlich 137.776 US-Dollar pro Jahr. Die Gehaltsspanne reicht von 110.000 bis 155.000 US-Dollar pro Jahr, je nach Qualifikation, Erfahrung und Standort.
Senior Data Engineers hingegen verdienen im Durchschnitt 172.603 US-Dollar pro Jahr. Ihre Jahresgehälter reichen von 152.000 bis 194.000 US-Dollar.
In Deutschland ist das durchschnittliche Jahresgehalt deutlich niedriger. Ebenfalls laut Glassdoor liegt es bei 62.041 Euro.
Laut unserer engenen Umfrage, die wir im Juli 2020 bei 30 Unternehmen der wichtigsten französischen Aktiengesellschaften durchgeführt haben, verdienen Data Engineers in Frankreich zwischen 35.000 und 60.000 Euro pro Jahr. Ab einem bestimmten Niveau an Fachwissen kann das Gehalt jedoch in die Höhe schnellen. (In diesem Artikel findest Du die Umfrage).
Angesichts der raschen Entwicklung von Big Data werden Data Engineers von Unternehmen aller Branchen immer häufiger eingestellt. Seit 2012 ist die Zahl der Stellen um mehr als 400 % gestiegen und hat sich 2016 fast verdoppelt.
Dies ist auf die Zunahme des Datenvolumens, die zunehmende Nutzung von Daten durch Unternehmen und die steigende Komplexität der Datenverarbeitungstechnologien zurückzuführen. In Zukunft ist davon auszugehen, dass die Rolle von Data Engineers in Unternehmen immer wichtiger und unverzichtbarer wird.
Du weißt alles über den Beruf von Data Engineers. Wenn dieser Beruf Dich interessiert, kannst Du Dich über unsere Weiterbildung zum/rData Engineer informieren.
