Amazon EMR (Elastic MapReduce) ist ein Datenverarbeitungsdienst, der von Amazon Web Service (AWS) verwaltet wird. Er verwaltet große Datenmengen im Petabyte-Bereich mithilfe beliebter Tools wie Apache Hadoop, Hive, Spark und HBase, um nur einige zu nennen.
Amazon EMR wurde so konzipiert, dass es eine hohe Flexibilität und Skalierbarkeit bietet, die es den Nutzern ermöglicht, sehr schnelle Ergebnisse zu erzielen, indem sie leistungsstarke und hochkonfigurierbare Rechencluster verwenden.
EMR wurde so konzipiert, dass es eine hohe Flexibilität und Skalierbarkeit bietet, die es den Nutzern ermöglicht, sehr schnelle Ergebnisse zu erzielen, indem sie leistungsstarke und hochkonfigurierbare Rechencluster verwenden.
Die Funktionsweise von Amazon EMR beruht auf der Erstellung von Datenverarbeitungsclustern, die so konfiguriert werden, dass sie den spezifischen Anforderungen jeder Aufgabe entsprechen.
Diese Cluster werden auf der Grundlage der benötigten Rechen- und Speicherressourcen erstellt.
Ein Cluster besteht aus Knoten, die verschiedene Arten von Knoten sein können:
- Ein Masterknoten (Master Node): Er verwaltet den Cluster und seine Ressourcen. Als primärer Knoten orchestriert er die Aufgaben der Datenverarbeitung. Außerdem speichert er die Metadaten des Clusters und bietet eine Befehlszeilenschnittstelle (CLI) und eine Webschnittstelle, um mit dem Cluster zu interagieren.
- Kernknoten (core nodes): Sie werden vom Primärknoten verwaltet und koordinieren die Speicherung der Daten in einem Dateisystem wie HDFS. Darüber hinaus führen sie parallele Verarbeitungsaufgaben aus.
- Aufgabenknoten (task nodes): Diese Knoten sind optional und werden verwendet, um die Kapazität von parallelen Verarbeitungsaufgaben auf Daten zu erhöhen, wie MapReduce– oder Spark-Jobs. Sie speichern jedoch keine Daten auf dem HDFS.
Um Rechen- und Speicherkapazität zur Verfügung zu stellen, nutzt EMR EC2-Instanzen (Elastic Compute Cloud). Diese Instanzen sind virtuelle Maschinen, die in hohem Maße konfigurierbar und an die jeweiligen Bedürfnisse anpassbar sind.
Wenn der EMR-Cluster erstellt wird, werden die erforderlichen Tools automatisch auf jedem Knoten des Clusters installiert (hauptsächlich Tools wie Hadoop, Spark oder Hive). Für die Planung und Ausführung von Verarbeitungsaufgaben werden Manager wie YARN (der bekannteste) oder Mesos verwendet.
Da die AWS-Dienste besonders gut miteinander integriert sind, können Datenquellen wie Amazon S3, RDS oder DynamoDB verwendet werden, um die Verarbeitung durch EMR zu ermöglichen. In der gleichen Integrationsrichtung wird Amazon Cloudwatch verwendet, um die Leistung und Verfügbarkeit des Clusters zu verfolgen.
Ist die Umsetzung kompliziert?
Die Installation und Implementierung von Amazon EMR ist ein relativ einfacher Prozess, der in wenigen Schritten durchgeführt werden kann. Die Voraussetzung ist natürlich ein AWS-Konto.
Wenn du dich in dein Konto eingeloggt hast, wähle einfach den EMR-Service aus.
Wähle den hervorgehobenen Button „Cluster erstellen“
Folge dann den Schritten zur Erstellung eines Clusters je nach deinen Bedürfnissen. Hier ist eine Zusammenfassung der Arten von EC2-Instanzen :
| Instanz-Klasse | Instanz-Familie | Empfohlene Nutzung |
|---|---|---|
| Allgemeiner Zweck | M4, M5 | Traitement par lot |
| Compute Optimized | C5,C4 | Maschinelles Lernen |
| Speicheroptimiert | X1,X4 | Analysen interaktiv |
| Speicheroptimiert | D2, I3 | HDFS volumineux |
Sobald du den Cluster erstellt hast, musst du nur noch Anwendungen zur Datenverarbeitung ausführen und bereitstellen. Achte jedoch auf die Preisgestaltung.
Die Preise
Die mit der Nutzung von Amazon EMR verbundenen Kosten können je nach Region variieren. Außerdem berechnet AWS EMR sowohl für seine Instanz als auch für EC2-Instanzen. Die Abrechnung erfolgt im Sekundentakt mit einer Mindestpauschale von einer Minute. Hier findest du die Preisliste von Amazon für die Nutzung dieses Dienstes.
💡Auch interessant:
| Amazon S3 |
| Amazon EC2 |
| Amazon Web Services |
| AWS Google Cloud |
| Amazon Omics |
| Amazon Quicksight |
Case Studies
Sehen wir uns gemeinsam zwei Fallstudien an, in denen AWS EMR die Antwort auf Probleme bei der Datenverarbeitung bietet.
Die Online-Plattform für Restaurantbewertungen (u. a.) Yelp, wandte sich sich für die Verarbeitung und Analyse von Bewertungen in Echtzeit und in großem Umfang an EMR. Durch seine Nutzung kann Yelp dann detaillierte Analysen über Entwicklungen erhalten. Da die Anforderungen des Unternehmens stark schwanken, kann Yelp nun seine Verarbeitungskapazität anpassen, um diesen Anforderungen gerecht zu werden.
Als Immobilienunternehmen (mit Sitz in den USA) haben sie sich für den Einsatz von Amazon EMR entschieden, um ihre Algorithmen für Immobilienprognosen in sehr großem Maßstab einzusetzen. So können sie Immobiliendaten schnell und effizient verarbeiten, um ihren Kunden genauere Preisentwicklungen zu liefern und die Veränderungen auf diesem sehr volatilen Markt in Echtzeit zu überwachen.
Fazit
Amazon EMR ist eine leistungsstarke und flexible Cloud-Lösung für die Verarbeitung großer Datenmengen, wie du in diesem Artikel erfahren hast. Dank seiner Benutzerfreundlichkeit und der Fähigkeit, sich in andere AWS-Dienste zu integrieren, ist es eine erstklassige Lösung für Unternehmen, die eine hohe Leistung bei der Analyse ihrer Daten benötigen, um gute Entscheidungen zu treffen und sich so an die sich ändernden Marktbedürfnisse anzupassen.
