Amazon EMR (Elastic MapReduce) est un service de traitement de données géré par Amazon Web Service (AWS). Il permet de gérer d’importante quantité de données, de l’ordre du pétaoctet, à l’aide d’outils très populaires, dont Apache Hadoop, Hive, Spark, HBase, pour ne citer qu’eux.
EMR a été pensé afin d’offrir une grande flexibilité et évolutivité permettant aux utilisateurs d’obtenir des résultats très rapides en utilisant des clusters de calculs puissants et hautement configurables.
Comprendre le fonctionnement d’Amazon EMR
Le fonctionnement d’Amazon EMR est basé sur la création de clusters de traitement de données qui sont configurés pour répondre aux besoins spécifiques de chaque tâche. Ces clusters sont créés en fonction des ressources de calcul et de stockage nécessaire.
Un cluster est composé de noeuds qui peuvent être de différents types :
- Un nœud maître (Master Node) : il gère le cluster et ses ressources. En tant que nœud primaire, il orchestre les tâches de traitement de données. De plus, il stocke les métadonnées du cluster et fournit une interface en ligne de commande (CLI) et une interface Web pour interagir avec le cluster.
- Des nœuds noyaux (core node) : gérés par le nœud primaire, ils coordonnent le stockage des données dans un système de fichiers comme HDFS. En plus de cela, ils exécutent des tâches de traitement parallèle.
- Des nœuds de tâche (task node) : ces nœuds sont facultatifs et sont utilisés pour augmenter les capacités des tâches de traitement parallèle sur les données, comme des jobs MapReduce ou Spark. Cependant, ils ne stockent pas de données sur le HDFS.
Afin de fournir des capacités de traitement et de stockage, EMR utilise des instances EC2 (Elastic Compute Cloud). Ces instances sont des machines virtuelles qui peuvent être hautement configurables et adaptables en fonction des besoins.
Lorsque le cluster EMR est créé, les outils nécessaires sont automatiquement installés sur chaque nœud dudit cluster (on pensera principalement aux outils comme Hadoop, Spark ou encore Hive). La planification et l’exécution des tâches de traitement utilisent des gestionnaires comme YARN pour le plus connu, ou Mesos.
Les services AWS s’intégrant particulièrement bien les uns avec les autres, des sources de données telles que Amazon S3, RDS ou encore DynamoDB peuvent être utilisées pour permettre leur traitement par EMR. Dans la même optique d’intégration, Amazon Cloudwatch est utilisé pour suivre les performances et la disponibilité de son cluster.
Est-ce compliqué à mettre en œuvre ?
L’installation et la mise en œuvre d’Amazon EMR est un processus relativement simple qui peut être effectué en quelques étapes. Le prérequis étant bien sûr de disposer d’un compte AWS.
Une fois connecté à votre compte, il vous suffit de sélectionner le service EMR.
Choisissez le bouton « Créer un cluster », mis en évidence
Suivez ensuite les étapes de création d’un cluster en fonction de vos besoins. Voici un résumé des types d’instances EC2 :
| Classe d’instance | Famille d’instance | Utilisation recommandée |
|---|---|---|
| General Purpose | M4, M5 | Traitement par lot |
| Compute Optimized | C5,C4 | Machine Learning |
| Memory Optimized | X1,X4 | Analyses Interactives |
| Storage Optimized | D2, I3 | HDFS volumineux |
Une fois le cluster créé, il ne vous reste plus qu’à exécuter et déployer des applications de traitement de données. Attention cependant à la tarification.
Les tarifs
Les coûts associés à l’utilisation d’Amazon EMR peuvent varier selon les régions. En outre, AWS EMR facture à la fois pour son instance mais également pour les instances EC2. La facturation est appliquée à la seconde avec un forfait minimum de une minute. Retrouvez la tarification mise en place par Amazon pour l’utilisation de ce service.
Études de cas
Voyons ensemble deux études de cas pour lesquelles AWS EMR apporte la réponse à des problématiques de traitement de données.
Plateforme en ligne de critiques de restaurants (entre autres), ils se sont tournés vers EMR pour le traitement et l’analyse des commentaires en temps réel et à grande échelle. Grâce à son utilisation, Yelp peut alors obtenir des analyses détaillées sur les évolutions. Les besoins de l’entreprise étant très fluctuants, Yelp peut à présent adapter sa capacité de traitement pour y répondre.
En tant qu’entreprise immobilière (basée aux Etats-Unis), ils ont opté pour l’utilisation d’EMR afin de déployer des algorithmes de prévisions immobilières à très grande échelle. Cela leur permet ainsi de traiter efficacement et rapidement les données immobilières pour offrir à leurs clients des tendances sur l’évolution des prix plus précises, mais également surveiller en temps réel les variations de ce marché très volatile.
Conclusion
Vous l’aurez compris au sein de cet article, Amazon EMR est une solution cloud puissante et flexible pour le traitement de données à grande échelle. Grâce à sa facilité d’utilisation et sa capacité à s’intégrer à d’autres services AWS, il s’agit d’une solution de premier choix pour les entreprises ayant besoin de hautes performances dans l’analyse de leurs données, pour prendre de bonnes décisions et ainsi s’adapter aux besoins changeant du marché.
