Lorsqu’il faut aider les entreprises à développer des projets d’Intelligence Artificielle, cela signifie mettre en œuvre un cycle de vie de développement logiciel approprié du début jusqu’à la fin. Pour ce faire, il existe de nombreuses options, dont la plus pertinente est Databricks qui est une plateforme d’analyse de données optimisée pour la plateforme de services cloud Microsoft Azure.
A propos de Databricks ?
Databricks est le nom de la plateforme d’analyse de données basée sur Apache Spark développée par la société du même nom. La société a été fondée en 2013 avec les créateurs et les principaux développeurs de Spark. Il permet de faire de l’analyse Big Data et de l’Intelligence Artificielle avec Spark de manière simple et collaborative.
Cette plateforme est disponible en tant que service cloud sur Microsoft Azure et Amazon Web Services (AWS).
Azure Databricks contient de nombreuses fonctionnalités qui en font une solution analytique assez complète. Mais, même ainsi, il dépend de services supplémentaires externes afin de devenir la pièce maîtresse d’un système d’analyse d’entreprise complet.
Azure Databricks permet plusieurs cas d’utilisation tels que le traitement par lots, le streaming et le Machine Learning (Apprentissage automatique). Cette plateforme propose deux environnements pour développer des applications gourmandes en données : Azure Databricks SQL Analytics et Azure Databricks Workspace.
Azure Databricks SQL Analytics offre aux analystes une plateforme intuitive pour :
- Exécuter des requêtes SQL sur leurs Data Lakes
- Créer plusieurs types de vues pour explorer les résultats des requêtes sous différents angles
- Élaborer et partager des tableaux de bord
Azure Databricks Workspace est un espace de travail interactif qui favorise la collaboration entre les Data Engineers, les Data Scientists et les Machine Learning Engineers. Dans le cas des pipelines de données, les données brutes ou structurées sont poussées dans Azure via Azure Data Factory. Cela peut se faire par lots ou en temps quasi réel avec IoT Hub, Event Hub ou Apache Kafka. Les données sont envoyées dans un Data Lake pour être stockées à long terme dans Azure Data Lake Storage ou Azure Blob Storage. Dans le cadre d’une analyse du contrôle des flux de données, Azure Databricks permet de lire les données de plusieurs sources et les transformer en informations via Spark.
Objectifs d’une formation Databricks
Azure Databricks est le service Azure entièrement géré grâce auquel il est possible de créer des clusters Spark pour stocker et analyser de grandes quantités de données.
L’objectif d’une formation Azure Databricks est de familiariser les étudiants avec l’informatique parallèle :
- Apprendre à comprendre les mécanismes qui la régissent au niveau de l’infrastructure et de la programmation.
- Apprendre à utiliser les structures de données principales de Spark : RDD (Resilient Distributed Dataset) et DataFrame.
- Apprendre à créer des modèles de Machine Learning et d’Intelligence Artificielle et le module de streaming pour travailler les données en temps réel.
Principales cibles d’une formation Databricks
Une formation Azure Databricks est principalement destinée aux Data Engineers et Data Scientists intéressés ou impliqués dans des projets Big Data sur les systèmes distribués Azure. La connaissance de Python ou d’un langage de programmation orienté objet est un plus.
Fonctionnalités de Databricks
Azure Databrick permet de dimensionner automatiquement les environnements Apache Spark en fonction des besoins. Ces clusters peuvent également être résiliés automatiquement. De cette façon, les déploiements sont facilités et l’installation et la configuration des environnements sont accélérées. Avec l’option sans serveur, il est possible de faire abstraction de toute la complexité de l’infrastructure et accéder directement au service. Cela facilite son utilisation par des équipes indépendantes qui nécessitent des ressources volatiles et des déploiements ad-hoc.
Il comprend des projets collaboratifs et des espaces de travail interactifs appelés Notebooks. Ceux-ci peuvent être utilisés pour développer des prototypes et des processus de transformation et d’analyse, puis les mettre en production avec le planificateur.
Un cluster Databricks a deux modes : Standard et High Concurrency. Le cluster High Concurrency prend en charge les langages de programmation Python, R et SQL tandis que le cluster Standard prend en charge les langages Scala, Java, Python, R et SQL.
