Le Power Query SDK est le kit de développement de Power Query, le moteur de requête de Microsoft que l’on retrouve notamment sur Excel et Power BI. Il permet de créer des connecteurs personnalisés pour les sources de données. Découvrez à quoi ça sert et comment l’utiliser !
Afin de tirer pleinement profit des données et des précieuses informations qu’elles renferment, les professionnels ont aujourd’hui besoin d’une approche dynamique et puissante pour manipuler et transformer la data.
C’est précisément ce que propose le SDK de Power Query, permettant de créer des connecteurs pour des sources de données sur les solutions Microsoft bien connues telles que Power BI et Excel.
Que vous soyez un analyste de données déjà expérimenté cherchant à optimiser les processus ETL ou un débutant souhaitant commencer à travailler dans ce domaine, découvrez toutes les possibilités offertes !
Qu’est-ce que le Power Query SDK ?
Les initiales SDK sont l’acronyme de « Software Development Kit », ou kit de développement logiciel en français. En l’occurrence, il s’agit d’une boîte à outils logicielle développée par Microsoft pour étendre les fonctionnalités de Power Query.
Rappelons que ce moteur de requêtes intégré nativement aux applications telles que Power BI, Excel et Azure Data Factory offre une interface graphique conviviale pour la préparation et la transformation des données.
Or, le SDK va au-delà de cette interface graphique en permettant aux développeurs d’étendre et de personnaliser les fonctionnalités de Power Query. Il offre donc une flexibilité accrue pour répondre aux besoins spécifiques de chaque projet d’intégration de données.
Que ce soit pour automatiser des tâches récurrentes, créer des transformations de données avancées ou intégrer des sources de données personnalisées, cet outil constitue un terrain de jeu dynamique pour les professionnels.
Grâce à cet ensemble d’outils, il devient possible de créer ses propres connecteurs Power Query. On parle souvent de connecteurs custom ou d’extensions Power Query.
Ces connecteurs permettent de créer de nouvelles sources de données ou de customiser et d’étendre une source existante.
À quoi sert le SDK Power Query ?
Parmi les principaux cas d’usage du SDK Power Query, on compte la création d’une vue accessible aux analystes métiers pour une API REST.
Le but peut aussi être de fournir un branding pour une source que Power Query prend en charge avec un connecteur existant, ou d’implémenter un flux d’authentification OAuth v2 pour une offre SaaS.
Il peut également s’agir d’exposer une vue filtrée ou limitée sur votre source de données pour améliorer l’ergonomie, ou d’activer DirectQuery pour une source de données en utilisant un pilote ODBC.
En connectant Power Query à des sources de données, il devient possible d’utiliser l’interface visuelle ou le langage de script pour extraire, transformer et charger les données à l’aide de requêtes.
Plusieurs fonctionnalités clés font de ce SDK un choix privilégié, notamment la capacité à créer des connecteurs personnalisés pour l’intégration de sources de données spécifiques à un contexte particulier.
On peut notamment appliquer des filtres pour extraire des données spécifiques ou les trier selon des critères définis, mais aussi joindre les données provenant de différentes sources.
Il permet également la création de transformations complexes à travers des scripts avancés, pour une adaptabilité exceptionnelle aux différents scénarios de transformation de données.
La gestion des erreurs et le débogage facilitent par ailleurs le processus de développement en permettant d’identifier et de résoudre rapidement les problèmes potentiels.
Ainsi, le SDK transcende les limites de Power Query et délivre une palette d’outils plus large. Voyons à présent les prérequis et les différentes étapes de son utilisation…
Installation et configuration : le guide simple et rapide
Avant d’entamer le processus d’installation, il est impératif de s’assurer que l’environnement est correctement configuré. Les prérequis techniques peuvent varier en fonction de l’application spécifique que vous utilisez, comme Power BI ou Excel, mais certains éléments communs exigent une attention particulière.
Tout d’abord, assurez-vous d’avoir un IDE compatible installé tel que Visual Studio. Vérifiez aussi que votre version de l’application hôte est compatible avec la version du kit que vous comptez utiliser.
Les mises à jour régulières sont cruciales, non seulement pour bénéficier des dernières fonctionnalités, mais aussi pour les correctifs de sécurité.
Votre environnement doit aussi disposer des autorisations nécessaires pour accéder aux sources de données que vous prévoyez d’intégrer. Cela peut inclure des bases de données, des API, ou d’autres systèmes.
Si tous ces prérequis sont cochés, le processus d’installation peut débuter. Rendez-vous tout d’abord sur le site officiel de Microsoft ou utilisez les outils de gestion de packages pour télécharger la dernière version du SDK.
Il existe actuellement deux versions du Power Query SDK : Visual Studio Power Query SDK lancé en 2017 comme extension de Visual Studio 2017 et 2019, et Visual Studio Code Power Query SDK (Preview) lancé en 2022 et recommandé pour la création de connecteurs Power Query.
Désormais, Microsoft encourage les développeurs à installer et utiliser cette nouvelle version qui deviendra bientôt le SDK par défaut.
Si toutefois vous souhaitez installer Visual Studio Power Query SDK, commencez par l’installer depuis la Visual Studio Marketplace. Créez un nouveau projet de connecteur de données, et définissez votre connecteur logique. Construisez le projet pour produire un fichier d’extension.
Pour installer le nouveau Visual Studio Code Power Query SDK, disponible depuis septembre 2022, rendez-vous dans la section Visual Studio Code du Visual Studio Marketplace. Sélectionnez « Installer » pour initier le processus.
De plus, certains paramètres de configuration peuvent être nécessaires pour aligner le SDK avec votre environnement de développement. C’est le cas des paramètres liés à l’authentification, aux autorisations, et aux connexions aux sources de données.
Après l’installation, l’étape cruciale est la configuration du SDK selon les besoins spécifiques du projet. Il faut configurer les connexions aux sources de données en utilisant les connecteurs disponibles ou en créant des connecteurs personnalisés si nécessaire.
Définissez aussi les paramètres de sécurité appropriés pour protéger les données sensibles. Et si votre projet requiert des scripts avancés, configurez les paramètres liés à la personnalisation pour répondre aux exigences !
Comment créer un connecteur Power Query ?
Les deux versions du SDK utilisent un processus similaire pour le développement d’un connecteur à haut niveau. Lors de la création d’un nouveau projet ou d’un nouveau workspace, on retrouve les mêmes fichiers principaux.
Il s’agit du fichier de définition du connecteur (<connectorName>.pq), d’un fichier de requête (<connectorName>.query.pq), d’un fichier de ressource (resources.resx) et de fichiers PNG de différentes tailles utilisés pour créer des icônes.
Le SDK fournit des capacités d’exécution de requêtes basiques, permettant de tester votre extension sans avoir à passer sur Power BI Desktop. En plus du fichier d’extension, un fichier de requête (name.query.pq) peut être utilisé pour exécuter des tests au sein de Visual Studio.
L’évaluation de requête inclut automatiquement le code d’extension, sans avoir besoin d’enregistrer le fichier .pqx. Il est donc possible d’appeler ou de tester n’importe quelle fonction partagée dans le code d’extension.
Le fichier de requête peut contenir une expression unique, une expression let comme celle que Power Query génère, ou un document de section.
La construction du projet produit un fichier sous forme de ZIP avec une extension .mez. Au runtime, Power BI Desktop charge les extensions depuis le dossier [Documents]\Microsoft Power BI Desktop\Custom Connectors.
Le Power Query SDK dans l’écosystème Microsoft
Les connecteurs Power Query créés avec le SDK peuvent être utilisés sur Power BI Desktop, mais également dans toute l’expérience Power Query Online et notamment avec les dataflows et datamarts Power BI.
Sur Power BI Desktop, il suffit de copier le fichier d’extension .mez ou .pqx dans [Documents]/Power BI Desktop/Custom Connectors.
Vous devez toutefois vous rendre dans les paramètres, rubrique Fichier > Options > Sécurité > Extensions de données et autoriser le chargement de toute extension sans validation. Le redémarrage de Power BI est nécessaire, et les extensions seront chargées immédiatement.
Si vous êtes le propriétaire de la source de données et du connecteur, vous pouvez aussi soumettre votre connecteur au programme de certification pour qu’il soit livré avec Power BI Desktop à chaque mise à jour. Sur Power Query Online, seuls les connecteurs certifiés sont présentés.
Ce SDK permet d’étendre les capacités de transformation des données dans Power BI, et répond aussi aux besoins spécifiques d’intégration de données sur Excel. Il offre ainsi une cohérence entre les différents outils Microsoft.
De plus, il peut être utilisé dans Azure Data Factory pour créer des pipelines de données complexes, facilitant le transfert et la transformation à grande échelle. Lors du processus d’intégration, il aide aussi à automatiser les tâches ETL.
On peut aussi l’utiliser en conjonction avec SQL Server pour des scénarios d’intégration de données plus robustes, et avec de nombreux autres outils d’analyse pour la préparation de données…
Conclusion : un SDK Power Query pour créer vos propres connecteurs
En permettant de personnaliser vos connecteurs de données, ce SDK étend les possibilités offertes par Power Query et offre un degré de flexibilité sans précédent.
Afin d’apprendre à manier Power Query et toutes ses subtilités, vous pouvez choisir DataScientest. Nos différentes formations en ligne vous permettront d’acquérir une véritable expertise !
Notre cursus dédié à Power BI couvre notamment Power Query, les langages M et DAX, la Data Visualization, ou encore les notions avancées telles que le Dataflow et l’actualisation incrémentielle.
Les deux parties de cette formation se complètent en seulement cinq jours à temps plein ou 30 jours à temps partiel, et permettent de valider la certification « Analyser les données avec Microsoft Power BI » reconnue par l’Etat.
Vous serez aussi préparé au passage de l’examen Microsoft PL-300, inclus dans la formation, afin d’acquérir la certification officielle Power BI Data Analyst Associate.
Nous vous proposons également une formation Microsoft Excel permettant d’étudier à votre rythme avec un accès illimité à notre plateforme d’apprentissage pendant 3 mois.
Le programme aborde Power Query, les tableaux croisés dynamiques, l’automatisation des tâches via les macros, mais aussi la mise en forme conditionnelle et les bibliothèques de fonctions.
À la fin du parcours, vous maîtriserez pleinement Excel et vous pourrez passer l’examen TOSA RS5252 hautement reconnu sur le marché du travail.
En outre, Power Query et son SDK sont également au programme de nos formations Data Analyst, Data Management et Marketing Digital & Data.
Ces cursus proposés en BootCamp, formation continue ou alternance vous confèrent toutes les compétences requises pour commencer à travailler dans la Data Science.
Toutes nos formations s’effectuent intégralement à distance via le web, et notre organisme est éligible au CPF pour le financement. Ne perdez plus un instant, et découvrez DataScientest !
Vous savez tout sur le SDK Power Query. Pour plus d’informations sur le même sujet, découvrez notre dossier consacré aux requêtes Power Query et notre dossier sur Power BI !
