L’Automated Prompt Engineering est une nouvelle approche qui consiste à automatiser l’ingénierie et la rédaction de prompts pour les Larges Modèles de Langage (LLM) comme GPT et autres IA génératives. Découvrez tout ce qu’il faut savoir !
Avec l’émergence d’outils comme ChatGPT et MidJourney, l’IA générative provoque une révolution dans un grand nombre de secteurs. Nous sommes entrés dans une nouvelle ère.
Désormais, il est possible de générer du texte, des images, ou même de l’audio et des vidéos en seulement quelques secondes. Il s’agit d’un bouleversement, avec des conséquences massives pour une large variété de métiers.
L’intelligence artificielle peut maintenant s’occuper de créer des logiciels et des sites web, de dessiner de nouveaux produits ou des plans d’architecture, d’analyser des données ou encore d’illustrer des livres pour enfants.
Toutefois, pour obtenir les résultats souhaités à l’aide de ces puissants outils, il est indispensable de savoir formuler sa demande avec précision : c’est ce qu’on appelle le Prompt Engineering.
Or, ce processus peut s’avérer long et fastidieux. Après avoir rédigé un premier prompt, il est souvent nécessaire de le modifier à plusieurs reprises pour le perfectionner jusqu’à ce que l’IA génère exactement ce qu’on attend d’elle.
Afin de gagner encore plus de temps et de maximiser l’efficacité, les chercheurs et autres experts en IA ont commencé à créer différentes techniques d’ingénierie de prompt automatisée ou Automated Prompt Engineering.
Comme vous allez le découvrir, cette approche présente de nombreux avantages et peut faire toute la différence entre un utilisateur amateur et un véritable professionnel. Avant d’aborder plus en détail les méthodes existantes et leurs bénéfices, revenons tout d’abord aux fondamentaux.
Qu’est-ce que l’ingénierie de prompt ?
Les larges modèles de langage sont capables de créer du texte à la manière d’un humain en se basant sur les commandes qu’ils reçoivent : les prompts.
Le terme de Prompt Engineering fait référence à la création de prompts précis efficaces visant à obtenir les meilleurs résultats avec les outils d’IA générative basés sur les Larges Modèles de Langage (LLM).
Cette discipline requiert une expertise en traitement naturel du langage (NLP) et en LLM. Les Prompt Engineers doivent être capables de formuler des questions et des phrases claires et spécifiques au contexte, afin d’obtenir des réponses précises et pertinentes de l’IA.
Qu’il s’agisse de générer des rapports marketing détaillés, de créer du contenu engageant pour un site web ou d’écrire du code informatique : l’ingénierie de prompt est une compétence très utile pour gagner du temps.
Et contrairement aux idées reçues, il n’est pas nécessaire de manier un langage de programmation ou d’avoir des compétences en développement de logiciel pour exceller dans ce domaine.
Le plus important pour exercer ce rôle d’ingénieur est de maîtriser la langue et d’avoir un esprit analytique. Un prompt de haute qualité doit inclure du contexte pour aider l’IA à comprendre la situation, et des instructions pour lui expliquer précisément ce que l’on souhaite.
Ceci permet de réduire l’ambiguïté et le risque de recevoir des résultats hors sujet, de mieux contrôler l’IA générative et d’économiser du temps.
Vous vous en doutez : formuler le prompt parfait peut demander beaucoup de patience et nécessiter de multiples tentatives. C’est la raison pour laquelle il peut être très intéressant d’automatiser le processus.
Pourquoi automatiser l’ingénierie de prompts ? Quels avantages ?
Les techniques permettant de créer des prompts automatiquement ne sont pas uniquement un moyen simple de générer du contenu de haute qualité avec l’IA.
Il s’agit également d’une alternative à l’entraînement des LLM à partir de données agrégées à partir du web ou de livres, considéré comme la norme jusqu’à présent.
Plutôt que d’assembler des vastes ensembles de données et de créer manuellement des étiquettes, il est possible de produire automatiquement des données synthétiques.
Dès lors, entraîner les modèles IA sur de larges datasets devient beaucoup plus facile et rapide. Les méthodes d’ingénierie automatisée ont donc un potentiel révolutionnaire pour l’industrie de l’intelligence artificielle.
Cette approche peut aussi accroître les performances des LLM, grâce à des prompts confectionnés sur mesure pour la tâche spécifique à accomplir. Par extension, ceci permet aussi de rendre les IA plus polyvalentes.
Il existe plusieurs techniques d’ingénierie de prompt automatisée. Parmi les plus couramment utilisées, on compte l’optimisation à base de gradient, les systèmes basés sur des règles, ou encore le Machine Learning.
À présent, penchons-nous plus en détail sur deux méthodes particulièrement convaincantes : le framework Automatic Prompt Engineer (APE) et le programme OPRO !
1. Automatic Prompt Engineer (APE) : un framework pour générer des prompts automatiquement
Les chercheurs Yongchao Zhou, Andrei Ioan Muresanu, Ziwen Han et leurs collègues de l’Université de Toronto, du Vector Institute et de l’Université de Waterloo ont créé une procédure pour générer du texte de prompt pour les larges modèles de langage : Automatic Prompt Engineer (APE).
Initialement publiée en novembre 2022 et mise à jour en mars 2023, leur méthode consiste à confier des paires d’input-output (entrées-sorties) à un LLM pour qu’il génère un prompt.
Avec des inputs semblables à ceux donnés en amont, le prompt permettra au LLM de produire des résultats similaires aux outputs. Il sera également capable de générer des variations.
Cette approche requiert donc deux LLM : un générateur de prompt, et un générateur de contenu. Pour générer les prompts, les chercheurs ont utilisé GPT-3 et InstructGPT, épaulés par T5, GLM et InsertGPT pour combler les vides.
Ils ont utilisé InstructGPT pour générer le contenu. Afin de pousser l’IA à générer des prompts, ils lui ont donné une phrase telle que « J’ai donné à un ami une instruction et cinq inputs. L’ami a lu l’instruction et a écrit un output pour chacun des inputs. Voici les paires input-output ».
Cette consigne a été accompagnée d’un petit ensemble d’exemples provenant du dataset Instruction Induction, tels que les noms de deux animaux et lequel est le plus large.
Le générateur de prompt a donc répondu avec un prompt tel que « Choisis l’animal qui est plus gros ». Ce prompt ainsi que 50 inputs d’exemple ont été utilisés pour nourrir le générateur de contenu, qui a pu produire les résultats.
Afin d’évaluer l’efficacité de leur technique, les chercheurs ont évalué la qualité du prompt en se basant sur le nombre de cas où le générateur de contenu a produit des résultats correspondant exactement aux attentes.
Ceci leur a permis d’accroître les performances en demandant au générateur de produire un prompt similaire à celui qui avait reçu le plus haut score. L’étape a été répétée trois fois jusqu’à obtenir le prompt ultime.
Sur chacune des 24 tâches passées en revue dans Instruction Induction, les prompts générés par InstructGPT en utilisant APE ont surpassé ceux créés par des humains.
Cette méthode permet donc de produire des prompts capables de mener le générateur de contenu à produire des résultats de la plus haute qualité. L’APE pourrait donc permettre de maximiser les performances de tous les LLM !
2. OPRO : un programme pour laisser l’IA choisir le meilleur prompt
En septembre 2023, une équipe de chercheurs de Google DeepMind dirigée par Chrengrun Yang a créé un programme dénommé OPRO permettant de laisser les LLM essayer différents prompts jusqu’à trouver le plus adéquat pour résoudre une tâche.
Plutôt que d’essayer de modifier manuellement un prompt à de nombreuses reprises pour le perfectionner, il est donc possible d’automatiser ce processus itératif.
Les chercheurs ont aussi choisi d’utiliser le langage naturel pour décrire le problème d’optimisation plutôt que de s’en remettre à la programmation. Ceci permet à l’IA de s’adapter aux requêtes changeant constamment pour l’optimisation sur différentes tâches.
Ils donnent ensuite au LLM l’instruction de générer de nouvelles solutions itérativement en se basant sur la description du problème et les solutions précédemment trouvées.
Au coeur du programme OPRO, se trouve un algorithme appelé « Meta-Prompt ». Il passe en revue les précédents prompts, et mesure leur succès dans la résolution d’un problème donné.
Par la suite, l’algorithme génère de multiples prompts et les essaye pour trouver le meilleur. Ainsi, on pourrait comparer Meta-Prompt avec une personne qui taperait sur son clavier de multiples variantes de prompts jusqu’à trouver le plus efficace.
Il est possible de le connecter à différents LLM pour produire des prompts et des réponses, tels que GPT-3 ou GPT-4 et Google PaLM 2.
Les auteurs de l’étude ont commencé par tester OPRO sur des problèmes simples comme la régression linéaire, sur laquelle le programme avait pour consigne de « minimiser une fonction » en trouvant une paire de nombres similaires aux exemples passés tout en produisant une valeur numérique plus petite.
Le modèle de langage est donc capable de trouver des solutions à un problème mathématique juste à partir d’un prompt, sans avoir besoin d’utiliser un programme de type « solver » conçu spécifiquement à cet effet.
Par la suite, les chercheurs ont voulu vérifier comme Meta-Prompt peut optimiser des prompts en le testant sur des benchmarks comme GSM8K introduit en 2021 par OpenAI, ou BIG-bench créé par Google en 2022.
De manière générale, les prompts optimisés par Meta-Prompt surpassent ceux créés par des humains sur les deux benchmarks avec une marge de plus de 50%.
Conclusion : Automated Prompt Engineering, la clé pour débloquer tout le potentiel de l’IA
En permettant d’automatiser tout le processus d’ingénierie de prompt, l’Automated Prompt Engineering permet de passer un cap dans l’utilisation de l’IA générative. Grâce à cette méthode, il devient possible de décupler sa productivité.
Afin de devenir expert dans ce domaine, vous pouvez vous tourner vers DataScientest ! Notre formation Prompt Engineering & Generative AI vous permettra d’apprendre à rédiger des prompts parfaits en seulement deux jours.
Vous découvrirez tout d’abord les fondamentaux du Machine Learning, du Deep Learning et de l’IA générative, avant de découvrir plus en détail les outils ChatGPT pour le texte, DALL-E et Canvas pour l’image, ou encore ElevenLabs pour l’audio.
À la fin du parcours, vous serez apte à rédiger des prompts de haute qualité et à utiliser les différentes IA pour créer du contenu, développer une appli web ou analyser des données.
Cette formation s’effectue intégralement à distance, et notre organisme est éligible au CPF pour le financement. Pour aller plus loin dans le domaine de l’IA, vous pouvez également choisir nos formations Data Scientist, Machine Learning Engineer, Deep Learning ou MLOps. N’attendez plus et découvrez DataScientest !
Vous savez tout sur l’Automated Prompt Engineering. Pour plus d’informations sur le même sujet, découvrez notre dossier complet sur le métier de Prompt Engineer et notre dossier consacré à ChatGPT.
