Avec la démocratisation de l’intelligence artificielle et des large language models LLM ( ou grands modèles de langage), la résolution de problème a été bouleversée. Pour de nombreuses problématiques, il n’est plus nécessaire de créer un programme informatique avec un langage de programmation complexe. À la place, il suffit d’un bon prompt textuel.
Et plus précisément de l’advanced prompt engineering qui redéfinit la manière dont nous optimisons les performances des modèles de langage, tels que le ChatGPT.
Découvrez l’intérêt de l’ingénierie des prompts avancés à l’ère de l’IA, avec en prime 4 exemples concrets de techniques à connaître.
L’Advanced Prompt Engineering, une approche sophistiquée de l’utilisation des LLM
L’advanced prompt engineering fait référence au processus d’affinage de l’entrée d’un modèle de langage afin d’obtenir la sortie souhaitée sans modifier les poids réels du modèle. Il s’agit d’une approche sophistiquée qui va au-delà des ajustements classiques des poids du modèle. Ici, on se concentre sur le raffinement habile de l’entrée pour influencer la sortie désirée.
Par exemple, pour résoudre certains problèmes sur GPT-3, une simple phrase a été ajoutée : « Réfléchissons étape par étape ». Les résultats sont bluffants ! Le taux de résolution de GPT-3 est passé de 18 % à 79 %.
En élaborant des prompts bien structurés, vous pouvez guider les modèles de langage pour produire des résultats précis et cohérents. Mais attention, car pour exploiter pleinement leur potentiel, il ne suffit pas de poser de simples questions. Il est nécessaire d’optimiser les entrées, avec des instructions claires, pour influencer le comportement du modèle et garantir des résultats pertinents.
4 techniques avancées d’ingénierie de prompt
Maîtriser l’advanced prompt engineering signifie connaître les différentes techniques de messages guidés pour obtenir le résultat souhaité. Voici les techniques les plus courantes.
Zero shots Prompt
Le Zero Shots Prompt est l’une des premières techniques de l’advanced Prompt engineering. Il s’agit simplement de poser une question ou de présenter une tâche spécifique au modèle de langage. Et ce, sans que le modèle n’ait été spécifiquement pré-entraîné à la tâche ou la question. Autrement dit, il n’a jamais été exposé à des exemples spécifiques relatifs à cette tâche au cours de sa phase d’entraînement.
Cette approche est souvent utilisée pour évaluer la capacité de généralisation d’un modèle de langage. Et pour cause, avec le Zero shots prompt, il démontre qu’il est capable de répondre à des requêtes pour lesquelles il n’a pas été explicitement programmé pendant son apprentissage.
Chain of thought prompting (CoT)
Chain of Thought suggère une séquence de pensées ou d’idées interconnectées. Appliqué au machine learning, le CoT permet d’améliorer les performances du modèle sur des tâches de raisonnement plus complexes.
Concrètement, les ingénieurs à l’origine de cette technique d’advanced prompt engineering ont étudié la génération d’une chaîne de pensée humaine. Et cela passe par une série d’étapes de raisonnement intermédiaires.
Pour appliquer ces principes aux modèles de langage, il convient de leur fournir quelques démonstrations de chaînes de pensée en tant qu’exemples. Ensuite, il faut leur demander de produire quelques étapes de raisonnement avant de fournir la réponse finale. Ce qui leur permet d’effectuer des raisonnements complexes.
La self consistency
En science et en ingénierie, la self consistency signifie que les différentes parties ou composants d’un système interagissent de manière à maintenir leur cohérence interne.
En machine learning, la self consistency est une approche améliorée de la CoT pour résoudre des problèmes de raisonnement encore plus complexes.
À travers cette technique d’advanced prompt engineering, les chemins de raisonnement sont échantillonnés. Ce qui permet au modèle de langage de sélectionner la réponse la plus cohérente (sans prendre uniquement en compte le chemin le plus rapide).
Cette technique de prompting est particulièrement adaptée aux problèmes de raisonnement complexe où plusieurs modes de pensée existent pour conduire à une réponse correcte.
ReAct
ReAct est une technique d’advanced prompt engineering développée en 2022. Il s’agit de la synergie entre Reasoning (raisonnement) et Acting (action).
Cette méthode implique que les LLM génèrent à la fois des raisonnements et des actions spécifiques à une tâche. Les raisonnements aident ainsi le modèle à générer un plan d’action. De leur côté, les actions facilitent l’accès à des sources externes de connaissances. Ce qui permet de collecter des informations supplémentaires, et donc d’améliorer le raisonnement des LLM.
Avec ReAct, raisonnement et action sont intimement entrelacés pour améliorer toujours plus les résultats du modèle de langage.
La maîtrise de l’advanced prompt engineering avec DataScientest
