Automated Prompt Engineering ist ein neuer Ansatz, bei dem das Engineering und Schreiben von Prompts für Larger Language Models (LLM) wie GPT und andere generative KIs automatisiert wird. Erfahre alles, was du wissen musst!
Mit dem Aufkommen von Tools wie ChatGPT und MidJourney löst die generative KI eine Revolution in einer Vielzahl von Branchen aus. Wir sind in ein neues Zeitalter eingetreten.
Jetzt ist es möglich, Text, Bilder oder sogar Audio und Video in nur wenigen Sekunden zu generieren. Das ist ein Umbruch mit massiven Auswirkungen auf eine Vielzahl von Berufen.
Künstliche Intelligenz kann sich nun damit beschäftigen, Software und Webseiten zu erstellen, neue Produkte oder Architekturpläne zu zeichnen, Daten zu analysieren oder Kinderbücher zu illustrieren.
Um mit diesen mächtigen Werkzeugen die gewünschten Ergebnisse zu erzielen, muss man jedoch wissen, wie man seine Anfrage präzise formuliert: das sogenannte Prompt Engineering.
Dieser Prozess kann sich als langwierig und mühsam erweisen. Nachdem du einen ersten Prompt verfasst hast, musst du ihn oft mehrmals ändern, um ihn zu perfektionieren, bis die KI genau das erzeugt, was du von ihr erwartest.
Um noch mehr Zeit zu sparen und die Effizienz zu maximieren, haben Forscher und andere KI-Experten damit begonnen, verschiedene Techniken für das Automated Prompt Engineering (APE) zu entwickeln.
Wie du gleich sehen wirst, hat dieser Ansatz viele Vorteile und kann den Unterschied zwischen einem Amateur und einem echten Profi ausmachen. Bevor wir uns mit den bestehenden Methoden und ihren Vorteilen beschäftigen, wollen wir zunächst zu den Grundlagen zurückkehren.
Was ist Prompt Engineering?
Large Language Models sind in der Lage, Text wie ein Mensch zu erstellen, indem sie auf den Befehlen basieren, die sie erhalten: Prompts.
Der Begriff Prompt Engineering bezieht sich auf die Erstellung präziser, effizienter Prompts, die darauf abzielen, die besten Ergebnisse mit generativen KI-Werkzeugen zu erzielen, die auf Large Language Models (LLM) basieren.
Diese Disziplin erfordert Fachwissen in natürlicher Sprachverarbeitung (NLP) und LLM. Prompt Engineers müssen in der Lage sein, klare und kontextspezifische Fragen und Sätze zu formulieren, um präzise und relevante Antworten von der KI zu erhalten.
Egal, ob es darum geht, detaillierte Marketingberichte zu erstellen, ansprechende Inhalte für eine Website zu kreieren oder Computercode zu schreiben: Prompt Engineering ist eine sehr nützliche Fähigkeit, um Zeit zu sparen.
Und entgegen der landläufigen Meinung musst du nicht unbedingt mit einer Programmiersprache umgehen können oder Kenntnisse in der Softwareentwicklung haben, um dich in diesem Bereich auszuzeichnen.
Das Wichtigste, um diese Rolle als Ingenieur auszuüben, ist, die Sprache zu beherrschen und einen analytischen Verstand zu haben. Ein qualitativ hochwertiger Prompt sollte Kontext enthalten, damit die KI die Situation verstehen kann, und Anweisungen, um ihr genau zu erklären, was man will.
Dadurch werden Mehrdeutigkeiten und das Risiko, irrelevante Ergebnisse zu erhalten, reduziert, die generative KI kann besser kontrolliert werden und es wird Zeit gespart.
Du kannst es dir sicher vorstellen: Die perfekte Eingabeaufforderung zu formulieren, kann viel Geduld und mehrere Versuche erfordern. Aus diesem Grund kann es sehr interessant sein, diesen Prozess zu automatisieren.
Warum sollte man das Prompt-Engineering automatisieren? Welche Vorteile hat Automated Prompt Engineering?
Techniken zur automatischen Erstellung von Prompts sind nicht nur ein einfacher Weg, um mithilfe von KI qualitativ hochwertige Inhalte zu erzeugen.
Sie sind auch eine Alternative zum Training von LLMs mit aggregierten Daten aus dem Web oder aus Büchern, das bisher als Standard galt.
Anstatt große Datensätze zusammenzustellen und manuell Etiketten zu erstellen, können synthetische Daten automatisch erzeugt werden.
Das Trainieren von KI-Modellen auf großen Datenbeständen wird dadurch viel einfacher und schneller. Die Methoden des automatisierten Engineerings haben daher ein revolutionäres Potenzial für die KI-Industrie.
Dieser Ansatz kann auch die Leistung von LLMs steigern, indem Prompts auf die jeweilige Aufgabe zugeschnitten werden. Im weiteren Sinne kann dies auch dazu führen, dass KIs vielseitiger werden.
Es gibt verschiedene Techniken für das automatisierte Prompt-Engineering. Zu den am häufigsten verwendeten gehören die gradientenbasierte Optimierung, regelbasierte Systeme und Machine Learning.
Nun wollen wir uns zwei besonders überzeugende Methoden genauer ansehen: das Framework Automatic Prompt Engineer (APE) und das OPRO-Programm!
1. Automatic Prompt Engineer (APE): Ein Framework zum automatischen Erstellen von Prompts.
Die Forscher Yongchao Zhou, Andrei Ioan Muresanu, Ziwen Han und ihre Kollegen von der Universität Toronto, dem Vector Institute und der Universität Waterloo haben ein Verfahren zur Erzeugung von Prompttext für breite Sprachmuster entwickelt: Automatic Prompt Engineer (APE).
Ihre Methode, die ursprünglich im November 2022 veröffentlicht und im März 2023 aktualisiert wurde, besteht darin, Input-Output-Paare an eine LLM zu übergeben, damit diese einen Prompt generiert.
Bei ähnlichen Inputs wie denjenigen, die im Vorfeld gegeben wurden, wird der Prompt die LLM in die Lage versetzen, ähnliche Ergebnisse wie die Outputs zu erzeugen. Sie wird auch in der Lage sein, Variationen zu erzeugen.
Dieser Ansatz erfordert also zwei LLMs: einen Prompt-Generator und einen Inhaltsgenerator. Um die Prompts zu erzeugen, verwendeten die Forscher GPT-3 und InstructGPT, unterstützt von T5, GLM und InsertGPT, um die Lücken zu füllen.
InstructGPT wurde verwendet, um den Inhalt zu generieren. Um die KI dazu zu bringen, Prompts zu erzeugen, gaben sie ihr einen Satz wie „Ich habe einem Freund eine Anweisung und fünf Inputs gegeben. Der Freund hat die Anweisung gelesen und für jeden der Inputs einen Output geschrieben. Hier sind die Input-Output-Paare“.
Diese Anweisung wurde von einer kleinen Gruppe von Beispielen aus dem Dataset Instruction Induction begleitet, wie z. B. die Namen von zwei Tieren und welches Tier breiter ist.
Der Prompt-Generator antwortete darauf mit einem Prompt wie „Wähle das Tier, das größer ist“. Dieser Prompt wurde zusammen mit 50 Beispiel-Inputs verwendet, um den Inhaltsgenerator zu füttern, der die Ergebnisse produzieren konnte.
Um die Effektivität ihrer Technik zu beurteilen, bewerteten die Forscher die Qualität des Prompts anhand der Anzahl der Fälle, in denen der Inhaltsgenerator Ergebnisse lieferte, die genau den Erwartungen entsprachen.
Dadurch konnten sie die Leistung steigern, indem sie den Generator anwiesen, einen Prompt zu produzieren, der demjenigen ähnelte, der die höchste Punktzahl erhalten hatte. Dieser Schritt wurde dreimal wiederholt, bis der ultimative Prompt gefunden war.
Bei jeder der 24 Aufgaben, die in Instruction Induction untersucht wurden, übertrafen die von InstructGPT mithilfe von APE erzeugten Prompts die von Menschen erzeugten Prompts.
Diese Methode kann also Prompts erzeugen, die den Inhaltsgenerator dazu bringen, Ergebnisse von höchster Qualität zu liefern. APE könnte also die Leistung aller LLMs maximieren!
2. OPRO: Ein Programm, um die KI die beste Prompt auswählen zu lassen
Im September 2023 hat ein Forscherteam von Google DeepMind unter der Leitung von Chrengrun Yang ein Programm namens OPRO entwickelt, mit dem LLMs verschiedene Prompts ausprobieren können, bis sie den besten Prompt für eine Aufgabe gefunden haben.
Anstatt zu versuchen, einen Prompt immer wieder manuell zu ändern, um ihn zu verbessern, kann dieser iterative Prozess automatisiert werden.
Die Forscher entschieden sich auch dafür, natürliche Sprache zu verwenden, um das Optimierungsproblem zu beschreiben, anstatt sich auf die Programmierung zu verlassen. Dies ermöglicht es der KI, sich an die sich ständig ändernden Anfragen für die Optimierung über verschiedene Aufgaben hinweg anzupassen.
Anschließend weisen sie den LLM an, iterativ neue Lösungen zu generieren, die auf der Problembeschreibung und den zuvor gefundenen Lösungen basieren.
Das Herzstück des OPRO-Programms ist ein Algorithmus, der „Meta-Prompt“ genannt wird. Er überprüft frühere Prompts und misst ihren Erfolg bei der Lösung eines bestimmten Problems.
Anschließend generiert der Algorithmus mehrere Prompts und probiert sie aus, um den besten zu finden. Man könnte Meta-Prompt also mit einer Person vergleichen, die auf ihrer Tastatur mehrere Varianten von Prompts eingibt, bis sie den erfolgreichsten gefunden hat.
Es kann mit verschiedenen LLMs verbunden werden, um Prompts und Antworten zu erzeugen, wie z. B. GPT-3 oder GPT-4 und Google PaLM 2.
Die Autoren der Studie testeten OPRO zunächst an einfachen Problemen wie der linearen Regression, bei der das Programm die Anweisung hatte, „eine Funktion zu minimieren“, indem es ein Zahlenpaar findet, das den vergangenen Beispielen ähnelt und gleichzeitig einen kleineren Zahlenwert erzeugt.
Das Sprachmodell ist also in der Lage, Lösungen für ein mathematisches Problem nur anhand eines Prompts zu finden, ohne ein speziell dafür entwickeltes Solver-Programm zu verwenden.
Anschließend wollten die Forscher überprüfen, ob Meta-Prompt Prompts optimieren kann, indem sie es auf Benchmarks wie GSM8K, das 2021 von OpenAI eingeführt wird, oder BIG-bench, das 2022 von Google erstellt wird, testeten.
Im Allgemeinen übertrafen die von Meta-Prompt optimierten Prompts die von Menschen erstellten Prompts in beiden Benchmarks um mehr als 50 %.
Fazit: Automated Prompt Engineering, der Schlüssel zur Entfesselung des gesamten KI-Potenzials
Automated Prompt Engineering ermöglicht die Automatisierung des gesamten Prompt-Engineering-Prozesses und stellt damit einen Meilenstein in der Nutzung generativer KI dar. Mit dieser Methode ist es möglich, die Produktivität um das Zehnfache zu steigern.
Um ein Experte in diesem Bereich zu werden, kannst du dich an DataScientest wenden! In unserem Kurs Prompt Engineering & Generative AI lernst du in nur zwei Tagen, wie du perfekte Prompts schreibst.
Zunächst lernst du die Grundlagen von Machine Learning, Deep Learning und generativer KI kennen, bevor du die Tools ChatGPT für Text, DALL-E und Canvas für Bilder oder ElevenLabs für Audio genauer kennenlernst.
Am Ende des Kurses wirst du in der Lage sein, qualitativ hochwertige Prompts zu verfassen und die verschiedenen KIs zu nutzen, um Inhalte zu erstellen, eine Web-App zu entwickeln oder Daten zu analysieren.
Dieser Kurs wird vollständig als Fernkurs durchgeführt, und unsere Organisation ist für die Finanzierung durch den Bildungsgutschein genehmigt. Wenn du im Bereich der KI noch weiter gehen möchtest, kannst du auch unsere Kurse Data Scientist, Machine Learning Engineer, Deep Learning oder MLOps wählen. Warte nicht länger und entdecke DataScientest!
