{"id":191136,"date":"2024-01-15T10:59:25","date_gmt":"2024-01-15T09:59:25","guid":{"rendered":"https:\/\/datascientest.com\/de\/?p=191136"},"modified":"2024-01-12T15:37:05","modified_gmt":"2024-01-12T14:37:05","slug":"instruction-tuning-alles-ueber-diese-revolutionaere-technik-des-fine-tuning-von-kis","status":"publish","type":"post","link":"https:\/\/datascientest.com\/de\/instruction-tuning-alles-ueber-diese-revolutionaere-technik-des-fine-tuning-von-kis","title":{"rendered":"Instruction Tuning: Alles \u00fcber diese revolution\u00e4re Technik des Fine-Tuning von KIs"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"191136\" class=\"elementor elementor-191136\" data-elementor-post-type=\"post\">\n\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-70d3c8d e-flex e-con-boxed e-con\" data-id=\"70d3c8d\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-4605218 elementor-widget elementor-widget-heading\" data-id=\"4605218\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-heading-title{padding:0;margin:0;line-height:1}.elementor-widget-heading .elementor-heading-title[class*=elementor-size-]>a{color:inherit;font-size:inherit;line-height:inherit}.elementor-widget-heading .elementor-heading-title.elementor-size-small{font-size:15px}.elementor-widget-heading .elementor-heading-title.elementor-size-medium{font-size:19px}.elementor-widget-heading .elementor-heading-title.elementor-size-large{font-size:29px}.elementor-widget-heading .elementor-heading-title.elementor-size-xl{font-size:39px}.elementor-widget-heading .elementor-heading-title.elementor-size-xxl{font-size:59px}<\/style><h2 class=\"elementor-heading-title elementor-size-default\">Instruction Tuning ist eine innovative Methode des Fine-Tuning von Wide Language Models, bei der den Beispieldaten spezifische Anweisungen hinzugef\u00fcgt werden. Finde heraus, warum dieser Ansatz das Potenzial hat, die KI zu revolutionieren!<\/h2>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-5a2457b elementor-widget elementor-widget-text-editor\" data-id=\"5a2457b\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-text-editor.elementor-drop-cap-view-stacked .elementor-drop-cap{background-color:#69727d;color:#fff}.elementor-widget-text-editor.elementor-drop-cap-view-framed .elementor-drop-cap{color:#69727d;border:3px solid;background-color:transparent}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap{margin-top:8px}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap-letter{width:1em;height:1em}.elementor-widget-text-editor .elementor-drop-cap{float:left;text-align:center;line-height:1;font-size:50px}.elementor-widget-text-editor .elementor-drop-cap-letter{display:inline-block}<\/style>\t\t\t\t<p>In den letzten Jahren haben sich <a href=\"https:\/\/datascientest.com\/de\/machine-learning-kurs-starte-durch\">Machine Learning<\/a> und die <a href=\"https:\/\/datascientest.com\/de\/nlp-schulung-wie-werde-ich-experte-in-der-verarbeitung-natuerlicher-sprache\">Nat\u00fcrliche Sprachverarbeitung (NLP)<\/a> stark weiterentwickelt. Vor allem die Art und Weise, wie Modelle trainiert werden, hat sich ver\u00e4ndert.<\/p><p>Mit dem Aufkommen von vortrainierten Modellen wie BERT oder<a href=\"https:\/\/datascientest.com\/de\/chatgpt-wie-funktioniert-dfer-nlp-algorithmus\"> GPT<\/a> wurde das Fine-Tuning von vortrainierten Modellen f\u00fcr nachgelagerte Aufgaben zum neuen Standard.<\/p><p>Anschlie\u00dfend erm\u00f6glichte die Kapazit\u00e4tssteigerung immer gr\u00f6\u00dferer Sprachmodelle das Lernen im Kontext durch Prompting. Und in j\u00fcngster Zeit ist eine neue Methode aufgetaucht, um <a href=\"https:\/\/datascientest.com\/de\/langchain-stellt-langsmith-vor-eine-all-in-one-plattform-fuer-llms\">LLMs in der Praxis n\u00fctzlich zu machen:<\/a> das <strong>Instruction Tuning.<\/strong><\/p><p>Durch die Kombination von Beispieldaten mit Anweisungen macht dieser <strong>innovative Ansatz die Sprachmodelle viel vielseitiger.<\/strong><\/p><p>Bevor wir diese Technik genauer untersuchen, wollen wir zun\u00e4chst noch einmal auf das Konzept des Fine-Tuning eingehen.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-798c067 e-flex e-con-boxed e-con\" data-id=\"798c067\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-7dc0774 elementor-widget elementor-widget-heading\" data-id=\"7dc0774\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Was ist Fine-Tuning?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-3999fc3 elementor-widget elementor-widget-text-editor\" data-id=\"3999fc3\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><strong>Vortrainierte Sprachmodelle<\/strong> bieten gro\u00dfartige M\u00f6glichkeiten, sind aber nicht von Natur aus Experten in einem bestimmten Bereich.<\/p><p>Um f\u00fcr <a href=\"https:\/\/datascientest.com\/de\/sentiment-analysis-und-machine-learning\">Aufgaben wie Stimmungsanalyse, Sprach\u00fcbersetzung<\/a> oder die Beantwortung von Fragen zu bestimmten Themen spezialisiert zu sein, m\u00fcssen sie mithilfe eines Verfahrens namens <strong>&#8222;fine-tuning&#8220; (Feinabstimmung)<\/strong> angepasst werden.<\/p><p>Mit diesem Verfahren wird einem Modell der letzte Schliff gegeben, um es zu spezialisieren. Er beinhaltet normalerweise, dass das Modell mit einem <strong>kleineren Datensatz trainiert wird,<\/strong> der speziell auf eine Aufgabe ausgerichtet ist.<\/p><p>Der Datensatz wird mit Beispielen beschriftet, die f\u00fcr die gezielte Aufgabe relevant sind. Indem das Modell diesen Beispielen ausgesetzt wird, wird es in die Lage versetzt, seine <strong>Parameter und internen Repr\u00e4sentationen anzupassen.<\/strong><\/p><p>Das w\u00e4hrend des <strong>Pre-Trainings<\/strong> gewonnene Wissen wird genutzt, was Zeit und Ressourcen spart. Wenn das Sprachmodell auf diese Weise verfeinert wurde, wird es bei den Aufgaben, f\u00fcr die es angepasst wurde, leistungsf\u00e4higer.<\/p><p>Die Herausforderung besteht jedoch darin, die durch dieses <strong>Training gewonnene Expertise<\/strong> auf andere Aufgaben zu verallgemeinern. Hier kommt das <strong>Instruction Tuning<\/strong> ins Spiel.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-917fb0d e-flex e-con-boxed e-con\" data-id=\"917fb0d\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-37fdfbe elementor-widget elementor-widget-heading\" data-id=\"37fdfbe\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Instruction Tuning vs. Fine-Tuning: Wo liegen die Unterschiede?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-4964acd elementor-widget elementor-widget-text-editor\" data-id=\"4964acd\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Der Hauptunterschied zwischen dem <strong>Instruction Tuning<\/strong> und dem standardm\u00e4\u00dfigen<strong> \u00fcberwachten Fine-Tuning<\/strong> liegt in den Daten, mit denen das Modell trainiert wird.<\/p><p>W\u00e4hrend beim \u00fcberwachten Fine-Tuning die Modelle auf <strong>Beispiel-Eingaben (Inputs)<\/strong> und die <strong>daraus resultierenden Ergebnisse (Output) trainiert<\/strong> werden, erweitert Instruction-Tuning die Input-Output-Beispiele um eine weitere Komponente: die Instruktionen.<\/p><p>Genau das ist es, was es den Instruction-Tuned-Modellen erm\u00f6glicht, leichter auf neue Aufgaben zu verallgemeinern. So werden die so angepassten <a href=\"https:\/\/datascientest.com\/de\/langchain-stellt-langsmith-vor-eine-all-in-one-plattform-fuer-llms\">LLMs <\/a>viel vielseitiger und n\u00fctzlicher.<\/p><p>Mit dieser Methode werden die F\u00e4higkeiten der <strong>LLMs,<\/strong> geeignete Ergebnisse auf der Grundlage von Instruktionseingaben zu liefern, ebenso gesteigert wie die <strong>Cross-Task-Generalisierung.<\/strong> Dadurch wird die Leistung bei neuartigen Aufgaben gesteigert.<\/p><p>Dar\u00fcber hinaus wird die Effizienz der Stichproben erh\u00f6ht, da die<strong> Menge an Trainingsdaten<\/strong>, die ben\u00f6tigt wird, um die Leistung der besten \u00fcberwachten Modelle zu erreichen, minimal ist.<\/p><p>Dieser Ansatz erfordert jedoch die Erstellung von<strong> Tuning-Instruktionsdaten.<\/strong> Gl\u00fccklicherweise gibt es <a href=\"https:\/\/datascientest.com\/de\/datasets-top-5-websites-fuer-qualitativ-hochwertige-datensaetze\">mehrere Datasets<\/a> von ausgezeichneter Qualit\u00e4t, und wir werden nun sehen, welche die beliebtesten sind!<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-cf54416 elementor-widget elementor-widget-image\" data-id=\"cf54416\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-image{text-align:center}.elementor-widget-image a{display:inline-block}.elementor-widget-image a img[src$=\".svg\"]{width:48px}.elementor-widget-image img{vertical-align:middle;display:inline-block}<\/style>\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/12\/instruction-tuning-1.jpg\" title=\"\" alt=\"\" loading=\"lazy\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-368f936 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"368f936\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/de\/weiterbildung-data-scientist\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Die Tuning-Anweisung beherrschen<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-cdf6d4c e-flex e-con-boxed e-con\" data-id=\"cdf6d4c\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-741984f elementor-widget elementor-widget-heading\" data-id=\"741984f\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Die besten Tuning-Instruktionsdatasets<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-9257d4c elementor-widget elementor-widget-text-editor\" data-id=\"9257d4c\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Es gibt zwei Hauptkategorien von Instruktions-Tuning-Datasets.<\/p><p>Im ersten Fall werden die Anweisungen zu bestehenden <a href=\"https:\/\/datascientest.com\/de\/nlp-language-translation-alles-was-du-wissen-musst\">NLP-Aufgaben hinzugef\u00fcgt<\/a>. Im zweiten Fall werden die Daten verwendet, um ein Modell so zu konditionieren, dass es neue &#8222;Tupel&#8220; (geordnete Sequenzen) von Input-Output-Anweisungen generiert.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-3314c9a elementor-widget elementor-widget-heading\" data-id=\"3314c9a\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-medium\">Nat\u00fcrliche Anweisungen (Swaroop Mishra, 2022)<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-a3bafa0 elementor-widget elementor-widget-text-editor\" data-id=\"a3bafa0\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Dieser <strong>Datensatz<\/strong> umfasst 193.000 Beispiele von Crowdsourced Instructions Outputs aus 61 existierenden <a href=\"https:\/\/datascientest.com\/de\/nlp-twitter-sentimentanalyse\">englischsprachigen NLP-Aufgaben.<\/a> Die crowd-gesourcten Anweisungen aus jedem Dataset sind an einem gemeinsamen Schema ausgerichtet.<\/p><p>Diese Anweisungen sind st\u00e4rker strukturiert als in anderen <strong>Datasets<\/strong>. Die Outputs sind jedoch relativ kurz, was die Daten f\u00fcr die Generierung von Long-Format-Inhalten weniger n\u00fctzlich macht.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-67388de elementor-widget elementor-widget-heading\" data-id=\"67388de\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-medium\">Nat\u00fcrliche Anweisungen v2 \/ Super-Nat\u00fcrliche Anweisungen (Yizhong Wang, 2022)<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-7d49a97 elementor-widget elementor-widget-text-editor\" data-id=\"7d49a97\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Diese <strong>Crowd-Sourced-Sammlung<\/strong> von Instruktionsdaten basiert auf <a href=\"https:\/\/datascientest.com\/de\/word2vec\">NLP-Aufgaben<\/a> und einfachen synthetischen Aufgaben. Sie umfasst 5 Millionen Beispiele aus 76 Aufgaben in 55 Sprachen.<\/p><p>Im Vergleich zur ersten Version des Natural Instructions Datasets sind die Anweisungen stark vereinfacht. Sie bestehen aus einer Definition der Aufgabe mit positiven und negativen Beispielen und Erkl\u00e4rungen.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-4068b8b elementor-widget elementor-widget-heading\" data-id=\"4068b8b\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-medium\">Unnatural Instructions (Or Honovinch, 2023)<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-15a5245 elementor-widget elementor-widget-text-editor\" data-id=\"15a5245\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Dieser automatisch gesammelte Datensatz umfasst 240.000 Beispiele, die durch <a href=\"https:\/\/datascientest.com\/de\/prompt-engineering-alles-ueber-den-neuen-ki-beruf\">Prompting von InstructGPT (text-davinci-002)<\/a> mit drei Beispielen f\u00fcr Super-Natural Instructions gewonnen wurden.<\/p><p>Dabei handelt es sich um eine Anweisung, einen Input und Einschr\u00e4nkungen f\u00fcr einen m\u00f6glichen Output. F\u00fcr jedes Trio hat die InstructGPT-Vorlage die Anweisung, ein neues Beispiel zu generieren.<\/p><p>Die Ausgabe wird separat aus den Bedingungen f\u00fcr die Anweisung, den Input und die erzeugten Beschr\u00e4nkungen generiert. Anschlie\u00dfend werden die so erzeugten Anweisungen wieder durch Prompting des Modells umschrieben.<\/p><p>Im Vergleich zu <strong>Super-Natural Instructions<\/strong> deckt diese neue Version von Unnatural Instructions ein viel breiteres Spektrum an Aufgaben ab. Auch wenn viele Beispiele klassische NLP-Aufgaben widerspiegeln, sind auch andere Beispiele f\u00fcr interessante Aufgaben enthalten.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-ce01293 elementor-widget elementor-widget-heading\" data-id=\"ce01293\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-medium\">P3 : \u00d6ffentlicher Pool von Prompts (Victor Sanh, 2022)<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-fcf1904 elementor-widget elementor-widget-text-editor\" data-id=\"fcf1904\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Diese<a href=\"https:\/\/datascientest.com\/de\/weights-biases-stellt-neues-toolset-fuer-prompts-engineer-vor\"> Sammlung von Prompts<\/a> ist crowd-sourced aus 177 englischsprachigen NLP-Aufgaben. F\u00fcr jedes Dataset sind im Durchschnitt etwa 11 verschiedene Prompts verf\u00fcgbar.<\/p><p>Dies erm\u00f6glicht es, den Einfluss verschiedener Promptformulierungen zu untersuchen. Im Vergleich zu den Anweisungen in den oben genannten Datasets sind die Prompts in P3 oft k\u00fcrzer und weniger ausgefeilt.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1eacb25 elementor-widget elementor-widget-heading\" data-id=\"1eacb25\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-medium\">Flan 2021 \/ Muffin (Jason Wei, 2022)<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-edc6a81 elementor-widget elementor-widget-text-editor\" data-id=\"edc6a81\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Flan 2021 bietet eine Sammlung von Prompts aus 62 Datasets mit englischsprachigen Texten und 10 Prompt-Templates f\u00fcr jede Aufgabe.<\/p><p>Und f\u00fcr Klassifikationsaufgaben wird ein OPTIONS-Supply an den Input angeh\u00e4ngt, um die Output-Beschr\u00e4nkungen anzugeben. Flan 2022 ist jedoch wesentlich umfangreicher.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-0ced6df elementor-widget elementor-widget-heading\" data-id=\"0ced6df\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-medium\">Flan 2022 (Hyung Won Chung, 2022)<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-d5c5b06 elementor-widget elementor-widget-text-editor\" data-id=\"d5c5b06\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Dieses Dataset ist eine Kombination aus Flan 2021, P3, Super-Natural Instructions und anderen Datensets zum Schlussfolgern, zum Dialog und zur Programmzusammenfassung.<\/p><p>Die neun zus\u00e4tzlichen Reasoning-Datasets sind mit einer Gedankenkette (CoT oder chain-of-thoughts) annotiert. Es handelt sich also um einen der bislang umfassendsten Instruction-Tuning-Datens\u00e4tze.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-2fd641e elementor-widget elementor-widget-image\" data-id=\"2fd641e\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/12\/instruction-tuning-2.jpg\" title=\"\" alt=\"\" loading=\"lazy\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-870350f elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"870350f\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/de\/unsere-aus-und-weiterbildungen\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Alles \u00fcber die Tuning-Anleitung lernen<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-e7356c8 e-flex e-con-boxed e-con\" data-id=\"e7356c8\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-2b262bc elementor-widget elementor-widget-heading\" data-id=\"2b262bc\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Eine neue Generation von Datasets, die n\u00e4her an der realen Welt sind<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-7a2e974 elementor-widget elementor-widget-text-editor\" data-id=\"7a2e974\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Abgesehen von den bereits erw\u00e4hnten Datasets der ersten Generation, die haupts\u00e4chlich auf bestehenden <strong>NLP-Aufgaben<\/strong> basieren, hat sich eine neue Welle von Datasets entwickelt, die n\u00e4her an Anwendungsf\u00e4lle aus der realen Welt herankommen. Hier sind einige Beispiele daf\u00fcr.<\/p><p>Das <strong>Alpaca Data Dataset<\/strong>, das von Rohan Taori und seinen Partnern im M\u00e4rz 2023 gestartet wurde, umfasst 52.000 Beispielanweisungen in englischer Sprache. Es wurde mit <strong>OpenAI<\/strong> text-davinci-003 mit self-instruct erstellt. Seine Sch\u00f6pfer haben \u00c4nderungen vorgenommen, um die Generierungspipeline zu vereinfachen und die Kosten unter 500 US-Dollar zu senken!<\/p><p>Mit Evol-instruct, das im April 2023 gestartet wurde, schrieben Can Xu und seine Kollegen 250.000 Paare von Anweisungen und Antworten, die auf<strong> Alpaca Data<\/strong> basierten, um. Die Anweisungen wurden umgeschrieben, um sie komplexer zu machen oder um mithilfe von ChatGPT neue, spezialisiertere Anweisungen zu erstellen.<\/p><p>In einem zweiten Schritt wurde <strong>ChatGPT<\/strong> verwendet, um die entsprechenden Antworten zu generieren. Die Paare aus Anweisungen und Antworten mit niedriger Qualit\u00e4t wurden mithilfe von Heuristiken herausgefiltert. Der Prozess wurde dreimal wiederholt.<\/p><p>Erw\u00e4hnt sei auch Vicuna <strong>ShareGPT<\/strong> vom M\u00e4rz 2023. Es umfasst \u00fcber 70.000 englischsprachige Konversationen, die von Nutzern geteilt und von der Website sharegpt.com gescannt wurden. Die Vorverarbeitung umfasste die Umwandlung von HTML in Markdown, das Herausfiltern von Samples mit niedriger Qualit\u00e4t und die Unterteilung langer Konversationen in k\u00fcrzere Segmente.<\/p><p>Im Vergleich zu den anderen oben genannten Datens\u00e4tzen bestehen die <strong>ShareGPT-Konversationen<\/strong> aus mehreren Replikaten und sind daher n\u00fctzlicher, um ein Modell zu trainieren, das sich auf den Kontext einer Diskussion st\u00fctzt.<\/p><p>Ein weiteres Beispiel f\u00fcr ein mehrfach repliziertes Dataset ist Baize Data, das im April 2023 ver\u00f6ffentlicht wurde. Es enth\u00e4lt Beispiele f\u00fcr 54k und 57k englischsprachige Dialoge mit durchschnittlich 3,4 Repliken, die mit<strong> GPT<\/strong> unter Verwendung von Fragen aus Quora und StackOverflow generiert wurden.<\/p><p>Au\u00dferdem wurden 47k Dialoge \u00fcber den medizinischen Bereich anhand von Fragen aus dem MedQuAD-Datensatz generiert. Dadurch ist er f\u00fcr diesen Bereich sehr n\u00fctzlich.<\/p><p>Der Datensatz databricks-dolly-15k data vom April 2023 umfasst 15k-Anweisungen und -Beispiele, die von <a href=\"https:\/\/datascientest.com\/de\/azure-databricks-was-ist-das-denn\">Databricks-Mitarbeitern<\/a> verfasst wurden. Die Anweisungen und Antworten sind von Menschen generiert, was im Gegensatz zur Verwendung von ChatGPT in den anderen erw\u00e4hnten Datasets steht.<\/p><p>Die Beispiele decken sieben verschiedene Anwendungsf\u00e4lle ab, wie offene und geschlossene Fragen und Antworten, Extrahieren und Zusammenfassen von Wikipedia-Daten, Brainstorming, Klassifizierung und kreatives Schreiben.<\/p><p>W\u00e4hrend sich die meisten Datasets auf die englische Sprache konzentrieren, bietet OpenAssistant Conversations Gespr\u00e4che in mehreren Sprachen, die von menschlichen Annotatoren erzeugt wurden. Mehr als 30 % sind in Spanisch oder anderen Sprachen.<\/p><p>LIMA data schlie\u00dflich, das im Mai 2023 gestartet wird, bietet Frage-Antwort-Paare aus StackExchange, wikiHow und dem Reddit Pushshift Dataset. Das Training mit diesem kleinen, sorgf\u00e4ltig ausgew\u00e4hlten Datensatz erweist sich als leistungsf\u00e4higer als das Training mit einem viel<strong> gr\u00f6\u00dferen Dataset wie Alpaca Data.<\/strong><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-84bc6ba elementor-widget elementor-widget-image\" data-id=\"84bc6ba\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/12\/instruction-tuning-3.jpg\" title=\"\" alt=\"\" loading=\"lazy\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-2722ebb elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"2722ebb\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/de\/unsere-aus-und-weiterbildungen\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Lerne alles \u00fcber Instruction Tuning<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-fcebfc0 e-flex e-con-boxed e-con\" data-id=\"fcebfc0\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-4f9d88b elementor-widget elementor-widget-heading\" data-id=\"4f9d88b\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Schl\u00fcsselmerkmale von Instruktionsdaten<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-b4b5314 elementor-widget elementor-widget-text-editor\" data-id=\"b4b5314\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>In einer Anfang 2023 ver\u00f6ffentlichten Studie beleuchten Shayne Longpre und seine Mitarbeiter mehrere wichtige Aspekte der Instruktionsdaten.<\/p><p>Zun\u00e4chst einmal verbessert das Training mit Few-Shot-Prompts, die mit <strong>Zero-Shot-Prompts<\/strong> gemischt werden, die Leistung in beiden Konfigurationen massiv.<\/p><p>Dar\u00fcber hinaus profitieren breite Sprachmodelle davon, dass die Anzahl der Aufgaben und ihre Vielfalt kontinuierlich zunehmen. Ein weiterer vorteilhafter Ansatz ist die Erh\u00f6hung der Datenmenge, insbesondere durch die Umkehrung von Inputs und Outputs.<\/p><p>Dies kann z. B. dadurch geschehen, dass eine Aufgabe zur Beantwortung einer Frage in eine Aufgabe zur Generierung von Fragen umgewandelt wird. Ebenso ist es bei der Verwendung einer Kombination aus mehreren <strong>Instructions Tuning<\/strong> Datasets wichtig, die Gewichte entsprechend anzupassen.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-febebd9 e-flex e-con-boxed e-con\" data-id=\"febebd9\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-ac79a8d elementor-widget elementor-widget-heading\" data-id=\"ac79a8d\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Fazit: Tuning-Anweisung, der Schl\u00fcssel zu vielseitigeren und generalistischeren LLMs?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-6881e52 elementor-widget elementor-widget-text-editor\" data-id=\"6881e52\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Mithilfe von Anweisungen, die den Datasets hinzugef\u00fcgt werden, hilft die Tuning-Anweisung, das von LLMs erworbene Wissen auf neue Aufgaben zu verallgemeinern. Dies k\u00f6nnte der Schl\u00fcssel zur <strong>Entstehung einer generalistischen KI\u00a0<\/strong> sein, die als das ultimative Ziel der k\u00fcnstlichen Intelligenz angesehen wird&#8230;<\/p><p>Laut einer Studie des Forschers Khai Loong Aw und seiner Kollegen bringt Instruction Tuning die LLMs n\u00e4her an die Art und Weise, wie das menschliche Gehirn Sprache verarbeitet. Im Vergleich zum Fine-Tuning erh\u00f6ht sich die Angleichung an das Gehirn um 6%.<\/p><p>Um diese innovative Methode des Fine-Tuning zu meistern, kannst du dich an DataScientest wenden! Wir bieten dir verschiedene Online-Kurse an, um Experte f\u00fcr k\u00fcnstliche Intelligenz zu werden.<\/p><p>Mit dem Lehrgang<strong> Machine Learning Engineer<\/strong> kannst du lernen, L\u00f6sungen f\u00fcr k\u00fcnstliche Intelligenz zu entwerfen, zu entwickeln und einzusetzen. Dieser Kurs vermittelt dir sowohl F\u00e4higkeiten in Data Science als auch im maschinellen Lernen.<\/p><p>Du wirst insbesondere die Programmierung in Python, <strong>DataViz-Tools, Data Engineering, DataOps-Techniken,<\/strong> aber auch die Konzepte von Machine Learning und Deep Learning kennen lernen.<\/p><p>Am Ende dieses praxisorientierten Kurses wirst du die Zertifizierung &#8222;Projektleiter f\u00fcr k\u00fcnstliche Intelligenz&#8220; des Coll\u00e8ge de Paris erhalten und ein Zertifikat von Mines ParisTech PSL Executive Education erhalten.<\/p><p>Dar\u00fcber hinaus kannst du die Pr\u00fcfung zum Amazon Certified Cloud Practitioner ablegen, die dir bescheinigt, dass du die AWS-Cloud beherrschst. Dieser Kurs bietet dir also eine dreifache Anerkennung!<\/p><p>Der Kurs MLOps wiederum bringt dir bei, wie man KI-Modelle automatisiert in Produktion bringt und einsetzt. Er umfasst die Programmierung unter Linux, CI\/CD, Containerisierung mit Docker und Kubernetes oder auch die \u00dcberwachung mit Prometheus und Grafana.<\/p><p>Schlie\u00dflich wird dich unser Kurs Prompt Engineering und Generative AI zu einem Meister in der Kunst der Formulierung von Prompts f\u00fcr ChatGPT, Canva oder auch <a href=\"https:\/\/datascientest.com\/de\/dall-e-in-edge-oeffentlich-zugaenglich-microsoft-gibt-gruenes-licht\">DALL-E machen.<\/a><\/p><p>In nur zwei Tagen wirst du in der Lage sein, <a href=\"https:\/\/datascientest.com\/de\/runway-revolutioniert-die-generative-kunst-mit-den-neuen-motion-brushs\">generative KI zu nutzen<\/a>, um Inhalte zu produzieren, die genau deinen Erwartungen entsprechen.<\/p><p><a href=\"https:\/\/datascientest.com\/de\/data-scientist-bildungsgutschein-booste-deine-karriere-und-dein-gehalt\">Alle unsere Kurse sind durch den Bildungsgutschein<\/a> f\u00f6rderf\u00e4hig und k\u00f6nnen vollst\u00e4ndig aus der Ferne in Vollzeit, Teilzeit oder als intensives BootCamp absolviert werden. Entdecke schnell DataScientest und seine KI-Trainings!<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-96c82ca elementor-widget elementor-widget-image\" data-id=\"96c82ca\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/12\/instruction-tuning-4.jpg\" title=\"\" alt=\"\" loading=\"lazy\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\"><\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-e6d3ec3 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"e6d3ec3\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formations-data\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Entdecke unsere KI-Trainings<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-321e09a elementor-widget elementor-widget-html\" data-id=\"321e09a\" data-element_type=\"widget\" data-widget_type=\"html.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<script type=\"application\/ld+json\">.\n{\n  \"@context\": \"https:\/\/schema.org\",\n  \"@type\": \"FAQPage\",\n  \"mainEntity\": [{{\n    \"@type\": \"Frage\",\n    \"name\": \"Was ist die Tuning-Anweisung?\",\n    \"acceptedAnswer\": {\n      \"@type\": \"Answer\",\n      \"text\": \"Instruktions-Tuning ist eine innovative Methode des Fine-Tuning von gro\u00dfen Sprachmodellen, bei der den Beispieldaten spezifische Anweisungen hinzugef\u00fcgt werden. In den letzten Jahren haben sich Machine Learning und die nat\u00fcrliche Sprachverarbeitung (NLP) stark weiterentwickelt. Insbesondere die Art und Weise, wie Modelle trainiert werden, hat sich ver\u00e4ndert. Mit dem Aufkommen von vortrainierten Modellen wie BERT oder GPT wurde das Fine-Tuning von vortrainierten Modellen f\u00fcr nachgelagerte Aufgaben zum neuen Standard. Anschlie\u00dfend erm\u00f6glichte die Kapazit\u00e4tssteigerung immer gr\u00f6\u00dferer Sprachmodelle das Lernen im Kontext durch Prompting. Und in j\u00fcngster Zeit ist eine neue Methode aufgetaucht, um LLMs in der Praxis n\u00fctzlich zu machen: das Instruction Tuning.\"\n    }\n  },{\n    \"@type\": \"Question\",\n    \"name\": \"Was ist Fine-Tuning?\",\n    \"acceptedAnswer\": {\n      \"@type\": \"Answer\",\n      \"text\": \"Vorgefertigte Sprachmodelle bieten gro\u00dfartige M\u00f6glichkeiten, sind aber nicht von Natur aus Experten in einem bestimmten Bereich. Um f\u00fcr Aufgaben wie die Analyse von Gef\u00fchlen, die \u00dcbersetzung von Sprache oder die Beantwortung von Fragen zu bestimmten Themen spezialisiert zu sein, m\u00fcssen sie mithilfe einer Methode namens \"fine-tuning\" (Feinabstimmung) angepasst werden.\"\n    }\n  },{\n    \"@type\": \"Question\",\n    \"name\": \"Instruction tuning vs fine-tuning: what differences?\",\n    \"acceptedAnswer\": {\n      \"@type\": \"Answer\",\n      \"text\": \"Der Hauptunterschied zwischen Instruction Tuning und dem standardm\u00e4\u00dfigen \u00fcberwachten Fine-Tuning liegt in den Daten, mit denen das Modell trainiert wird. W\u00e4hrend beim \u00fcberwachten Fine-Tuning die Modelle mit Beispielen (Inputs) und den daraus resultierenden Ergebnissen (Output) trainiert werden, erweitert die Tuning-Anweisung die Input-Output-Beispiele um eine weitere Komponente: die Anweisungen. Genau das ist es, was es den Instruction-Tuned-Modellen erleichtert, auf neue Aufgaben zu verallgemeinern. So werden die so angepassten LLMs viel vielseitiger und n\u00fctzlicher. Mit dieser Methode werden die F\u00e4higkeiten der LLMs, geeignete Ergebnisse auf der Grundlage von Instruktionseingaben zu liefern, ebenso gesteigert wie die Cross-Task-Generalisierung. Dadurch wird die Leistung bei neuartigen Aufgaben gesteigert. Dar\u00fcber hinaus wird die Effizienz der Stichproben erh\u00f6ht, da die Menge an Trainingsdaten, die ben\u00f6tigt wird, um die Leistung der besten \u00fcberwachten Modelle zu erreichen, minimal ist. Dieser Ansatz erfordert jedoch die Erstellung von Tuning-Instruktionsdaten. Gl\u00fccklicherweise gibt es mehrere Datasets von hervorragender Qualit\u00e4t, und wir werden uns nun ansehen, welche die beliebtesten sind!\"\n    }\n  }]\n}\n<\/script>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>Instruction Tuning ist eine innovative Methode des Fine-Tuning von Wide Language Models, bei der den Beispieldaten spezifische Anweisungen hinzugef\u00fcgt werden. Finde heraus, warum dieser Ansatz das Potenzial hat, die KI zu revolutionieren! In den letzten Jahren haben sich Machine Learning und die Nat\u00fcrliche Sprachverarbeitung (NLP) stark weiterentwickelt. Vor allem die Art und Weise, wie Modelle [&hellip;]<\/p>\n","protected":false},"author":67,"featured_media":191138,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"content-type":"","inline_featured_image":false},"categories":[2441],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v21.7 (Yoast SEO v21.7) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Instruction Tuning: Alles \u00fcber diese revolution\u00e4re Technik des Fine-Tuning von KIs<\/title>\n<meta name=\"description\" content=\"Das Instruction Tuning ist eine Technik im Bereich der k\u00fcnstlichen Intelligenz. Bei der Benutzung solltest du wissen, dass...\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/datascientest.com\/de\/instruction-tuning-alles-ueber-diese-revolutionaere-technik-des-fine-tuning-von-kis\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Instruction Tuning: Alles \u00fcber diese revolution\u00e4re Technik des Fine-Tuning von KIs\" \/>\n<meta property=\"og:description\" content=\"Instruction Tuning ist eine innovative Methode des Fine-Tuning von Wide Language Models, bei der den Beispieldaten spezifische Anweisungen hinzugef\u00fcgt\" \/>\n<meta property=\"og:url\" content=\"https:\/\/datascientest.com\/de\/instruction-tuning-alles-ueber-diese-revolutionaere-technik-des-fine-tuning-von-kis\" \/>\n<meta property=\"og:site_name\" content=\"Weiterbildung Data Science | DataScientest.com\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/DataScientestEN\" \/>\n<meta property=\"article:published_time\" content=\"2024-01-15T09:59:25+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2024-01-12T14:37:05+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/01\/instruction-tuning-768x439-1.jpg\" \/>\n\t<meta property=\"og:image:width\" content=\"768\" \/>\n\t<meta property=\"og:image:height\" content=\"439\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"Melanie\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@DataScientest__\" \/>\n<meta name=\"twitter:site\" content=\"@DataScientest__\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Melanie\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"12 Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\/\/datascientest.com\/de\/instruction-tuning-alles-ueber-diese-revolutionaere-technik-des-fine-tuning-von-kis#article\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/de\/instruction-tuning-alles-ueber-diese-revolutionaere-technik-des-fine-tuning-von-kis\"},\"author\":{\"name\":\"Melanie\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/19d5f7ade9407eb69af3bf6d1ae1731d\"},\"headline\":\"Instruction Tuning: Alles \u00fcber diese revolution\u00e4re Technik des Fine-Tuning von KIs\",\"datePublished\":\"2024-01-15T09:59:25+00:00\",\"dateModified\":\"2024-01-12T14:37:05+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\/\/datascientest.com\/de\/instruction-tuning-alles-ueber-diese-revolutionaere-technik-des-fine-tuning-von-kis\"},\"wordCount\":1927,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\/\/datascientest.com\/de\/#organization\"},\"articleSection\":[\"AI\"],\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\/\/datascientest.com\/de\/instruction-tuning-alles-ueber-diese-revolutionaere-technik-des-fine-tuning-von-kis#respond\"]}],\"copyrightYear\":\"2024\",\"copyrightHolder\":{\"@id\":\"https:\/\/datascientest.com\/#organization\"}},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/datascientest.com\/de\/instruction-tuning-alles-ueber-diese-revolutionaere-technik-des-fine-tuning-von-kis\",\"url\":\"https:\/\/datascientest.com\/de\/instruction-tuning-alles-ueber-diese-revolutionaere-technik-des-fine-tuning-von-kis\",\"name\":\"Instruction Tuning: Alles \u00fcber diese revolution\u00e4re Technik des Fine-Tuning von KIs\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/de\/#website\"},\"datePublished\":\"2024-01-15T09:59:25+00:00\",\"dateModified\":\"2024-01-12T14:37:05+00:00\",\"description\":\"Das Instruction Tuning ist eine Technik im Bereich der k\u00fcnstlichen Intelligenz. Bei der Benutzung solltest du wissen, dass...\",\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/datascientest.com\/de\/instruction-tuning-alles-ueber-diese-revolutionaere-technik-des-fine-tuning-von-kis\"]}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/datascientest.com\/de\/#website\",\"url\":\"https:\/\/datascientest.com\/de\/\",\"name\":\"Weiterbildung Data Science | DataScientest.com\",\"description\":\"F\u00fchrender Anbieter von Schulungen im Bereich Data Science\",\"publisher\":{\"@id\":\"https:\/\/datascientest.com\/de\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/datascientest.com\/de\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"de\"},{\"@type\":\"Organization\",\"@id\":\"https:\/\/datascientest.com\/de\/#organization\",\"name\":\"DataScientest\",\"url\":\"https:\/\/datascientest.com\/de\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/\",\"url\":\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png\",\"contentUrl\":\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png\",\"width\":301,\"height\":301,\"caption\":\"DataScientest\"},\"image\":{\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/\"},\"sameAs\":[\"https:\/\/www.facebook.com\/DataScientestEN\",\"https:\/\/twitter.com\/DataScientest__\",\"https:\/\/www.linkedin.com\/company\/datascientest-germany\/\",\"https:\/\/www.tiktok.com\/@datascientest\"]},{\"@type\":\"Person\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/19d5f7ade9407eb69af3bf6d1ae1731d\",\"name\":\"Melanie\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/8d3d660a0698de06f13ecf4823519da1?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/8d3d660a0698de06f13ecf4823519da1?s=96&d=mm&r=g\",\"caption\":\"Melanie\"},\"url\":\"https:\/\/datascientest.com\/de\/author\/melaniekrause\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Instruction Tuning: Alles \u00fcber diese revolution\u00e4re Technik des Fine-Tuning von KIs","description":"Das Instruction Tuning ist eine Technik im Bereich der k\u00fcnstlichen Intelligenz. Bei der Benutzung solltest du wissen, dass...","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/datascientest.com\/de\/instruction-tuning-alles-ueber-diese-revolutionaere-technik-des-fine-tuning-von-kis","og_locale":"de_DE","og_type":"article","og_title":"Instruction Tuning: Alles \u00fcber diese revolution\u00e4re Technik des Fine-Tuning von KIs","og_description":"Instruction Tuning ist eine innovative Methode des Fine-Tuning von Wide Language Models, bei der den Beispieldaten spezifische Anweisungen hinzugef\u00fcgt","og_url":"https:\/\/datascientest.com\/de\/instruction-tuning-alles-ueber-diese-revolutionaere-technik-des-fine-tuning-von-kis","og_site_name":"Weiterbildung Data Science | DataScientest.com","article_publisher":"https:\/\/www.facebook.com\/DataScientestEN","article_published_time":"2024-01-15T09:59:25+00:00","article_modified_time":"2024-01-12T14:37:05+00:00","og_image":[{"width":768,"height":439,"url":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/01\/instruction-tuning-768x439-1.jpg","type":"image\/jpeg"}],"author":"Melanie","twitter_card":"summary_large_image","twitter_creator":"@DataScientest__","twitter_site":"@DataScientest__","twitter_misc":{"Verfasst von":"Melanie","Gesch\u00e4tzte Lesezeit":"12 Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/datascientest.com\/de\/instruction-tuning-alles-ueber-diese-revolutionaere-technik-des-fine-tuning-von-kis#article","isPartOf":{"@id":"https:\/\/datascientest.com\/de\/instruction-tuning-alles-ueber-diese-revolutionaere-technik-des-fine-tuning-von-kis"},"author":{"name":"Melanie","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/19d5f7ade9407eb69af3bf6d1ae1731d"},"headline":"Instruction Tuning: Alles \u00fcber diese revolution\u00e4re Technik des Fine-Tuning von KIs","datePublished":"2024-01-15T09:59:25+00:00","dateModified":"2024-01-12T14:37:05+00:00","mainEntityOfPage":{"@id":"https:\/\/datascientest.com\/de\/instruction-tuning-alles-ueber-diese-revolutionaere-technik-des-fine-tuning-von-kis"},"wordCount":1927,"commentCount":0,"publisher":{"@id":"https:\/\/datascientest.com\/de\/#organization"},"articleSection":["AI"],"inLanguage":"de","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/datascientest.com\/de\/instruction-tuning-alles-ueber-diese-revolutionaere-technik-des-fine-tuning-von-kis#respond"]}],"copyrightYear":"2024","copyrightHolder":{"@id":"https:\/\/datascientest.com\/#organization"}},{"@type":"WebPage","@id":"https:\/\/datascientest.com\/de\/instruction-tuning-alles-ueber-diese-revolutionaere-technik-des-fine-tuning-von-kis","url":"https:\/\/datascientest.com\/de\/instruction-tuning-alles-ueber-diese-revolutionaere-technik-des-fine-tuning-von-kis","name":"Instruction Tuning: Alles \u00fcber diese revolution\u00e4re Technik des Fine-Tuning von KIs","isPartOf":{"@id":"https:\/\/datascientest.com\/de\/#website"},"datePublished":"2024-01-15T09:59:25+00:00","dateModified":"2024-01-12T14:37:05+00:00","description":"Das Instruction Tuning ist eine Technik im Bereich der k\u00fcnstlichen Intelligenz. Bei der Benutzung solltest du wissen, dass...","inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/datascientest.com\/de\/instruction-tuning-alles-ueber-diese-revolutionaere-technik-des-fine-tuning-von-kis"]}]},{"@type":"WebSite","@id":"https:\/\/datascientest.com\/de\/#website","url":"https:\/\/datascientest.com\/de\/","name":"Weiterbildung Data Science | DataScientest.com","description":"F\u00fchrender Anbieter von Schulungen im Bereich Data Science","publisher":{"@id":"https:\/\/datascientest.com\/de\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/datascientest.com\/de\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"de"},{"@type":"Organization","@id":"https:\/\/datascientest.com\/de\/#organization","name":"DataScientest","url":"https:\/\/datascientest.com\/de\/","logo":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/","url":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png","contentUrl":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png","width":301,"height":301,"caption":"DataScientest"},"image":{"@id":"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/DataScientestEN","https:\/\/twitter.com\/DataScientest__","https:\/\/www.linkedin.com\/company\/datascientest-germany\/","https:\/\/www.tiktok.com\/@datascientest"]},{"@type":"Person","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/19d5f7ade9407eb69af3bf6d1ae1731d","name":"Melanie","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/8d3d660a0698de06f13ecf4823519da1?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/8d3d660a0698de06f13ecf4823519da1?s=96&d=mm&r=g","caption":"Melanie"},"url":"https:\/\/datascientest.com\/de\/author\/melaniekrause"}]}},"_links":{"self":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts\/191136"}],"collection":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/users\/67"}],"replies":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/comments?post=191136"}],"version-history":[{"count":0,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts\/191136\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/media\/191138"}],"wp:attachment":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/media?parent=191136"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/categories?post=191136"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/tags?post=191136"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}