{"id":180250,"date":"2023-07-16T22:14:48","date_gmt":"2023-07-16T21:14:48","guid":{"rendered":"https:\/\/datascientest.com\/de\/?p=180250"},"modified":"2023-10-30T13:07:21","modified_gmt":"2023-10-30T12:07:21","slug":"q-learning-machine-learning-mit-verstaerkendem-lernen","status":"publish","type":"post","link":"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-verstaerkendem-lernen","title":{"rendered":"Q-learning &#8211; Machine Learning mit verst\u00e4rkendem Lernen"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"180250\" class=\"elementor elementor-180250\" data-elementor-post-type=\"post\">\n\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-cd85ba6 e-flex e-con-boxed e-con\" data-id=\"cd85ba6\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t<div class=\"elementor-element elementor-element-fa355de e-con-full e-flex e-con\" data-id=\"fa355de\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;full&quot;}\">\n\t\t\t\t<div class=\"elementor-element elementor-element-0ee3326 elementor-widget elementor-widget-heading\" data-id=\"0ee3326\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-heading-title{padding:0;margin:0;line-height:1}.elementor-widget-heading .elementor-heading-title[class*=elementor-size-]>a{color:inherit;font-size:inherit;line-height:inherit}.elementor-widget-heading .elementor-heading-title.elementor-size-small{font-size:15px}.elementor-widget-heading .elementor-heading-title.elementor-size-medium{font-size:19px}.elementor-widget-heading .elementor-heading-title.elementor-size-large{font-size:29px}.elementor-widget-heading .elementor-heading-title.elementor-size-xl{font-size:39px}.elementor-widget-heading .elementor-heading-title.elementor-size-xxl{font-size:59px}<\/style><h3 class=\"elementor-heading-title elementor-size-default\">Q-learning: Reinforcement Learning ist eine Methode des Machine Learning, mit der komplexe Aufgaben selbstst\u00e4ndig gel\u00f6st werden k\u00f6nnen.<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-051033a elementor-widget elementor-widget-text-editor\" data-id=\"051033a\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-text-editor.elementor-drop-cap-view-stacked .elementor-drop-cap{background-color:#69727d;color:#fff}.elementor-widget-text-editor.elementor-drop-cap-view-framed .elementor-drop-cap{color:#69727d;border:3px solid;background-color:transparent}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap{margin-top:8px}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap-letter{width:1em;height:1em}.elementor-widget-text-editor .elementor-drop-cap{float:left;text-align:center;line-height:1;font-size:50px}.elementor-widget-text-editor .elementor-drop-cap-letter{display:inline-block}<\/style>\t\t\t\t<p>Erst k\u00fcrzlich machte diese Algorithmusfamilie im <strong>E-Sport<\/strong> von sich reden, als <a href=\"https:\/\/github.com\/deepmind\/alphastar\">AlphaStar<\/a> ver\u00f6ffentlicht wurde, ein Algorithmus, der entwickelt wurde, um die besten Spieler der Welt in <strong>StarCraft<\/strong> herauszufordern. Diese <strong>Algorithmen<\/strong> haben ein gro\u00dfes Potenzial, erweisen sich aber manchmal als sehr zeitaufwendig in der Erstellung und Parametrisierung. Dieser Artikel soll dir helfen, zu verstehen, was <strong>Q-Learning<\/strong> ist und wie du Zeit bei der Implementierung dieser Art von L\u00f6sung sparen kannst.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-223f711 e-flex e-con-boxed e-con\" data-id=\"223f711\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t<div class=\"elementor-element elementor-element-72ba860 e-con-full e-flex e-con\" data-id=\"72ba860\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;full&quot;}\">\n\t\t\t\t<div class=\"elementor-element elementor-element-b74a78d elementor-widget elementor-widget-heading\" data-id=\"b74a78d\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Definitionen<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-4cad818 elementor-widget elementor-widget-heading\" data-id=\"4cad818\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Was ist Reinforcement Learning?<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-011a208 elementor-widget elementor-widget-text-editor\" data-id=\"011a208\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><strong>Reinforcement Learning<\/strong> ist eine Methode des maschinellen Lernens, deren Ziel es ist, einen Agenten (virtuelle Entit\u00e4t: Roboter, Programm usw.), der in eine interaktive Umgebung gesetzt wird (seine Handlungen ver\u00e4ndern den Zustand der Umgebung), in die Lage zu versetzen, <strong>Handlungen auszuw\u00e4hlen<\/strong>, die die quantitativen Belohnungen maximieren. Der Agent probiert aus und verbessert seine Handlungsstrategie auf der Grundlage der von der Umgebung gelieferten Belohnungen.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-dab2d2d elementor-widget elementor-widget-heading\" data-id=\"dab2d2d\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Was ist Q-Learning?<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-8e4f470 elementor-widget elementor-widget-text-editor\" data-id=\"8e4f470\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Es gibt viele verschiedene Reinforcement-Learning-Algorithmen, die in mehrere Unterfamilien kategorisiert werden. <strong>Q-Learning<\/strong> ist relativ einfach und erm\u00f6glicht es gleichzeitig, die Lernmechanismen zu verstehen, die vielen anderen Modellen gemeinsam sind.<\/p><p>Zur einleitenden Veranschaulichung: Ein Q-Learning-Algorithmus arbeitet, um ein grundlegendes Problem zu l\u00f6sen. Beim Labyrinth-Spiel z. B. besteht das Ziel des Spiels darin, dem Roboter beizubringen, das <strong>Labyrinth<\/strong> so schnell wie m\u00f6glich zu verlassen, w\u00e4hrend er zuf\u00e4llig auf einem der wei\u00dfen Felder platziert wird. Um dies zu erreichen, gibt es drei zentrale Schritte im Lernprozess:<\/p><ul><li>Wissen: eine Aktien-Q-Wert-Funktion definieren ;<\/li><li>Wissen festigen: die Q -Funktion aktualisieren ;<\/li><li>Handeln: eine PI-Aktionsstrategie annehmen.<\/li><\/ul><p>Somit ist <strong>Q-Learning<\/strong> ein verst\u00e4rkender Lernalgorithmus, der versucht, die beste Handlung unter Ber\u00fccksichtigung des aktuellen Zustands zu finden. Er wird als nicht-politisch betrachtet, weil die Q-Learning-Funktion Handlungen lernt, die au\u00dferhalb der aktuellen Politik liegen, wie z. B. zuf\u00e4llige Handlungen zu ergreifen, und daher keine Politik erforderlich ist. Genauer gesagt versucht Q-Learning, eine Politik zu erlernen, die die Gesamtbelohnung maximiert.<\/p><p>Das &#8222;Q&#8220; in Q-learning steht f\u00fcr Qualit\u00e4t. In diesem Fall steht Qualit\u00e4t f\u00fcr den Nutzen einer bestimmten Handlung, um eine zuk\u00fcnftige Belohnung zu erhalten.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-0859003 e-flex e-con-boxed e-con\" data-id=\"0859003\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t<div class=\"elementor-element elementor-element-7852442 e-con-full e-flex e-con\" data-id=\"7852442\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;full&quot;}\">\n\t\t\t\t<div class=\"elementor-element elementor-element-6f68167 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"6f68167\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/de\/unsere-aus-und-weiterbildungen\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Q-Learning Weiterbildung<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-880995e e-flex e-con-boxed e-con\" data-id=\"880995e\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t<div class=\"elementor-element elementor-element-90c95f8 e-con-full e-flex e-con\" data-id=\"90c95f8\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;full&quot;}\">\n\t\t\t\t<div class=\"elementor-element elementor-element-7b96939 elementor-widget elementor-widget-heading\" data-id=\"7b96939\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Q-Learning: Konkrete Umsetzung<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-2e55927 elementor-widget elementor-widget-heading\" data-id=\"2e55927\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Erstellen einer Q-Tabelle<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-6d7145a elementor-widget elementor-widget-text-editor\" data-id=\"6d7145a\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Wenn der Lernprozess abgeschlossen ist, erstellen wir eine sogenannte q-Tabelle oder -Matrix, die der Form [Zustand, Aktion] folgt, und initialisieren unsere Werte auf null. Anschlie\u00dfend aktualisieren und speichern wir unsere q-Werte nach jeder Episode. Diese Wertetabelle wird zu einer Referenztabelle f\u00fcr unseren Agenten, der anhand der Werte in dieser Matrix die beste Aktion ausw\u00e4hlt.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-feac2e9 elementor-widget elementor-widget-code-highlight\" data-id=\"feac2e9\" data-element_type=\"widget\" data-widget_type=\"code-highlight.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"prismjs-default copy-to-clipboard \">\n\t\t\t<pre data-line=\"\" class=\"highlight-height language-python line-numbers\">\n\t\t\t\t<code readonly=\"true\" class=\"language-python\">\n\t\t\t\t\t<xmp>import numpy as np \r\n \r\n# Initialize q-table values to 0\r\nQ = np.zeros((state_size, action_size))\r\n<\/xmp>\n\t\t\t\t<\/code>\n\t\t\t<\/pre>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-c685f69 elementor-widget elementor-widget-heading\" data-id=\"c685f69\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Q-Learning und Updates<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-03fda79 elementor-widget elementor-widget-text-editor\" data-id=\"03fda79\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Der n\u00e4chste Schritt besteht einfach darin, dass der Agent mit der Umgebung interagiert und Aktualisierungen der Zustand-Aktions-Paare in unserem Array Q[state, action] durchf\u00fchrt.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-f826afa elementor-widget elementor-widget-heading\" data-id=\"f826afa\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Handeln: Erforschen oder Nutzen<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-3de040a elementor-widget elementor-widget-text-editor\" data-id=\"3de040a\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Ein Agent interagiert mit der Umgebung auf zwei Arten. Die erste besteht darin, die <strong>Q-Tabelle<\/strong> als Referenz zu verwenden und alle m\u00f6glichen Aktionen f\u00fcr einen bestimmten Zustand zu visualisieren. Der Agent w\u00e4hlt dann die Aktion aus, die auf dem maximalen Wert dieser Aktionen basiert. Dies wird als Exploitation bezeichnet, da wir die uns zur Verf\u00fcgung stehenden Informationen nutzen, um eine Entscheidung zu treffen.<\/p><p>Die zweite M\u00f6glichkeit besteht darin, nach dem Zufallsprinzip zu handeln. Dies wird als <strong>Exploration<\/strong> bezeichnet. Anstatt Handlungen nach der maximalen zuk\u00fcnftigen Belohnung auszuw\u00e4hlen, w\u00e4hlen wir eine Handlung zuf\u00e4llig aus. Zuf\u00e4lliges Handeln ist wichtig, weil es dem Agenten erlaubt, zu erforschen und neue Zust\u00e4nde zu entdecken, die sonst w\u00e4hrend des Exploitationsprozesses m\u00f6glicherweise nicht ausgew\u00e4hlt werden.<\/p><p>Du kannst das Erkunden \/ Ausbeuten ausbalancieren, indem du epsilon (\u03b5) verwendest und den <strong>Wert f\u00fcr die H\u00e4ufigkeit,<\/strong> mit der du erkunden oder ausbeuten m\u00f6chtest, festlegst. Hier ist ein ungef\u00e4hrer Code, der davon abh\u00e4ngt, wie der Status und der Aktionsraum eingestellt sind.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-f751ba7 elementor-widget elementor-widget-code-highlight\" data-id=\"f751ba7\" data-element_type=\"widget\" data-widget_type=\"code-highlight.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"prismjs-default copy-to-clipboard \">\n\t\t\t<pre data-line=\"\" class=\"highlight-height language-python line-numbers\">\n\t\t\t\t<code readonly=\"true\" class=\"language-python\">\n\t\t\t\t\t<xmp>import random  \r\n \r\n# Set the percent you want to explore\r\nepsilon = 0.2\r\n \r\nif random.uniform(0, 1) < epsilon:\r\n    \"\"\"\r\n    Explore: select a random action    \r\n    \"\"\"\r\nelse:\r\n    \"\"\"\r\n    Exploit: select the action with max value (future reward)    \r\n    \"\"\"\r\n<\/xmp>\n\t\t\t\t<\/code>\n\t\t\t<\/pre>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-88eed21 elementor-widget elementor-widget-heading\" data-id=\"88eed21\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Q-Tabelle aktualisieren<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-665dabd elementor-widget elementor-widget-text-editor\" data-id=\"665dabd\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Aktualisierungen finden nach jedem Schritt oder jeder Aktion statt und enden, wenn eine Episode abgeschlossen ist. In diesem Fall bedeutet &#8222;beendet&#8220;, dass der Agent einen Endzustand erreicht hat. Ein Endzustand kann z. B. auf einer Bezahlseite landen oder ein gew\u00fcnschtes Ziel erreichen. Mit gen\u00fcgend Exploration (Schritte und Episoden) wird der Agent in der Lage sein, zu konvergieren und die optimalen Werte von q oder q-Star (Q\u2217) zu lernen.<\/p><p>Hier sind die drei grundlegenden Schritte:<\/p><ol><li>Der Agent beginnt in einem Zustand (s1), nimmt eine Aktion (a1) vor und erh\u00e4lt eine Belohnung (r1).<\/li><li>Der Agent w\u00e4hlt die Aktion unter Bezugnahme auf die Q-Tabelle mit dem h\u00f6chsten Wert (max)<\/li><li>ODER zuf\u00e4llig (epsilon, \u03b5) aus.<br \/>Aktualisierung der q-Werte<\/li><\/ol><p>Hier ist die grundlegende Aktualisierungsregel f\u00fcr Q-Learning:<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-e817b72 elementor-widget elementor-widget-code-highlight\" data-id=\"e817b72\" data-element_type=\"widget\" data-widget_type=\"code-highlight.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"prismjs-default copy-to-clipboard \">\n\t\t\t<pre data-line=\"\" class=\"highlight-height language-python line-numbers\">\n\t\t\t\t<code readonly=\"true\" class=\"language-python\">\n\t\t\t\t\t<xmp># Update q values\r\nQ[state, action] = Q[state, action] + lr * (reward + gamma * np.max(Q[new_state, :]) \u2014 Q[state, action])\r\n<\/xmp>\n\t\t\t\t<\/code>\n\t\t\t<\/pre>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-66bc6df elementor-widget elementor-widget-text-editor\" data-id=\"66bc6df\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400; color: #000000;\">In der obigen <strong>Aktualisierung<\/strong> gibt es einige Variablen, die wir noch nicht erw\u00e4hnt haben. Was hier passiert, ist, dass wir unsere q-Werte entsprechend der Differenz zwischen den neuen, aktualisierten Werten und den alten Werten anpassen. Wir aktualisieren die neuen Werte mithilfe des Gamma und passen unsere Schrittgr\u00f6\u00dfe mithilfe der Lernrate (lr) an.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-f77e95a elementor-widget elementor-widget-heading\" data-id=\"f77e95a\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Einige Referenzen<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-943238d elementor-widget elementor-widget-text-editor\" data-id=\"943238d\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<ul><li><strong>Lernrate:<\/strong> lr, oft auch als Alpha bezeichnet, kann als der Grad der Akzeptanz des neuen Wertes im Vergleich zum alten Wert definiert werden. Oben nehmen wir die Differenz zwischen dem neuen und dem alten Wert und multiplizieren diesen Wert mit der Lernrate. Dieser Wert wird dann zu unserem vorherigen q-Wert addiert, wodurch er sich in die Richtung unserer letzten Aktualisierung bewegt.<\/li><li><strong>Gamma:<\/strong> Gamma oder \u03b3 ist ein Aktualisierungsfaktor. Er wird verwendet, um die unmittelbare und die zuk\u00fcnftige Belohnung auszugleichen. In unserer obigen Aktualisierungsregel kannst du sehen, dass wir den Abschlag auf die zuk\u00fcnftige Belohnung anwenden. Im Allgemeinen kann dieser Wert zwischen 0,8 und 0,99 variieren.<\/li><li><strong>Belohnung:<\/strong> Die Belohnung (reward) ist der Wert, den du erh\u00e4ltst, nachdem du eine bestimmte Aktion in einem bestimmten Zustand ausgef\u00fchrt hast. Eine Belohnung kann zu jedem gegebenen Zeitschritt oder nur zum Terminalzeitschritt auftreten.<\/li><li><strong>Max:<\/strong> np.max() verwendet die numpy-Bibliothek und nimmt das Maximum der zuk\u00fcnftigen Belohnung und wendet es auf die Belohnung des aktuellen Zustands an. Dies hat den Effekt, dass die aktuelle Handlung durch die m\u00f6gliche zuk\u00fcnftige Belohnung beeinflusst wird. Tats\u00e4chlich sind wir durch Q-Learning in der Lage, die zuk\u00fcnftige Belohnung den aktuellen Handlungen zuzuordnen, um dem Agenten zu helfen, die rentabelste Handlung in jedem gegebenen Zustand auszuw\u00e4hlen.<\/li><\/ul>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-8592e25 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"8592e25\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/de\/unsere-aus-und-weiterbildungen\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Mehr erfahren<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-fbb396e e-flex e-con-boxed e-con\" data-id=\"fbb396e\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t<div class=\"elementor-element elementor-element-a80866f e-con-full e-flex e-con\" data-id=\"a80866f\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;full&quot;}\">\n\t\t\t\t<div class=\"elementor-element elementor-element-2a950d3 elementor-widget elementor-widget-html\" data-id=\"2a950d3\" data-element_type=\"widget\" data-widget_type=\"html.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<script type=\"application\/ld+json\">.\n{\n  \"@context\": \"https:\/\/schema.org\",\n  \"@type\": \"FAQPage\",\n  \"mainEntity\": [{{\n    \"@type\": \"Frage\",\n    \"name\": \"Was ist Reinforcement Learning?\",\n    \"acceptedAnswer\": {\n      \"@type\": \"Answer\",\n      \"text\": \"Reinforcement Learning ist eine Methode des maschinellen Lernens, die es einem Agenten (virtuelles Wesen: Roboter, Programm usw.) in einer interaktiven Umgebung (seine Aktionen ver\u00e4ndern den Zustand der Umgebung) erm\u00f6glicht, Aktionen auszuw\u00e4hlen, die quantitative Belohnungen maximieren. Der Agent probiert aus und verbessert seine Handlungsstrategie auf der Grundlage der von der Umgebung bereitgestellten Belohnungen.\"\n    }\n  },{\n    \"@type\": \"Frage\",\n    \"name\": \"Was ist Q-Learning?\",\n    \"acceptedAnswer\": {\n      \"@type\": \"Answer\",\n      \"text\": \"Es gibt viele verschiedene Reinforcement-Learning-Algorithmen, die in verschiedene Unterfamilien eingeteilt werden k\u00f6nnen. Q-Learning ist relativ einfach und erm\u00f6glicht es gleichzeitig, die Lernmechanismen zu verstehen, die vielen anderen Modellen gemeinsam sind.\"\n    }\n  }]\n}\n<\/script>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>Q-learning: Reinforcement Learning ist eine Methode des Machine Learning, mit der komplexe Aufgaben selbstst\u00e4ndig gel\u00f6st werden k\u00f6nnen. Erst k\u00fcrzlich machte diese Algorithmusfamilie im E-Sport von sich reden, als AlphaStar ver\u00f6ffentlicht wurde, ein Algorithmus, der entwickelt wurde, um die besten Spieler der Welt in StarCraft herauszufordern. Diese Algorithmen haben ein gro\u00dfes Potenzial, erweisen sich aber manchmal [&hellip;]<\/p>\n","protected":false},"author":45,"featured_media":179989,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"content-type":"","inline_featured_image":false},"categories":[2454],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v21.7 (Yoast SEO v21.7) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Q-learning - Machine Learning mit verst\u00e4rkendem Lernen<\/title>\n<meta name=\"description\" content=\"Q-Learning ist eine Methode des verst\u00e4rkenden Lernens (Reinforcement Learning), die es einem Agenten erm\u00f6glicht, durch bestimmte...\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-verstaerkendem-lernen\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Q-learning - Machine Learning mit verst\u00e4rkendem Lernen\" \/>\n<meta property=\"og:description\" content=\"Q-learning: Reinforcement Learning ist eine Methode des Machine Learning, mit der komplexe Aufgaben selbstst\u00e4ndig gel\u00f6st werden k\u00f6nnen. Erst k\u00fcrzlich\" \/>\n<meta property=\"og:url\" content=\"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-verstaerkendem-lernen\" \/>\n<meta property=\"og:site_name\" content=\"Weiterbildung Data Science | DataScientest.com\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/DataScientestEN\" \/>\n<meta property=\"article:published_time\" content=\"2023-07-16T21:14:48+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-10-30T12:07:21+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2023\/07\/jason-goodman-Oalh2MojUuk-unsplash.jpg\" \/>\n\t<meta property=\"og:image:width\" content=\"1920\" \/>\n\t<meta property=\"og:image:height\" content=\"1280\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"Daniel\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@DataScientest__\" \/>\n<meta name=\"twitter:site\" content=\"@DataScientest__\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Daniel\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"6 Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-verstaerkendem-lernen#article\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-verstaerkendem-lernen\"},\"author\":{\"name\":\"Daniel\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/5a86e30c5090234fb43dd8baa83c44b0\"},\"headline\":\"Q-learning &#8211; Machine Learning mit verst\u00e4rkendem Lernen\",\"datePublished\":\"2023-07-16T21:14:48+00:00\",\"dateModified\":\"2023-10-30T12:07:21+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-verstaerkendem-lernen\"},\"wordCount\":1041,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\/\/datascientest.com\/de\/#organization\"},\"articleSection\":[\"Data Science\"],\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-verstaerkendem-lernen#respond\"]}],\"copyrightYear\":\"2023\",\"copyrightHolder\":{\"@id\":\"https:\/\/datascientest.com\/#organization\"}},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-verstaerkendem-lernen\",\"url\":\"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-verstaerkendem-lernen\",\"name\":\"Q-learning - Machine Learning mit verst\u00e4rkendem Lernen\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/de\/#website\"},\"datePublished\":\"2023-07-16T21:14:48+00:00\",\"dateModified\":\"2023-10-30T12:07:21+00:00\",\"description\":\"Q-Learning ist eine Methode des verst\u00e4rkenden Lernens (Reinforcement Learning), die es einem Agenten erm\u00f6glicht, durch bestimmte...\",\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-verstaerkendem-lernen\"]}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/datascientest.com\/de\/#website\",\"url\":\"https:\/\/datascientest.com\/de\/\",\"name\":\"Weiterbildung Data Science | DataScientest.com\",\"description\":\"F\u00fchrender Anbieter von Schulungen im Bereich Data Science\",\"publisher\":{\"@id\":\"https:\/\/datascientest.com\/de\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/datascientest.com\/de\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"de\"},{\"@type\":\"Organization\",\"@id\":\"https:\/\/datascientest.com\/de\/#organization\",\"name\":\"DataScientest\",\"url\":\"https:\/\/datascientest.com\/de\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/\",\"url\":\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png\",\"contentUrl\":\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png\",\"width\":301,\"height\":301,\"caption\":\"DataScientest\"},\"image\":{\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/\"},\"sameAs\":[\"https:\/\/www.facebook.com\/DataScientestEN\",\"https:\/\/twitter.com\/DataScientest__\",\"https:\/\/www.linkedin.com\/company\/datascientest-germany\/\",\"https:\/\/www.tiktok.com\/@datascientest\"]},{\"@type\":\"Person\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/5a86e30c5090234fb43dd8baa83c44b0\",\"name\":\"Daniel\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/837acad4f2dc47e85d81cce837261670?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/837acad4f2dc47e85d81cce837261670?s=96&d=mm&r=g\",\"caption\":\"Daniel\"},\"sameAs\":[\"https:\/\/www.linkedin.com\/school\/datascientest\/\",\"user\"],\"jobTitle\":\"ing\u00e9nieur logiciel\",\"worksFor\":\"DataScientest\",\"url\":\"https:\/\/datascientest.com\/de\/author\/team-redac\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Q-learning - Machine Learning mit verst\u00e4rkendem Lernen","description":"Q-Learning ist eine Methode des verst\u00e4rkenden Lernens (Reinforcement Learning), die es einem Agenten erm\u00f6glicht, durch bestimmte...","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-verstaerkendem-lernen","og_locale":"de_DE","og_type":"article","og_title":"Q-learning - Machine Learning mit verst\u00e4rkendem Lernen","og_description":"Q-learning: Reinforcement Learning ist eine Methode des Machine Learning, mit der komplexe Aufgaben selbstst\u00e4ndig gel\u00f6st werden k\u00f6nnen. Erst k\u00fcrzlich","og_url":"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-verstaerkendem-lernen","og_site_name":"Weiterbildung Data Science | DataScientest.com","article_publisher":"https:\/\/www.facebook.com\/DataScientestEN","article_published_time":"2023-07-16T21:14:48+00:00","article_modified_time":"2023-10-30T12:07:21+00:00","og_image":[{"width":1920,"height":1280,"url":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2023\/07\/jason-goodman-Oalh2MojUuk-unsplash.jpg","type":"image\/jpeg"}],"author":"Daniel","twitter_card":"summary_large_image","twitter_creator":"@DataScientest__","twitter_site":"@DataScientest__","twitter_misc":{"Verfasst von":"Daniel","Gesch\u00e4tzte Lesezeit":"6 Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-verstaerkendem-lernen#article","isPartOf":{"@id":"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-verstaerkendem-lernen"},"author":{"name":"Daniel","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/5a86e30c5090234fb43dd8baa83c44b0"},"headline":"Q-learning &#8211; Machine Learning mit verst\u00e4rkendem Lernen","datePublished":"2023-07-16T21:14:48+00:00","dateModified":"2023-10-30T12:07:21+00:00","mainEntityOfPage":{"@id":"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-verstaerkendem-lernen"},"wordCount":1041,"commentCount":0,"publisher":{"@id":"https:\/\/datascientest.com\/de\/#organization"},"articleSection":["Data Science"],"inLanguage":"de","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-verstaerkendem-lernen#respond"]}],"copyrightYear":"2023","copyrightHolder":{"@id":"https:\/\/datascientest.com\/#organization"}},{"@type":"WebPage","@id":"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-verstaerkendem-lernen","url":"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-verstaerkendem-lernen","name":"Q-learning - Machine Learning mit verst\u00e4rkendem Lernen","isPartOf":{"@id":"https:\/\/datascientest.com\/de\/#website"},"datePublished":"2023-07-16T21:14:48+00:00","dateModified":"2023-10-30T12:07:21+00:00","description":"Q-Learning ist eine Methode des verst\u00e4rkenden Lernens (Reinforcement Learning), die es einem Agenten erm\u00f6glicht, durch bestimmte...","inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-verstaerkendem-lernen"]}]},{"@type":"WebSite","@id":"https:\/\/datascientest.com\/de\/#website","url":"https:\/\/datascientest.com\/de\/","name":"Weiterbildung Data Science | DataScientest.com","description":"F\u00fchrender Anbieter von Schulungen im Bereich Data Science","publisher":{"@id":"https:\/\/datascientest.com\/de\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/datascientest.com\/de\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"de"},{"@type":"Organization","@id":"https:\/\/datascientest.com\/de\/#organization","name":"DataScientest","url":"https:\/\/datascientest.com\/de\/","logo":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/","url":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png","contentUrl":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png","width":301,"height":301,"caption":"DataScientest"},"image":{"@id":"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/DataScientestEN","https:\/\/twitter.com\/DataScientest__","https:\/\/www.linkedin.com\/company\/datascientest-germany\/","https:\/\/www.tiktok.com\/@datascientest"]},{"@type":"Person","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/5a86e30c5090234fb43dd8baa83c44b0","name":"Daniel","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/837acad4f2dc47e85d81cce837261670?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/837acad4f2dc47e85d81cce837261670?s=96&d=mm&r=g","caption":"Daniel"},"sameAs":["https:\/\/www.linkedin.com\/school\/datascientest\/","user"],"jobTitle":"ing\u00e9nieur logiciel","worksFor":"DataScientest","url":"https:\/\/datascientest.com\/de\/author\/team-redac"}]}},"_links":{"self":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts\/180250"}],"collection":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/users\/45"}],"replies":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/comments?post=180250"}],"version-history":[{"count":0,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts\/180250\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/media\/179989"}],"wp:attachment":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/media?parent=180250"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/categories?post=180250"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/tags?post=180250"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}