{"id":166308,"date":"2022-12-21T13:32:45","date_gmt":"2022-12-21T12:32:45","guid":{"rendered":"https:\/\/datascientest.com\/de\/?p=166308"},"modified":"2023-10-30T08:50:09","modified_gmt":"2023-10-30T07:50:09","slug":"q-learning-machine-learning-mit-reinforcement-learning","status":"publish","type":"post","link":"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-reinforcement-learning","title":{"rendered":"Q-learning &#8211; Machine Learning mit Reinforcement Learning"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"166308\" class=\"elementor elementor-166308\" data-elementor-post-type=\"post\">\n\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-d6ce253 e-flex e-con-boxed e-con\" data-id=\"d6ce253\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-129fb42 elementor-widget elementor-widget-heading\" data-id=\"129fb42\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-heading-title{padding:0;margin:0;line-height:1}.elementor-widget-heading .elementor-heading-title[class*=elementor-size-]>a{color:inherit;font-size:inherit;line-height:inherit}.elementor-widget-heading .elementor-heading-title.elementor-size-small{font-size:15px}.elementor-widget-heading .elementor-heading-title.elementor-size-medium{font-size:19px}.elementor-widget-heading .elementor-heading-title.elementor-size-large{font-size:29px}.elementor-widget-heading .elementor-heading-title.elementor-size-xl{font-size:39px}.elementor-widget-heading .elementor-heading-title.elementor-size-xxl{font-size:59px}<\/style><h2 class=\"elementor-heading-title elementor-size-default\">Reinforcement Learning ist eine Methode des Machine Learning, mit der komplexe Aufgaben selbstst\u00e4ndig gel\u00f6st werden k\u00f6nnen.<\/h2>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-0183c18 e-flex e-con-boxed e-con\" data-id=\"0183c18\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-5052700 elementor-widget elementor-widget-text-editor\" data-id=\"5052700\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-text-editor.elementor-drop-cap-view-stacked .elementor-drop-cap{background-color:#69727d;color:#fff}.elementor-widget-text-editor.elementor-drop-cap-view-framed .elementor-drop-cap{color:#69727d;border:3px solid;background-color:transparent}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap{margin-top:8px}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap-letter{width:1em;height:1em}.elementor-widget-text-editor .elementor-drop-cap{float:left;text-align:center;line-height:1;font-size:50px}.elementor-widget-text-editor .elementor-drop-cap-letter{display:inline-block}<\/style>\t\t\t\t<p><span style=\"font-weight: 400;\">Erst k\u00fcrzlich machte diese Algorithmusfamilie im E-Sport von sich reden, als<\/span> <a href=\"https:\/\/deepmind.com\/blog\/article\/AlphaStar-Grandmaster-level-in-StarCraft-II-using-multi-agent-reinforcement-learning\">AlphaStar<\/a><span style=\"font-weight: 400;\"> ver\u00f6ffentlicht wurde, ein Algorithmus, der entwickelt wurde, um die besten Spieler der Welt in<\/span> <a href=\"https:\/\/starcraft2.com\/de-de\/\">StarCarft<\/a><span style=\"font-weight: 400;\"> herauszufordern. Diese Algorithmen haben ein <\/span><b>gro\u00dfes Potenzial, <\/b><span style=\"font-weight: 400;\">erweisen sich aber manchmal als sehr zeitaufwendig in der Erstellung und Parametrisierung. Dieser Artikel soll dir helfen, zu <\/span><b>verstehen, was Q-Learning ist <\/b><span style=\"font-weight: 400;\">und wie du Zeit bei der <\/span><b>Implementierung <\/b><span style=\"font-weight: 400;\">dieser Art von L\u00f6sung sparen kannst.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-a3ed3e8 elementor-align-center button-principal elementor-widget elementor-widget-button\" data-id=\"a3ed3e8\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-md\" href=\"https:\/\/datascientest.com\/de\/weiterbildung-data-scientist\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Lernen Sie Machine Learning<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-1d7a4e3 e-flex e-con-boxed e-con\" data-id=\"1d7a4e3\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-597751a elementor-widget elementor-widget-heading\" data-id=\"597751a\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Definitionen<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-840c275 elementor-widget elementor-widget-heading\" data-id=\"840c275\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Was genau ist Reinforcement Learning?<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-870ac4d elementor-widget elementor-widget-text-editor\" data-id=\"870ac4d\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><a href=\"https:\/\/datascientest.com\/quest-ce-que-le-reinforcement-learning\">Reinforcement Learning<\/a><span style=\"font-weight: 400\"> ist eine Methode des maschinellen Lernens, die es einem <\/span><b>Agenten <\/b><span style=\"font-weight: 400\">(virtuelle Entit\u00e4t: Roboter, Programm usw.), der in eine <\/span><b>interaktive Umgebung <\/b><span style=\"font-weight: 400\">gesetzt wird (seine Aktionen ver\u00e4ndern den Zustand der Umgebung), erm\u00f6glichen soll, <\/span><b>Aktionen zu <\/b><span style=\"font-weight: 400\">w\u00e4hlen, die quantitative <\/span><b>Belohnungen <\/b><span style=\"font-weight: 400\">maximieren. Der Agent probiert aus und verbessert seine Handlungsstrategie auf der Grundlage der von der Umgebung gelieferten Belohnungen.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-666e527 elementor-widget elementor-widget-heading\" data-id=\"666e527\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Was ist Q-Learning?<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-7e06f64 elementor-widget elementor-widget-text-editor\" data-id=\"7e06f64\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Es gibt viele verschiedene Reinforcement-Learning-Algorithmen, die in mehrere Unterfamilien kategorisiert werden. <\/span><b>Q-Learning <\/b><span style=\"font-weight: 400\">ist sowohl relativ <\/span><b>einfach <\/b><span style=\"font-weight: 400\">und erm\u00f6glicht gleichzeitig das Verst\u00e4ndnis von Lernmechanismen, die vielen anderen Modellen gemeinsam sind.<\/span><\/p><p><span style=\"font-weight: 400\">Zur einleitenden Veranschaulichung: Ein Q-Learning-Algorithmus arbeitet, um ein grundlegendes Problem zu l\u00f6sen. Beim Labyrinth-Spiel z. B. besteht das Ziel des Spiels darin, dem Roboter beizubringen, das Labyrinth so schnell wie m\u00f6glich zu verlassen, w\u00e4hrend er zuf\u00e4llig auf einem der wei\u00dfen Felder platziert wird. Um dies zu erreichen, gibt es drei zentrale Schritte im Lernprozess:<\/span><\/p><ul><li style=\"font-weight: 400\"><b>Kenntnis<\/b><span style=\"font-weight: 400\">: Definition einer Aktien-Wert-Funktion Q ;<\/span><\/li><li style=\"font-weight: 400\"><b>Wissen erweitern<\/b><span style=\"font-weight: 400\">: Q-Funktion aktualisieren ;<\/span><\/li><li style=\"font-weight: 400\"><b>Handeln<\/b><span style=\"font-weight: 400\">: eine Strategie f\u00fcr PI-Aktionen beschlie\u00dfen<\/span><\/li><\/ul>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-4994329 elementor-widget elementor-widget-text-editor\" data-id=\"4994329\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Q-Learning ist also ein <\/span><b>verst\u00e4rkender Lern<\/b><span style=\"font-weight: 400\">algorithmus, der versucht, die <\/span><b>beste Handlung unter <\/b><span style=\"font-weight: 400\">Ber\u00fccksichtigung des <\/span><b>aktuellen Zustands zu <\/b><span style=\"font-weight: 400\">finden. Es wird als <\/span><b>nicht-politisch <\/b><span style=\"font-weight: 400\">betrachtet, weil die Q-Learning-Funktion Aktionen lernt, die au\u00dferhalb der aktuellen Politik liegen, wie z. B. zuf\u00e4llige Aktionen zu ergreifen, und daher keine Politik erforderlich ist. Genauer gesagt versucht Q-Learning, eine Politik zu erlernen, die die Gesamtbelohnung maximiert.<\/span><\/p><p><span style=\"font-weight: 400\">Das &#8222;Q&#8220; in Q-Learning steht f\u00fcr <\/span><b>Qualit\u00e4t<\/b><span style=\"font-weight: 400\">. In diesem Fall steht Qualit\u00e4t f\u00fcr den Nutzen einer bestimmten Handlung, um eine zuk\u00fcnftige Belohnung zu erhalten.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-cb77ba1 elementor-align-center button-principal elementor-widget elementor-widget-button\" data-id=\"cb77ba1\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-md\" href=\"https:\/\/datascientest.com\/de\/weiterbildung-data-scientist\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Q-Learning beherrschen lernen<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-3ac0f69 e-flex e-con-boxed e-con\" data-id=\"3ac0f69\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-a652ed9 elementor-widget elementor-widget-heading\" data-id=\"a652ed9\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Q-Learning: Konkrete Umsetzung<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-a47f12a elementor-widget elementor-widget-heading\" data-id=\"a47f12a\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Erstellen einer Q-Tabelle<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-9b42031 elementor-widget elementor-widget-text-editor\" data-id=\"9b42031\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Wenn der Lernprozess abgeschlossen ist, erstellen wir eine sogenannte <\/span><b>q-Tabelle<\/b><span style=\"font-weight: 400\"> oder -Matrix, die der Form <\/span><b>[Zustand, Aktion] <\/b><span style=\"font-weight: 400\">folgt, und initialisieren unsere <\/span><b>Werte auf null<\/b><span style=\"font-weight: 400\">. Wir aktualisieren und speichern unsere q-Werte dann nach jeder Episode. Diese Wertetabelle wird zu einer Referenztabelle f\u00fcr unseren Agenten, der anhand der Werte in dieser Matrix die beste Aktion ausw\u00e4hlt.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-fb4be04 elementor-widget elementor-widget-code-highlight\" data-id=\"fb4be04\" data-element_type=\"widget\" data-widget_type=\"code-highlight.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"prismjs-default copy-to-clipboard \">\n\t\t\t<pre data-line=\"\" class=\"highlight-height language-javascript line-numbers\">\n\t\t\t\t<code readonly=\"true\" class=\"language-javascript\">\n\t\t\t\t\t<xmp>import numpy as np\r\n\r\n# Initialize q-table values to 0\r\nQ = np.zeros((state_size, action_size))<\/xmp>\n\t\t\t\t<\/code>\n\t\t\t<\/pre>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-699f905 elementor-widget elementor-widget-heading\" data-id=\"699f905\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Q-Learning und Updates<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-5b87446 elementor-widget elementor-widget-text-editor\" data-id=\"5b87446\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Der n\u00e4chste Schritt besteht einfach darin, dass der Agent mit der Umgebung interagiert und Aktualisierungen der <\/span><b>Zustand-Aktion-Paare <\/b><span style=\"font-weight: 400\">in unserem Array <\/span><b>Q[state, action] <\/b><span style=\"font-weight: 400\">durchf\u00fchrt.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-d888f1b elementor-widget elementor-widget-heading\" data-id=\"d888f1b\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h5 class=\"elementor-heading-title elementor-size-default\"><b>- Handeln: Untersuchen oder verwerten<\/b><\/h5>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-27e4c66 elementor-widget elementor-widget-text-editor\" data-id=\"27e4c66\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Ein Agent interagiert mit der Umgebung auf zwei Arten. Die erste besteht darin, die Q-Tabelle als Referenz zu verwenden und alle m\u00f6glichen Aktionen f\u00fcr einen bestimmten Zustand zu visualisieren. Der Agent w\u00e4hlt dann die Aktion aus, die auf dem maximalen Wert dieser Aktionen basiert. Dies wird als <\/span><b>Exploitation <\/b><span style=\"font-weight: 400\">bezeichnet, da wir die uns zur Verf\u00fcgung stehenden Informationen nutzen, um eine Entscheidung zu treffen.<\/span><\/p><p><span style=\"font-weight: 400\">Der zweite Weg besteht darin, nach dem Zufallsprinzip zu handeln. Dies wird als <\/span><b>Exploration <\/b><span style=\"font-weight: 400\">bezeichnet. Anstatt Handlungen nach der maximalen zuk\u00fcnftigen Belohnung auszuw\u00e4hlen, w\u00e4hlen wir eine Handlung zuf\u00e4llig aus. Zuf\u00e4llig zu handeln ist wichtig, weil es dem Agenten erlaubt, zu erforschen und neue Zust\u00e4nde zu entdecken, die sonst w\u00e4hrend des Exploitationsprozesses m\u00f6glicherweise nicht ausgew\u00e4hlt werden.<\/span><\/p><p><span style=\"font-weight: 400\">Du kannst das Erkunden \/ Abbauen ausbalancieren, indem du epsilon (\u03b5) verwendest und den Wert f\u00fcr die H\u00e4ufigkeit, mit der du erkunden oder abbauen m\u00f6chtest, festlegst. Hier ist ein ungef\u00e4hrer Code, der davon abh\u00e4ngt, wie der Status und der Aktionsraum eingestellt sind.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-8cd1c4a elementor-widget elementor-widget-code-highlight\" data-id=\"8cd1c4a\" data-element_type=\"widget\" data-widget_type=\"code-highlight.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"prismjs-default copy-to-clipboard \">\n\t\t\t<pre data-line=\"\" class=\"highlight-height language-javascript line-numbers\">\n\t\t\t\t<code readonly=\"true\" class=\"language-javascript\">\n\t\t\t\t\t<xmp>import random\r\n\r\n# Set the percent you want to explore\r\nepsilon = 0.2\r\n\r\nif random.uniform(0, 1) &lt; epsilon:\r\n    &quot;&quot;&quot;\r\n    Explore: select a random action\r\n    &quot;&quot;&quot;\r\nelse:\r\n    &quot;&quot;&quot;\r\n    Exploit: select the action with max value (future reward)\r\n    &quot;&quot;&quot;<\/xmp>\n\t\t\t\t<\/code>\n\t\t\t<\/pre>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-08a950a elementor-widget elementor-widget-heading\" data-id=\"08a950a\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h5 class=\"elementor-heading-title elementor-size-default\"><b>- Aktualisierung der q-Tabelle<\/b><\/h5>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-fca0d9d elementor-widget elementor-widget-text-editor\" data-id=\"fca0d9d\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><b>Aktualisierungen finden nach jedem Schritt <\/b><span style=\"font-weight: 400\">oder jeder Aktion statt und enden, wenn eine Episode abgeschlossen ist. In diesem Fall bedeutet &#8222;beendet&#8220;, dass der Agent einen <\/span><b>Endzustand <\/b><span style=\"font-weight: 400\">erreicht hat. Ein Endzustand kann z. B. auf einer Bezahlseite landen oder ein gew\u00fcnschtes Ziel erreichen. Mit gen\u00fcgend Exploration (Schritte und Episoden) wird der Agent in der Lage sein, zu konvergieren und die <\/span><b>optimalen Werte <\/b><span style=\"font-weight: 400\">von q oder q-Star (Q\u2217) zu lernen.<\/span><\/p><p><span style=\"font-weight: 400\">Hier sind die drei grundlegenden Schritte:<\/span><\/p><ol><li style=\"font-weight: 400\"><span style=\"font-weight: 400\">Der Agent beginnt in einem Zustand (s1), nimmt eine Aktion (a1) vor und erh\u00e4lt eine Belohnung (r1).<\/span><\/li><li style=\"font-weight: 400\"><span style=\"font-weight: 400\">Der Agent w\u00e4hlt die Aktion, indem er sich auf die Q-Tabelle mit dem h\u00f6chsten Wert (max) ODER zuf\u00e4llig (epsilon, \u03b5) bezieht.<\/span><\/li><li style=\"font-weight: 400\"><span style=\"font-weight: 400\">Aktualisierung der Q-Werte<\/span><\/li><\/ol>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-137c5a8 elementor-widget elementor-widget-text-editor\" data-id=\"137c5a8\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Hier ist die grundlegende Update-Regel f\u00fcr Q-Learning :<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-f9fa7dd elementor-widget elementor-widget-code-highlight\" data-id=\"f9fa7dd\" data-element_type=\"widget\" data-widget_type=\"code-highlight.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"prismjs-default copy-to-clipboard \">\n\t\t\t<pre data-line=\"\" class=\"highlight-height language-javascript line-numbers\">\n\t\t\t\t<code readonly=\"true\" class=\"language-javascript\">\n\t\t\t\t\t<xmp># Update q values\r\nQ[state, action] = Q[state, action] + lr * (reward + gamma * np.max(Q[new_state, :]) \u2014 Q[state, action])<\/xmp>\n\t\t\t\t<\/code>\n\t\t\t<\/pre>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-e65e031 elementor-widget elementor-widget-text-editor\" data-id=\"e65e031\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">In der obigen Aktualisierung gibt es einige Variablen, die wir noch nicht erw\u00e4hnt haben. Was hier passiert, ist, dass wir unsere q-Werte entsprechend der Differenz zwischen den neuen aktualisierten und den alten Werten anpassen. Wir aktualisieren die neuen Werte mithilfe des Gamma und passen unsere Schrittgr\u00f6\u00dfe mithilfe der Lernrate (lr) an.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-cc33d6b e-flex e-con-boxed e-con\" data-id=\"cc33d6b\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-8061534 elementor-widget elementor-widget-heading\" data-id=\"8061534\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Einige Referenzen<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-948dd4a elementor-widget elementor-widget-text-editor\" data-id=\"948dd4a\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<ul><li style=\"font-weight: 400\"><b>Lernrate: <\/b><span style=\"font-weight: 400\">lr, oft auch als Alpha bezeichnet, kann als der <\/span><b>Grad der Akzeptanz <\/b><span style=\"font-weight: 400\">des neuen Wertes im Vergleich zum alten Wert definiert werden. Oben nehmen wir die Differenz zwischen dem neuen und dem alten Wert und multiplizieren diesen Wert mit der Lernrate. Dieser Wert wird dann zu unserem vorherigen q-Wert addiert, wodurch er sich in die Richtung unserer letzten Aktualisierung bewegt.<\/span><\/li><li style=\"font-weight: 400\"><b>Gamma: <\/b><span style=\"font-weight: 400\">Gamma oder \u03b3 ist ein <\/span><b>Aktualisierungsfaktor<\/b><span style=\"font-weight: 400\">. Er wird verwendet, um die sofortige und die zuk\u00fcnftige Belohnung ins Gleichgewicht zu bringen. In unserer obigen Aktualisierungsregel kannst du sehen, dass wir den Abschlag auf die zuk\u00fcnftige Belohnung anwenden. Im Allgemeinen kann dieser Wert zwischen 0,8 und 0,99 variieren.<\/span><\/li><li style=\"font-weight: 400\"><span style=\"font-weight: 400\">Belohnung<\/span><b>:<\/b><span style=\"font-weight: 400\"> Eine Belohnung (reward) ist der <\/span><b>Wert, <\/b><span style=\"font-weight: 400\">den du <\/span><b>erh\u00e4ltst, <\/b><span style=\"font-weight: 400\">nachdem du eine bestimmte Aktion in einem bestimmten Zustand ausgef\u00fchrt hast. Eine Belohnung kann zu jedem gegebenen Zeitschritt oder nur zum Terminalzeitschritt auftreten.<\/span><\/li><li style=\"font-weight: 400\"><b>Max: <\/b><span>np.max() verwendet die numpy-Bibliothek und nimmt das <\/span><b>Maximum der zuk\u00fcnftigen Belohnung <\/b><span>und wendet es auf die Belohnung des aktuellen Zustands an. Dies bewirkt, dass die aktuelle Handlung durch die m\u00f6gliche zuk\u00fcnftige Belohnung beeinflusst wird. Tats\u00e4chlich sind wir durch Q-Learning in der Lage, die zuk\u00fcnftige Belohnung den aktuellen Handlungen zuzuordnen, um dem Agenten zu helfen, die rentabelste Handlung in jedem gegebenen Zustand auszuw\u00e4hlen.<\/span><\/li><\/ul>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>Reinforcement Learning ist eine Methode des Machine Learning, mit der komplexe Aufgaben selbstst\u00e4ndig gel\u00f6st werden k\u00f6nnen. Erst k\u00fcrzlich machte diese Algorithmusfamilie im E-Sport von sich reden, als AlphaStar ver\u00f6ffentlicht wurde, ein Algorithmus, der entwickelt wurde, um die besten Spieler der Welt in StarCarft herauszufordern. Diese Algorithmen haben ein gro\u00dfes Potenzial, erweisen sich aber manchmal als [&hellip;]<\/p>\n","protected":false},"author":47,"featured_media":166310,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"content-type":"","inline_featured_image":false},"categories":[2454],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v21.7 (Yoast SEO v21.7) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Q-learning - Machine Learning mit Reinforcement Learning<\/title>\n<meta name=\"description\" content=\"Reinforcement Learning ist eine Methode des Machine Learning, mit der komplexe Aufgaben selbstst\u00e4ndig gel\u00f6st werden k\u00f6nnen.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-reinforcement-learning\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Q-learning - Machine Learning mit Reinforcement Learning\" \/>\n<meta property=\"og:description\" content=\"Reinforcement Learning ist eine Methode des Machine Learning, mit der komplexe Aufgaben selbstst\u00e4ndig gel\u00f6st werden k\u00f6nnen. Erst k\u00fcrzlich machte diese\" \/>\n<meta property=\"og:url\" content=\"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-reinforcement-learning\" \/>\n<meta property=\"og:site_name\" content=\"Weiterbildung Data Science | DataScientest.com\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/DataScientestEN\" \/>\n<meta property=\"article:published_time\" content=\"2022-12-21T12:32:45+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-10-30T07:50:09+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2022\/12\/illu_q_learning_blog-148.webp\" \/>\n\t<meta property=\"og:image:width\" content=\"768\" \/>\n\t<meta property=\"og:image:height\" content=\"422\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/webp\" \/>\n<meta name=\"author\" content=\"Adriano R\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@DataScientest__\" \/>\n<meta name=\"twitter:site\" content=\"@DataScientest__\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Adriano R\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"6 Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-reinforcement-learning#article\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-reinforcement-learning\"},\"author\":{\"name\":\"Adriano R\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/3d2560836c47019eb12b7b77f3a15378\"},\"headline\":\"Q-learning &#8211; Machine Learning mit Reinforcement Learning\",\"datePublished\":\"2022-12-21T12:32:45+00:00\",\"dateModified\":\"2023-10-30T07:50:09+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-reinforcement-learning\"},\"wordCount\":1046,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\/\/datascientest.com\/de\/#organization\"},\"articleSection\":[\"Data Science\"],\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-reinforcement-learning#respond\"]}],\"copyrightYear\":\"2022\",\"copyrightHolder\":{\"@id\":\"https:\/\/datascientest.com\/#organization\"}},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-reinforcement-learning\",\"url\":\"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-reinforcement-learning\",\"name\":\"Q-learning - Machine Learning mit Reinforcement Learning\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/de\/#website\"},\"datePublished\":\"2022-12-21T12:32:45+00:00\",\"dateModified\":\"2023-10-30T07:50:09+00:00\",\"description\":\"Reinforcement Learning ist eine Methode des Machine Learning, mit der komplexe Aufgaben selbstst\u00e4ndig gel\u00f6st werden k\u00f6nnen.\",\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-reinforcement-learning\"]}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/datascientest.com\/de\/#website\",\"url\":\"https:\/\/datascientest.com\/de\/\",\"name\":\"Weiterbildung Data Science | DataScientest.com\",\"description\":\"F\u00fchrender Anbieter von Schulungen im Bereich Data Science\",\"publisher\":{\"@id\":\"https:\/\/datascientest.com\/de\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/datascientest.com\/de\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"de\"},{\"@type\":\"Organization\",\"@id\":\"https:\/\/datascientest.com\/de\/#organization\",\"name\":\"DataScientest\",\"url\":\"https:\/\/datascientest.com\/de\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/\",\"url\":\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png\",\"contentUrl\":\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png\",\"width\":301,\"height\":301,\"caption\":\"DataScientest\"},\"image\":{\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/\"},\"sameAs\":[\"https:\/\/www.facebook.com\/DataScientestEN\",\"https:\/\/twitter.com\/DataScientest__\",\"https:\/\/www.linkedin.com\/company\/datascientest-germany\/\",\"https:\/\/www.tiktok.com\/@datascientest\"]},{\"@type\":\"Person\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/3d2560836c47019eb12b7b77f3a15378\",\"name\":\"Adriano R\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/fbfbc3a7811c63caf3333396a123058f?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/fbfbc3a7811c63caf3333396a123058f?s=96&d=mm&r=g\",\"caption\":\"Adriano R\"},\"sameAs\":[\"user\"],\"url\":\"https:\/\/datascientest.com\/de\/author\/adriano-r\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Q-learning - Machine Learning mit Reinforcement Learning","description":"Reinforcement Learning ist eine Methode des Machine Learning, mit der komplexe Aufgaben selbstst\u00e4ndig gel\u00f6st werden k\u00f6nnen.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-reinforcement-learning","og_locale":"de_DE","og_type":"article","og_title":"Q-learning - Machine Learning mit Reinforcement Learning","og_description":"Reinforcement Learning ist eine Methode des Machine Learning, mit der komplexe Aufgaben selbstst\u00e4ndig gel\u00f6st werden k\u00f6nnen. Erst k\u00fcrzlich machte diese","og_url":"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-reinforcement-learning","og_site_name":"Weiterbildung Data Science | DataScientest.com","article_publisher":"https:\/\/www.facebook.com\/DataScientestEN","article_published_time":"2022-12-21T12:32:45+00:00","article_modified_time":"2023-10-30T07:50:09+00:00","og_image":[{"width":768,"height":422,"url":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2022\/12\/illu_q_learning_blog-148.webp","type":"image\/webp"}],"author":"Adriano R","twitter_card":"summary_large_image","twitter_creator":"@DataScientest__","twitter_site":"@DataScientest__","twitter_misc":{"Verfasst von":"Adriano R","Gesch\u00e4tzte Lesezeit":"6 Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-reinforcement-learning#article","isPartOf":{"@id":"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-reinforcement-learning"},"author":{"name":"Adriano R","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/3d2560836c47019eb12b7b77f3a15378"},"headline":"Q-learning &#8211; Machine Learning mit Reinforcement Learning","datePublished":"2022-12-21T12:32:45+00:00","dateModified":"2023-10-30T07:50:09+00:00","mainEntityOfPage":{"@id":"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-reinforcement-learning"},"wordCount":1046,"commentCount":0,"publisher":{"@id":"https:\/\/datascientest.com\/de\/#organization"},"articleSection":["Data Science"],"inLanguage":"de","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-reinforcement-learning#respond"]}],"copyrightYear":"2022","copyrightHolder":{"@id":"https:\/\/datascientest.com\/#organization"}},{"@type":"WebPage","@id":"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-reinforcement-learning","url":"https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-reinforcement-learning","name":"Q-learning - Machine Learning mit Reinforcement Learning","isPartOf":{"@id":"https:\/\/datascientest.com\/de\/#website"},"datePublished":"2022-12-21T12:32:45+00:00","dateModified":"2023-10-30T07:50:09+00:00","description":"Reinforcement Learning ist eine Methode des Machine Learning, mit der komplexe Aufgaben selbstst\u00e4ndig gel\u00f6st werden k\u00f6nnen.","inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/datascientest.com\/de\/q-learning-machine-learning-mit-reinforcement-learning"]}]},{"@type":"WebSite","@id":"https:\/\/datascientest.com\/de\/#website","url":"https:\/\/datascientest.com\/de\/","name":"Weiterbildung Data Science | DataScientest.com","description":"F\u00fchrender Anbieter von Schulungen im Bereich Data Science","publisher":{"@id":"https:\/\/datascientest.com\/de\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/datascientest.com\/de\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"de"},{"@type":"Organization","@id":"https:\/\/datascientest.com\/de\/#organization","name":"DataScientest","url":"https:\/\/datascientest.com\/de\/","logo":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/","url":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png","contentUrl":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png","width":301,"height":301,"caption":"DataScientest"},"image":{"@id":"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/DataScientestEN","https:\/\/twitter.com\/DataScientest__","https:\/\/www.linkedin.com\/company\/datascientest-germany\/","https:\/\/www.tiktok.com\/@datascientest"]},{"@type":"Person","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/3d2560836c47019eb12b7b77f3a15378","name":"Adriano R","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/fbfbc3a7811c63caf3333396a123058f?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/fbfbc3a7811c63caf3333396a123058f?s=96&d=mm&r=g","caption":"Adriano R"},"sameAs":["user"],"url":"https:\/\/datascientest.com\/de\/author\/adriano-r"}]}},"_links":{"self":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts\/166308"}],"collection":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/users\/47"}],"replies":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/comments?post=166308"}],"version-history":[{"count":0,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts\/166308\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/media\/166310"}],"wp:attachment":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/media?parent=166308"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/categories?post=166308"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/tags?post=166308"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}