{"id":57157,"date":"2021-03-29T16:31:39","date_gmt":"2021-03-29T15:31:39","guid":{"rendered":"https:\/\/datascientest.com\/?p=57157"},"modified":"2024-06-27T07:35:01","modified_gmt":"2024-06-27T07:35:01","slug":"q-learning-tout-savoir","status":"publish","type":"post","link":"https:\/\/datascientest.com\/q-learning-tout-savoir","title":{"rendered":"Q-learning : Qu&rsquo;est-ce que c&rsquo;est ? \u00c0 quoi \u00e7a sert ?"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"57157\" class=\"elementor elementor-57157\" data-elementor-post-type=\"post\">\n\t\t\t\t\t\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-d44c02e elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"d44c02e\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-1552d5e\" data-id=\"1552d5e\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-f5f855f elementor-widget elementor-widget-heading\" data-id=\"f5f855f\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-heading-title{padding:0;margin:0;line-height:1}.elementor-widget-heading .elementor-heading-title[class*=elementor-size-]>a{color:inherit;font-size:inherit;line-height:inherit}.elementor-widget-heading .elementor-heading-title.elementor-size-small{font-size:15px}.elementor-widget-heading .elementor-heading-title.elementor-size-medium{font-size:19px}.elementor-widget-heading .elementor-heading-title.elementor-size-large{font-size:29px}.elementor-widget-heading .elementor-heading-title.elementor-size-xl{font-size:39px}.elementor-widget-heading .elementor-heading-title.elementor-size-xxl{font-size:59px}<\/style><h2 class=\"elementor-heading-title elementor-size-default\">Le \u00ab\u00a0reinforcement learning\u00a0\u00bb\u00a0ou apprentissage par renforcement, est une m\u00e9thode de Machine Learning\u00a0permettant de r\u00e9aliser des t\u00e2ches complexes de fa\u00e7on autonome.<\/h2>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-94ea86e elementor-widget elementor-widget-text-editor\" data-id=\"94ea86e\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-text-editor.elementor-drop-cap-view-stacked .elementor-drop-cap{background-color:#69727d;color:#fff}.elementor-widget-text-editor.elementor-drop-cap-view-framed .elementor-drop-cap{color:#69727d;border:3px solid;background-color:transparent}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap{margin-top:8px}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap-letter{width:1em;height:1em}.elementor-widget-text-editor .elementor-drop-cap{float:left;text-align:center;line-height:1;font-size:50px}.elementor-widget-text-editor .elementor-drop-cap-letter{display:inline-block}<\/style>\t\t\t\t<p>Encore r\u00e9cemment, cette famille d\u2019algorithme a fait parler d\u2019elle dans le domaine de l\u2019e-sport lors de la sortie de <a href=\"https:\/\/deepmind.com\/blog\/article\/AlphaStar-Grandmaster-level-in-StarCraft-II-using-multi-agent-reinforcement-learning\">AlphaStar<\/a>, un algorithme d\u00e9velopp\u00e9 pour d\u00e9fier les meilleurs joueurs du monde \u00e0 <b><a href=\"https:\/\/starcraft2.com\/fr-fr\/\">StarCarft<\/a><\/b><span style=\"font-weight: 400;\">. Ces algorithmes ont un <\/span><b>fort potentiel<\/b><span style=\"font-weight: 400;\"> mais s\u2019av\u00e8rent parfois tr\u00e8s longs \u00e0 construire et param\u00e9trer. L\u2019objectif de cet article est de vous permettre de <strong>comprendre ce qu\u2019est le Q-learning<\/strong> et de gagner du temps lors de l\u2019<\/span><b>impl\u00e9mentation <\/b><span style=\"font-weight: 400;\">de ce type de solution.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-a027d25 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"a027d25\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-4529ccb\" data-id=\"4529ccb\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-10447bb elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"10447bb\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formation-data-scientist\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Apprendre le Machine Learning<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-4bded85 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"4bded85\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-692f249\" data-id=\"692f249\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-d0604c3 elementor-widget elementor-widget-heading\" data-id=\"d0604c3\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">D\u00e9finitions<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-ff0d3d5 elementor-widget elementor-widget-heading\" data-id=\"ff0d3d5\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Qu'est ce que le reinforcement learning ?<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-5892e22 elementor-widget elementor-widget-text-editor\" data-id=\"5892e22\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Le <\/span><span style=\"font-weight: 400;\"><strong><a href=\"https:\/\/datascientest.com\/quest-ce-que-le-reinforcement-learning\">reinforcement learning<\/a><\/strong> est une m\u00e9thode de machine learning dont l\u2019objectif est de permettre \u00e0 un <\/span><b>agent <\/b><span style=\"font-weight: 400;\">(entit\u00e9 virtuelle\u00a0: robot, programme, etc.), plac\u00e9 dans un <\/span><b>environnement interactif<\/b><span style=\"font-weight: 400;\"> (ses actions modifient l\u2019\u00e9tat de l\u2019environnement), de choisir des <\/span><b>actions<\/b><span style=\"font-weight: 400;\"> maximisant des <\/span><b>r\u00e9compenses<\/b><span style=\"font-weight: 400;\"> quantitatives. L\u2019agent fait des essais et am\u00e9liore sa strat\u00e9gie d\u2019action en fonction des r\u00e9compenses fournies par l\u2019environnement.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-ea1c77d elementor-widget elementor-widget-heading\" data-id=\"ea1c77d\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Qu'est-ce que le Q-learning ?<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-09421f3 elementor-widget elementor-widget-text-editor\" data-id=\"09421f3\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Il existe de nombreux algorithmes de reinforcement learning cat\u00e9goris\u00e9s en plusieurs sous-familles. Le <\/span><b>Q-learning<\/b><span style=\"font-weight: 400;\"> est \u00e0 la fois relativement <\/span><b>simple <\/b><span style=\"font-weight: 400;\">et permet en m\u00eame temps de comprendre des m\u00e9canismes d\u2019apprentissage communs \u00e0 beaucoup d\u2019autres mod\u00e8les.<\/span><\/p><p><span style=\"font-weight: 400;\">Pour illustrer de mani\u00e8re introductive, un algorithme de Q-learning fonctionne pour r\u00e9soudre un probl\u00e8me basique. Par exemple, dans le jeu du labyrinthe, l\u2019objectif du jeu est d\u2019apprendre au robot \u00e0 sortir du labyrinthe le plus rapidement possible alors qu\u2019il est plac\u00e9 al\u00e9atoirement sur l\u2019une des cases blanches. Pour cela, il y a trois \u00e9tapes centrales dans le processus d\u2019apprentissage\u00a0:<\/span><\/p><ul><li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\"><strong>Connaitre\u00a0<\/strong>: d\u00e9finir une fonction action-valeur Q\u00a0;<\/span><\/li><li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\"><strong>Renforcer ses connaissances<\/strong>\u00a0: mettre \u00e0 jour la fonction Q\u00a0;<\/span><\/li><li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\"><strong>Agir<\/strong> : adopter une strat\u00e9gie d\u2019actions PI<\/span><\/li><\/ul><p><span style=\"font-weight: 400;\">Ainsi, le Q-learning est un algorithme d&rsquo;<\/span><b>apprentissage par renforcement <\/b><span style=\"font-weight: 400;\">qui cherche \u00e0 trouver la <\/span><b>meilleure action<\/b><span style=\"font-weight: 400;\"> \u00e0 entreprendre compte tenu de l&rsquo;<\/span><b>\u00e9tat actuel<\/b><span style=\"font-weight: 400;\">. Il est consid\u00e9r\u00e9 comme <\/span><b>hors politique<\/b><span style=\"font-weight: 400;\"> parce que la fonction de Q-learning apprend des actions qui sont en dehors de la politique actuelle, comme prendre des actions al\u00e9atoires, et donc une politique n&rsquo;est pas n\u00e9cessaire. Plus pr\u00e9cis\u00e9ment, le Q-learning cherche \u00e0 apprendre une politique qui maximise la r\u00e9compense totale.<\/span><\/p><p><span style=\"font-weight: 400;\">Le \u00ab\u00a0Q\u00a0\u00bb de Q-learning est synonyme de <\/span><b>qualit\u00e9<\/b><span style=\"font-weight: 400;\">. Dans ce cas, la qualit\u00e9 repr\u00e9sente l&rsquo;utilit\u00e9 d&rsquo;une action donn\u00e9e pour obtenir une r\u00e9compense future.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-0df49ee elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"0df49ee\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-8a71f0c\" data-id=\"8a71f0c\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-419cd58 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"419cd58\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formation-data-scientist\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Apprendre \u00e0 maitriser le Q-learning<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-aa3b131 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"aa3b131\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-b6ca9ab\" data-id=\"b6ca9ab\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-273db45 elementor-widget elementor-widget-heading\" data-id=\"273db45\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Q-learning : mise en place concr\u00e8te<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-6b2c9ce elementor-widget elementor-widget-heading\" data-id=\"6b2c9ce\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Cr\u00e9ation d'un tableau Q<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-718d5f5 elementor-widget elementor-widget-text-editor\" data-id=\"718d5f5\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Lorsque l&rsquo;apprentissage est r\u00e9alis\u00e9, nous cr\u00e9ons ce que l&rsquo;on appelle une table ou une matrice <\/span><b>de type q<\/b><span style=\"font-weight: 400;\"> qui suit la forme <\/span><b>[\u00e9tat, action] <\/b><span style=\"font-weight: 400;\">et nous initialisons nos <\/span><b>valeurs \u00e0 z\u00e9ro<\/b><span style=\"font-weight: 400;\">. Nous mettons ensuite \u00e0 jour et stockons nos q-valeurs apr\u00e8s chaque \u00e9pisode. Ce tableau de valeurs devient une table de r\u00e9f\u00e9rence pour notre agent qui s\u00e9lectionne la meilleure action en fonction des valeurs de cette matrice.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-07244e6 elementor-widget elementor-widget-code-highlight\" data-id=\"07244e6\" data-element_type=\"widget\" data-widget_type=\"code-highlight.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"prismjs-default copy-to-clipboard \">\n\t\t\t<pre data-line=\"\" class=\"highlight-height language-python line-numbers\">\n\t\t\t\t<code readonly=\"true\" class=\"language-python\">\n\t\t\t\t\t<xmp>import numpy as np \r\n \r\n# Initialize q-table values to 0\r\nQ = np.zeros((state_size, action_size))\r\n<\/xmp>\n\t\t\t\t<\/code>\n\t\t\t<\/pre>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-f013ee7 elementor-widget elementor-widget-heading\" data-id=\"f013ee7\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">Q-learning et mise \u00e0 jour<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1701beb elementor-widget elementor-widget-text-editor\" data-id=\"1701beb\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">L\u2019\u00e9tape suivante consiste simplement pour l\u2019agent \u00e0 interagir avec l\u2019environnement et \u00e0 effectuer des mises \u00e0 jour des <\/span><b>paires \u00e9tat-action<\/b><span style=\"font-weight: 400;\"> dans notre tableau<\/span><strong> Q[state, action]<\/strong><span style=\"font-weight: 400;\">.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-82cf935 elementor-widget elementor-widget-heading\" data-id=\"82cf935\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">\u2022 Agir : Explorer ou Exploiter<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-6150718 elementor-widget elementor-widget-text-editor\" data-id=\"6150718\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Un agent interagit avec l\u2019environnement de deux mani\u00e8res. La premi\u00e8re consiste \u00e0 utiliser la table Q comme r\u00e9f\u00e9rence et \u00e0 visualiser toutes les actions possibles pour un \u00e9tat donn\u00e9. L\u2019agent s\u00e9lectionne alors l\u2019action bas\u00e9e sur la valeur maximale de ces actions. C\u2019est ce qu\u2019on appelle l\u2019<\/span><b>exploitation<\/b><span style=\"font-weight: 400;\"> puisque nous utilisons les informations dont nous disposons pour prendre une d\u00e9cision.<\/span><\/p><p><span style=\"font-weight: 400;\">La deuxi\u00e8me mani\u00e8re consiste \u00e0 agir de fa\u00e7on al\u00e9atoire. C\u2019est ce qu\u2019on appelle l\u2019<\/span><b>exploration<\/b><span style=\"font-weight: 400;\">. Au lieu de s\u00e9lectionner des actions en fonction de la r\u00e9compense future maximale, nous choisissons une action au hasard. Agir au hasard est important car cela permet \u00e0 l\u2019agent d\u2019explorer et de d\u00e9couvrir de nouveaux \u00e9tats qui, autrement, pourraient ne pas \u00eatre s\u00e9lectionn\u00e9s pendant le processus d\u2019exploitation.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">Vous pouvez \u00e9quilibrer l\u2019exploration \/ exploitation en utilisant epsilon (\u03b5) et en fixant la valeur de la fr\u00e9quence \u00e0 laquelle vous souhaitez explorer ou exploiter. Voici un code approximatif qui d\u00e9pendra de la fa\u00e7on dont l\u2019\u00e9tat et l\u2019espace d\u2019actions sont configur\u00e9s.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-0023e8a elementor-widget elementor-widget-code-highlight\" data-id=\"0023e8a\" data-element_type=\"widget\" data-widget_type=\"code-highlight.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"prismjs-default copy-to-clipboard \">\n\t\t\t<pre data-line=\"\" class=\"highlight-height language-python line-numbers\">\n\t\t\t\t<code readonly=\"true\" class=\"language-python\">\n\t\t\t\t\t<xmp>import random  \r\n \r\n# Set the percent you want to explore\r\nepsilon = 0.2\r\n \r\nif random.uniform(0, 1) < epsilon:\r\n    \"\"\"\r\n    Explore: select a random action    \r\n    \"\"\"\r\nelse:\r\n    \"\"\"\r\n    Exploit: select the action with max value (future reward)    \r\n    \"\"\"\r\n<\/xmp>\n\t\t\t\t<\/code>\n\t\t\t<\/pre>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-5b8a9fd elementor-widget elementor-widget-heading\" data-id=\"5b8a9fd\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-default\">\u2022 Mise \u00e0 jour du q-tableau<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-a8ca885 elementor-widget elementor-widget-text-editor\" data-id=\"a8ca885\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Les mises \u00e0 jour ont lieu <\/span><b>apr\u00e8s<\/b> <b>chaque \u00e9tape<\/b><span style=\"font-weight: 400;\"> ou action<\/span> <span style=\"font-weight: 400;\">et se terminent lorsqu\u2019un \u00e9pisode est termin\u00e9. Dans ce cas, \u00ab\u00a0termin\u00e9\u00a0\u00bb signifie que l\u2019agent a atteint un <\/span><b>point terminal<\/b><span style=\"font-weight: 400;\">. Par exemple, un \u00e9tat terminal peut atterrir sur une page de paiement ou r\u00e9aliser un objectif souhait\u00e9. Avec suffisamment d\u2019exploration (\u00e9tapes et \u00e9pisodes), l\u2019agent sera capable de converger et apprendre les <\/span><b>valeurs optimales<\/b><span style=\"font-weight: 400;\"> de q ou q-star (Q<\/span><span style=\"font-weight: 400;\">\u2217<\/span><span style=\"font-weight: 400;\">).<\/span><\/p><p><span style=\"font-weight: 400;\">Voici les 3 \u00e9tapes de base :<\/span><\/p><ol><li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">L&rsquo;agent commence dans un \u00e9tat (s1) prend une action (a1) et re\u00e7oit une r\u00e9compense (r1).<\/span><\/li><li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">L&rsquo;agent choisit l&rsquo;action en se r\u00e9f\u00e9rant \u00e0 la table Q avec la valeur la plus \u00e9lev\u00e9e (max) OU au hasard (epsilon, \u03b5).<\/span><\/li><li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Mise \u00e0 jour des q-valeurs<\/span><\/li><\/ol><p>Voici la r\u00e8gle de mise \u00e0 jour de base pour le Q-learning :<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1117eee elementor-widget elementor-widget-code-highlight\" data-id=\"1117eee\" data-element_type=\"widget\" data-widget_type=\"code-highlight.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"prismjs-default copy-to-clipboard \">\n\t\t\t<pre data-line=\"\" class=\"highlight-height language-python line-numbers\">\n\t\t\t\t<code readonly=\"true\" class=\"language-python\">\n\t\t\t\t\t<xmp># Update q values\r\nQ[state, action] = Q[state, action] + lr * (reward + gamma * np.max(Q[new_state, :]) \u2014 Q[state, action])\r\n<\/xmp>\n\t\t\t\t<\/code>\n\t\t\t<\/pre>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-19e0801 elementor-widget elementor-widget-text-editor\" data-id=\"19e0801\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400; color: #000000;\">Dans la mise \u00e0 jour ci-dessus, il y a quelques variables que nous n&rsquo;avons pas encore mentionn\u00e9es. Ce qui se passe ici, c&rsquo;est que nous ajustons nos valeurs q en fonction de la diff\u00e9rence entre les nouvelles valeurs actualis\u00e9es et les anciennes. Nous actualisons les nouvelles valeurs en utilisant le gamma et nous ajustons notre taille de pas en utilisant le taux d&rsquo;apprentissage (lr).<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-2169305 elementor-widget elementor-widget-heading\" data-id=\"2169305\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Quelques R\u00e9f\u00e9rences<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-bc03956 elementor-widget elementor-widget-text-editor\" data-id=\"bc03956\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<ul><li><b>Taux d\u2019apprentissage\u00a0:<\/b><span style=\"font-weight: 400;\"> lr, souvent appel\u00e9 alpha, peut \u00eatre d\u00e9fini comme le <\/span><b>degr\u00e9 d\u2019acceptation<\/b><span style=\"font-weight: 400;\"> de la nouvelle valeur par rapport \u00e0 l\u2019ancienne.<\/span> <span style=\"font-weight: 400;\">Ci-dessus, nous prenons la diff\u00e9rence entre la nouvelle et l&rsquo;ancienne valeur, puis nous multiplions cette valeur par le taux d&rsquo;apprentissage. Cette valeur est ensuite ajout\u00e9e \u00e0 notre valeur q pr\u00e9c\u00e9dente, ce qui la fait \u00e9voluer dans la direction de notre derni\u00e8re mise \u00e0 jour.<\/span><\/li><li style=\"font-weight: 400;\" aria-level=\"1\"><b>Gamma :<\/b><span style=\"font-weight: 400;\"> gamma ou \u03b3 est un <\/span><b>facteur d&rsquo;actualisation<\/b><span style=\"font-weight: 400;\">. Il est utilis\u00e9 pour \u00e9quilibrer la r\u00e9compense imm\u00e9diate et future. Dans notre r\u00e8gle de mise \u00e0 jour ci-dessus, vous pouvez voir que nous appliquons la d\u00e9cote \u00e0 la r\u00e9compense future. En g\u00e9n\u00e9ral, cette valeur peut varier entre 0,8 et 0,99.<\/span><\/li><li><b>R\u00e9compense :<\/b><span style=\"font-weight: 400;\"> la r\u00e9compense (reward) est la <\/span><b>valeur re\u00e7ue<\/b><span style=\"font-weight: 400;\"> apr\u00e8s avoir effectu\u00e9 une certaine action \u00e0 un \u00e9tat donn\u00e9. Une r\u00e9compense peut survenir \u00e0 n&rsquo;importe quel pas de temps donn\u00e9 ou seulement au pas de temps terminal.<\/span><\/li><li><b>Max :<\/b><span style=\"font-weight: 400;\"> np.max() utilise la biblioth\u00e8que numpy et prend le <\/span><b>maximum de la r\u00e9compense future<\/b><span style=\"font-weight: 400;\"> et l&rsquo;applique \u00e0 la r\u00e9compense de l&rsquo;\u00e9tat actuel. Cela a pour effet d&rsquo;influencer l&rsquo;action actuelle par la r\u00e9compense future possible. En effet, gr\u00e2ce au Q-learning, nous sommes capables d\u2019allouer la r\u00e9compense future aux actions actuelles pour aider l&rsquo;agent \u00e0 s\u00e9lectionner l&rsquo;action la plus rentable \u00e0 tout \u00e9tat donn\u00e9.<\/span><\/li><\/ul>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-af9c2c5 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"af9c2c5\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formation-data-scientist\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Devenir un expert en Q-learning<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-090fe83 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"090fe83\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-c9688cd\" data-id=\"c9688cd\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-7fbbea4 elementor-widget elementor-widget-html\" data-id=\"7fbbea4\" data-element_type=\"widget\" data-widget_type=\"html.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<script type=\"application\/ld+json\">\r\n{\r\n  \"@context\": \"https:\/\/schema.org\",\r\n  \"@type\": \"FAQPage\",\r\n  \"mainEntity\": [{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Qu'est ce que le reinforcement learning ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Le reinforcement learning est une m\u00e9thode de machine learning dont l\u2019objectif est de permettre \u00e0 un agent (entit\u00e9 virtuelle\u00a0: robot, programme, etc.), plac\u00e9 dans un environnement interactif (ses actions modifient l\u2019\u00e9tat de l\u2019environnement), de choisir des actions maximisant des r\u00e9compenses quantitatives. L\u2019agent fait des essais et am\u00e9liore sa strat\u00e9gie d\u2019action en fonction des r\u00e9compenses fournies par l\u2019environnement.\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Qu'est-ce que le Q-learning ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Il existe de nombreux algorithmes de reinforcement learning cat\u00e9goris\u00e9s en plusieurs sous-familles. Le Q-learning est \u00e0 la fois relativement simple et permet en m\u00eame temps de comprendre des m\u00e9canismes d\u2019apprentissage communs \u00e0 beaucoup d\u2019autres mod\u00e8les.\"\r\n    }\r\n  }]\r\n}\r\n<\/script>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>Le \u00ab&nbsp;reinforcement learning&nbsp;\u00bb&nbsp;ou apprentissage par renforcement, est une m\u00e9thode de Machine Learning&nbsp;permettant de r\u00e9aliser des t\u00e2ches complexes de fa\u00e7on autonome. Encore r\u00e9cemment, cette famille d\u2019algorithme a fait parler d\u2019elle dans le domaine de l\u2019e-sport lors de la sortie de AlphaStar, un algorithme d\u00e9velopp\u00e9 pour d\u00e9fier les meilleurs joueurs du monde \u00e0 StarCarft. Ces algorithmes ont [&hellip;]<\/p>\n","protected":false},"author":77,"featured_media":65887,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"content-type":"","inline_featured_image":false},"categories":[2497,2500],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v21.7 (Yoast SEO v21.7) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Q-learning : Qu&#039;est-ce que c&#039;est ? \u00c0 quoi \u00e7a sert ?<\/title>\n<meta name=\"description\" content=\"D\u00e9couvrez le Q Learning, un algorithme cl\u00e9 de l&#039;apprentissage par renforcement. Cet article explique ses principes de base, son fonctionnement et ses applications dans le domaine de l&#039;intelligence artificielle, pour mieux comprendre comment les agents intelligents prennent des d\u00e9cisions optimales.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/datascientest.com\/q-learning-tout-savoir\" \/>\n<meta property=\"og:locale\" content=\"fr_FR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Q-learning : Qu&#039;est-ce que c&#039;est ? \u00c0 quoi \u00e7a sert ?\" \/>\n<meta property=\"og:url\" content=\"https:\/\/datascientest.com\/q-learning-tout-savoir\" \/>\n<meta property=\"og:site_name\" content=\"Formation Data Science | DataScientest.com\" \/>\n<meta property=\"article:published_time\" content=\"2021-03-29T15:31:39+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2024-06-27T07:35:01+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/datascientest.com\/wp-content\/uploads\/2021\/03\/illu_q_learning_blog-148.png\" \/>\n\t<meta property=\"og:image:width\" content=\"1024\" \/>\n\t<meta property=\"og:image:height\" content=\"562\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Raphael Kassel\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"\u00c9crit par\" \/>\n\t<meta name=\"twitter:data1\" content=\"Raphael Kassel\" \/>\n\t<meta name=\"twitter:label2\" content=\"Dur\u00e9e de lecture estim\u00e9e\" \/>\n\t<meta name=\"twitter:data2\" content=\"6 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/datascientest.com\/q-learning-tout-savoir\",\"url\":\"https:\/\/datascientest.com\/q-learning-tout-savoir\",\"name\":\"Q-learning : Qu'est-ce que c'est ? \u00c0 quoi \u00e7a sert ?\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/#website\"},\"datePublished\":\"2021-03-29T15:31:39+00:00\",\"dateModified\":\"2024-06-27T07:35:01+00:00\",\"author\":{\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/6eca16f63daaafcbc96e15549b9d4ee1\"},\"description\":\"D\u00e9couvrez le Q Learning, un algorithme cl\u00e9 de l'apprentissage par renforcement. Cet article explique ses principes de base, son fonctionnement et ses applications dans le domaine de l'intelligence artificielle, pour mieux comprendre comment les agents intelligents prennent des d\u00e9cisions optimales.\",\"inLanguage\":\"fr-FR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/datascientest.com\/q-learning-tout-savoir\"]}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/datascientest.com\/#website\",\"url\":\"https:\/\/datascientest.com\/\",\"name\":\"Formation Data Science | DataScientest.com\",\"description\":\"Leader de la formation en Data Science\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/datascientest.com\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"fr-FR\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/6eca16f63daaafcbc96e15549b9d4ee1\",\"name\":\"Raphael Kassel\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/raph.jpeg\",\"contentUrl\":\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/raph.jpeg\",\"caption\":\"Raphael Kassel\"},\"description\":\"Raphael Kassel est le Head of Data Programs chez DataScientest. Il supervise une \u00e9quipe Data, impl\u00e9mente de nouveaux parcours comme \\\"Chef de projet IA\\\" et \\\"Data Product Manager\\\", et contribue \u00e0 la modernisation des op\u00e9rations du groupe. En collaboration \u00e9troite avec l'\u00e9quipe de d\u00e9veloppement, il adapte l'accompagnement acad\u00e9mique aux \u00e9volutions de l'\u00e9quipe data et \u00e0 l'internationalisation.\",\"sameAs\":[\"https:\/\/www.linkedin.com\/in\/raphaelkassel\/\",\"Data Science\"],\"url\":\"https:\/\/datascientest.com\/author\/raphaelkassel\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Q-learning : Qu'est-ce que c'est ? \u00c0 quoi \u00e7a sert ?","description":"D\u00e9couvrez le Q Learning, un algorithme cl\u00e9 de l'apprentissage par renforcement. Cet article explique ses principes de base, son fonctionnement et ses applications dans le domaine de l'intelligence artificielle, pour mieux comprendre comment les agents intelligents prennent des d\u00e9cisions optimales.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/datascientest.com\/q-learning-tout-savoir","og_locale":"fr_FR","og_type":"article","og_title":"Q-learning : Qu'est-ce que c'est ? \u00c0 quoi \u00e7a sert ?","og_url":"https:\/\/datascientest.com\/q-learning-tout-savoir","og_site_name":"Formation Data Science | DataScientest.com","article_published_time":"2021-03-29T15:31:39+00:00","article_modified_time":"2024-06-27T07:35:01+00:00","og_image":[{"width":1024,"height":562,"url":"https:\/\/datascientest.com\/wp-content\/uploads\/2021\/03\/illu_q_learning_blog-148.png","type":"image\/png"}],"author":"Raphael Kassel","twitter_card":"summary_large_image","twitter_misc":{"\u00c9crit par":"Raphael Kassel","Dur\u00e9e de lecture estim\u00e9e":"6 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/datascientest.com\/q-learning-tout-savoir","url":"https:\/\/datascientest.com\/q-learning-tout-savoir","name":"Q-learning : Qu'est-ce que c'est ? \u00c0 quoi \u00e7a sert ?","isPartOf":{"@id":"https:\/\/datascientest.com\/#website"},"datePublished":"2021-03-29T15:31:39+00:00","dateModified":"2024-06-27T07:35:01+00:00","author":{"@id":"https:\/\/datascientest.com\/#\/schema\/person\/6eca16f63daaafcbc96e15549b9d4ee1"},"description":"D\u00e9couvrez le Q Learning, un algorithme cl\u00e9 de l'apprentissage par renforcement. Cet article explique ses principes de base, son fonctionnement et ses applications dans le domaine de l'intelligence artificielle, pour mieux comprendre comment les agents intelligents prennent des d\u00e9cisions optimales.","inLanguage":"fr-FR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/datascientest.com\/q-learning-tout-savoir"]}]},{"@type":"WebSite","@id":"https:\/\/datascientest.com\/#website","url":"https:\/\/datascientest.com\/","name":"Formation Data Science | DataScientest.com","description":"Leader de la formation en Data Science","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/datascientest.com\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"fr-FR"},{"@type":"Person","@id":"https:\/\/datascientest.com\/#\/schema\/person\/6eca16f63daaafcbc96e15549b9d4ee1","name":"Raphael Kassel","image":{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/datascientest.com\/#\/schema\/person\/image\/","url":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/raph.jpeg","contentUrl":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/raph.jpeg","caption":"Raphael Kassel"},"description":"Raphael Kassel est le Head of Data Programs chez DataScientest. Il supervise une \u00e9quipe Data, impl\u00e9mente de nouveaux parcours comme \"Chef de projet IA\" et \"Data Product Manager\", et contribue \u00e0 la modernisation des op\u00e9rations du groupe. En collaboration \u00e9troite avec l'\u00e9quipe de d\u00e9veloppement, il adapte l'accompagnement acad\u00e9mique aux \u00e9volutions de l'\u00e9quipe data et \u00e0 l'internationalisation.","sameAs":["https:\/\/www.linkedin.com\/in\/raphaelkassel\/","Data Science"],"url":"https:\/\/datascientest.com\/author\/raphaelkassel"}]}},"_links":{"self":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts\/57157"}],"collection":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/users\/77"}],"replies":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/comments?post=57157"}],"version-history":[{"count":0,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts\/57157\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/media\/65887"}],"wp:attachment":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/media?parent=57157"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/categories?post=57157"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/tags?post=57157"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}