{"id":241777,"date":"2024-06-14T05:30:00","date_gmt":"2024-06-14T05:30:00","guid":{"rendered":"https:\/\/datascientest.com\/?p=241777"},"modified":"2024-06-05T13:04:56","modified_gmt":"2024-06-05T13:04:56","slug":"generative-pretrained-transformer","status":"publish","type":"post","link":"https:\/\/datascientest.com\/generative-pretrained-transformer","title":{"rendered":"Generated Pre-trained Transformer (GPT) : Qu&rsquo;est-ce que c&rsquo;est ? Comment \u00e7a marche ?"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"241777\" class=\"elementor elementor-241777\" data-elementor-post-type=\"post\">\n\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-4eae9fc e-flex e-con-boxed e-con\" data-id=\"4eae9fc\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-ca9d8bd elementor-widget elementor-widget-heading\" data-id=\"ca9d8bd\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-heading-title{padding:0;margin:0;line-height:1}.elementor-widget-heading .elementor-heading-title[class*=elementor-size-]>a{color:inherit;font-size:inherit;line-height:inherit}.elementor-widget-heading .elementor-heading-title.elementor-size-small{font-size:15px}.elementor-widget-heading .elementor-heading-title.elementor-size-medium{font-size:19px}.elementor-widget-heading .elementor-heading-title.elementor-size-large{font-size:29px}.elementor-widget-heading .elementor-heading-title.elementor-size-xl{font-size:39px}.elementor-widget-heading .elementor-heading-title.elementor-size-xxl{font-size:59px}<\/style><h2 class=\"elementor-heading-title elementor-size-default\">Capable de r\u00e9diger des emails \u00e0 votre place, de traduire des textes dans diff\u00e9rentes langues, d\u2019\u00e9crire du code, de r\u00e9diger des po\u00e8mes, \u2026 Impossible de passer \u00e0 c\u00f4t\u00e9 de Chat GPT, l\u2019IA g\u00e9n\u00e9rative d\u2019OpenAI. Mais connaissez-vous la technologie qui se cache derri\u00e8re ?<\/h2>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-a195094 elementor-widget elementor-widget-text-editor\" data-id=\"a195094\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-text-editor.elementor-drop-cap-view-stacked .elementor-drop-cap{background-color:#69727d;color:#fff}.elementor-widget-text-editor.elementor-drop-cap-view-framed .elementor-drop-cap{color:#69727d;border:3px solid;background-color:transparent}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap{margin-top:8px}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap-letter{width:1em;height:1em}.elementor-widget-text-editor .elementor-drop-cap{float:left;text-align:center;line-height:1;font-size:50px}.elementor-widget-text-editor .elementor-drop-cap-letter{display:inline-block}<\/style>\t\t\t\t<p><span style=\"font-weight: 400;\">Le Generative Pre-trained Transformer est un mod\u00e8le d&rsquo;intelligence artificielle r\u00e9alisant des t\u00e2ches li\u00e9es au traitement automatique du langage naturel. <\/span><b>D\u00e9couvrez les transformateurs g\u00e9n\u00e9ratifs pr\u00e9-entra\u00een\u00e9s,<\/b><span style=\"font-weight: 400;\"> leur mode de fonctionnement, leur utilit\u00e9 ou encore leur limite.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-2b00bfa e-flex e-con-boxed e-con\" data-id=\"2b00bfa\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-3ea248e elementor-widget elementor-widget-heading\" data-id=\"3ea248e\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">C\u2019est quoi un transformateur g\u00e9n\u00e9ratif pr\u00e9-entra\u00een\u00e9 (GPT) ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-d939b01 elementor-widget elementor-widget-text-editor\" data-id=\"d939b01\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Le transformateur g\u00e9n\u00e9ratif pr\u00e9-entra\u00een\u00e9 est <\/span><b>une famille de <\/b><a href=\"https:\/\/datascientest.com\/recurrent-neural-network\">mod\u00e8les de r\u00e9seaux neuronaux r\u00e9currents<\/a><b> utilisant l&rsquo;architecture des transformers<\/b><span style=\"font-weight: 400;\">. Cette technologie repr\u00e9sente une avanc\u00e9e majeure dans le domaine de l\u2019intelligence artificielle g\u00e9n\u00e9rative. On l\u2019a vu avec l\u2019adoption massive de ChatGPT. Depuis qu\u2019il a \u00e9t\u00e9 lanc\u00e9, toutes les grandes entreprises tech rivalisent pour proposer le <a href=\"https:\/\/datascientest.com\/large-language-models-tout-savoir\">mod\u00e8le de langage<\/a> le plus performant, ou plut\u00f4t, le plus humain.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">Pourquoi un tel engouement ? Parce que ce <a href=\"https:\/\/datascientest.com\/apprentissage-automatique\">mod\u00e8le d\u2019apprentissage automatique<\/a> est capable de <b>r\u00e9aliser un \u00e9ventail de t\u00e2ches li\u00e9es au traitement du langage naturel<\/b>. Et sa ressemblance avec les conversations entre deux \u00eatres humains est parfois d\u00e9concertante. Depuis la compr\u00e9hension des requ\u00eates \u00e0 la g\u00e9n\u00e9ration de diff\u00e9rents types de textes coh\u00e9rents et pertinents, il permet de recr\u00e9er une conversation comme avec un humain (ou presque).\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">Ce faisant, les utilisateurs peuvent automatiser de nombreuses t\u00e2ches : traduction linguistique, synth\u00e8se de documents, r\u00e9daction d&rsquo;articles de blog, id\u00e9es de publications sur les r\u00e9seaux sociaux, \u00e9criture de code, et m\u00eame \u00e9criture de po\u00e8mes. Il n\u2019est plus n\u00e9cessaire de passer des heures \u00e0 faire des recherches, r\u00e9fl\u00e9chir \u00e0 un plan, r\u00e9diger les diff\u00e9rentes parties, les transformateurs g\u00e9n\u00e9ratifs pr\u00e9-entra\u00een\u00e9s le font pour vous en quelques secondes.\u00a0<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-96fa2b5 elementor-widget elementor-widget-image\" data-id=\"96fa2b5\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-image{text-align:center}.elementor-widget-image a{display:inline-block}.elementor-widget-image a img[src$=\".svg\"]{width:48px}.elementor-widget-image img{vertical-align:middle;display:inline-block}<\/style>\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"800\" height=\"457\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2024\/06\/transformateur-generatif-pre-entraine-GPT1.jpg\" class=\"attachment-full size-full wp-image-241799\" alt=\"\" srcset=\"https:\/\/datascientest.com\/wp-content\/uploads\/2024\/06\/transformateur-generatif-pre-entraine-GPT1.jpg 800w, https:\/\/datascientest.com\/wp-content\/uploads\/2024\/06\/transformateur-generatif-pre-entraine-GPT1-300x171.jpg 300w, https:\/\/datascientest.com\/wp-content\/uploads\/2024\/06\/transformateur-generatif-pre-entraine-GPT1-768x439.jpg 768w\" sizes=\"(max-width: 800px) 100vw, 800px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1be3105 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"1be3105\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formation-intelligence-artificielle\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Apprendre \u00e0 d\u00e9velopper un mod\u00e8le d'IA<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-9037a22 elementor-widget elementor-widget-text-editor\" data-id=\"9037a22\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\"><span style=\"text-decoration: underline;\"><strong>Bon \u00e0 savoir<\/strong><\/span> : L\u2019architecture de r\u00e9seau neuronal transformers n\u2019est pas si nouvelle. Les recherches ont d\u2019abord commenc\u00e9 avec les diff\u00e9rents travaux sur le traitement automatique des langues et le <a href=\"https:\/\/datascientest.com\/deep-learning-definition\">deep learning<\/a>. Puis le terme a ensuite \u00e9t\u00e9 introduit pour la premi\u00e8re fois en 2017 dans l\u2019article<\/span><i><span style=\"font-weight: 400;\"> \u201cAttention is All You Need\u201d.<\/span><\/i><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-f094356 e-flex e-con-boxed e-con\" data-id=\"f094356\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-7d052f6 elementor-widget elementor-widget-heading\" data-id=\"7d052f6\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Comment fonctionnent les mod\u00e8les pr\u00e9-entra\u00een\u00e9s ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-111a2bb elementor-widget elementor-widget-text-editor\" data-id=\"111a2bb\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Pour \u00eatre capable de r\u00e9aliser des prouesses r\u00e9dactionnelles proches (voire meilleures) que celles d\u2019un \u00eatre humain, le transformateur g\u00e9n\u00e9ratif pr\u00e9-entra\u00een\u00e9 se base sur l\u2019<a href=\"https:\/\/datascientest.com\/fonctionnement-des-reseaux-neurones\">architecture de r\u00e9seau neuronal<\/a> \u00ab\u00a0transformer\u00a0\u00bb.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">Celle-ci utilise <i><span style=\"font-weight: 400;\">l\u2019attention auto-r\u00e9gressive<\/span><\/i> (ou m\u00e9canisme d\u2019auto attention). Le mod\u00e8le d\u2019IA<\/span><b> ne prend pas seulement en compte le dernier mot pour g\u00e9n\u00e9rer du texte, mais plut\u00f4t le contexte. <\/b><span style=\"font-weight: 400;\">Il peut assigner un poids diff\u00e9rent aux mots, afin de mieux comprendre les relations entre les mots et les phrases.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">Finalement, c\u2019est l\u2019ensemble des mots et des phrases qui, mis bout \u00e0 bout, permettent au GPT de comprendre la requ\u00eate de l\u2019utilisateur et de lui fournir une <\/span><b>r\u00e9ponse coh\u00e9rente \u00e0 la fois sur le fond et sur la forme.\u00a0<\/b><\/p><p><span style=\"font-weight: 400;\">Pour cela, le mod\u00e8le GPT a d\u2019abord \u00e9t\u00e9 pr\u00e9-entra\u00een\u00e9 avec d\u2019\u00e9normes quantit\u00e9s de donn\u00e9es textuelles. L\u2019id\u00e9e \u00e9tait alors de comprendre la structure, la syntaxe et les subtilit\u00e9s du langage. Ce n\u2019est que lorsqu\u2019il a bien compris le langage humain que le mod\u00e8le a \u00e9t\u00e9 entra\u00een\u00e9 \u00e0 r\u00e9aliser certaines t\u00e2ches sp\u00e9cifiques.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\"><strong><span style=\"text-decoration: underline;\">Bon \u00e0 savoir<\/span><\/strong> : M\u00eame si les transformateurs g\u00e9n\u00e9ratifs pr\u00e9-entra\u00een\u00e9s produisent des r\u00e9sultats proches de ceux des \u00eatres humains, ils restent des machines. En effet, ils analysent les requ\u00eates des utilisateurs avant de pr\u00e9dire la meilleure r\u00e9ponse possible en fonction de leur compr\u00e9hension du contexte.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-208045b elementor-widget elementor-widget-image\" data-id=\"208045b\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"800\" height=\"457\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2024\/06\/transformateur-generatif-pre-entraine-GPT2.jpg\" class=\"attachment-full size-full wp-image-241806\" alt=\"\" srcset=\"https:\/\/datascientest.com\/wp-content\/uploads\/2024\/06\/transformateur-generatif-pre-entraine-GPT2.jpg 800w, https:\/\/datascientest.com\/wp-content\/uploads\/2024\/06\/transformateur-generatif-pre-entraine-GPT2-300x171.jpg 300w, https:\/\/datascientest.com\/wp-content\/uploads\/2024\/06\/transformateur-generatif-pre-entraine-GPT2-768x439.jpg 768w\" sizes=\"(max-width: 800px) 100vw, 800px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-086e1d6 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"086e1d6\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formation-prompt-engineering\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Ma\u00eetriser l'utilisation des IA g\u00e9n\u00e9ratives<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-96eb04f e-flex e-con-boxed e-con\" data-id=\"96eb04f\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-e054ce4 elementor-widget elementor-widget-heading\" data-id=\"e054ce4\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">\u00c0 quoi servent les GPT ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-398f6dc elementor-widget elementor-widget-text-editor\" data-id=\"398f6dc\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">De plus en plus sophistiqu\u00e9s, les transformateurs g\u00e9n\u00e9ratifs pr\u00e9-entra\u00een\u00e9s sont capables de r\u00e9aliser une grande diversit\u00e9 de t\u00e2ches. Voici les plus courantes :\u00a0<\/span><\/p><ul><li><b>La g\u00e9n\u00e9ration de texte <\/b> : il est possible de r\u00e9diger des articles de blogs, des posts pour les r\u00e9seaux sociaux, des scripts vid\u00e9os, des emails, du code informatique, \u2026 Et ce, dans diff\u00e9rents styles. Il suffit de lui pr\u00e9ciser avec exactitude le r\u00e9sultat souhait\u00e9.\u00a0<\/li><li><b>La traduction automatique<\/b> : les GPT ayant \u00e9t\u00e9 entra\u00een\u00e9s sur des milliards de donn\u00e9es textuelles, vous pouvez leur demander une traduction dans n\u2019importe quelle langue.\u00a0<\/li><li><b>La cr\u00e9ation de chatbots sophistiqu\u00e9s<\/b> : ils se pr\u00e9sentent comme des assistants virtuels capables de r\u00e9pondre \u00e0 la moindre question de leur utilisateur.\u00a0<\/li><li><b>L&rsquo;extraction de r\u00e9sum\u00e9s<\/b> : vous pouvez pr\u00e9senter des textes avec plusieurs milliers de lignes et demander un r\u00e9sum\u00e9 concis d\u2019une centaine de mots.\u00a0<\/li><li><b>L\u2019analyse de donn\u00e9es<\/b> : ils peuvent analyser de gros volumes de donn\u00e9es et les retranscrire sous forme de tableaux ou de feuilles de calcul. Certaines applications peuvent m\u00eame vous fournir des graphiques.<\/li><\/ul>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1a0759f elementor-widget elementor-widget-text-editor\" data-id=\"1a0759f\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Pour les utilisateurs, la v\u00e9ritable force des transformateurs g\u00e9n\u00e9ratifs pr\u00e9-entrain\u00e9s, c\u2019est la<\/span><b> vitesse d\u2019ex\u00e9cution. <\/b><span style=\"font-weight: 400;\">Ils r\u00e9alisent en quelques secondes ce qu\u2019un \u00eatre humain r\u00e9alise en une heure ou plus. Ce faisant, ces outils permettent de gagner en productivit\u00e9 de mani\u00e8re exponentielle.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-93f9764 e-flex e-con-boxed e-con\" data-id=\"93f9764\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-aeda52b elementor-widget elementor-widget-heading\" data-id=\"aeda52b\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Quelles sont les limites des transformateurs g\u00e9n\u00e9ratif pr\u00e9-entra\u00een\u00e9 ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-2d1ec83 elementor-widget elementor-widget-text-editor\" data-id=\"2d1ec83\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Bien que tr\u00e8s utiles et incroyablement performants, les transformateurs g\u00e9n\u00e9ratifs pr\u00e9-entra\u00een\u00e9s ne sont pas sans faille. Notamment \u00e0 cause des ensembles de donn\u00e9es d\u2019entra\u00eenement. Celles-ci peuvent <b>contenir des biais<\/b> sexistes, racistes, homophobes, \u2026 Si le mod\u00e8le les a int\u00e9gr\u00e9s, il va les retranscrire dans ses r\u00e9sultats.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">Il convient donc de prendre ses r\u00e9ponses avec des pincettes. Id\u00e9alement, v\u00e9rifiez les sources de ces informations (si le mod\u00e8le vous les transmet).\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">Pour \u00e9viter ces biais, il est primordial d\u2019am\u00e9liorer sans cesse les mod\u00e8les en lui proposant des donn\u00e9es sans biais. C\u2019est justement le travail des data scientistes. Vous souhaitez entra\u00eener le prochain GPT \u00e0 fournir de meilleurs r\u00e9sultats ? <a href=\"https:\/\/datascientest.com\/formation-data-scientist\">Formez-vous \u00e0 la science des donn\u00e9es<\/a>. <\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-bec5dc1 elementor-widget elementor-widget-image\" data-id=\"bec5dc1\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"800\" height=\"457\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2024\/06\/transformateur-generatif-pre-entraine-GPT3.jpg\" class=\"attachment-full size-full wp-image-241807\" alt=\"\" srcset=\"https:\/\/datascientest.com\/wp-content\/uploads\/2024\/06\/transformateur-generatif-pre-entraine-GPT3.jpg 800w, https:\/\/datascientest.com\/wp-content\/uploads\/2024\/06\/transformateur-generatif-pre-entraine-GPT3-300x171.jpg 300w, https:\/\/datascientest.com\/wp-content\/uploads\/2024\/06\/transformateur-generatif-pre-entraine-GPT3-768x439.jpg 768w\" sizes=\"(max-width: 800px) 100vw, 800px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-61167e8 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"61167e8\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"\/formations-data\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Se former avec DataScientest<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-0f153e5 elementor-widget elementor-widget-html\" data-id=\"0f153e5\" data-element_type=\"widget\" data-widget_type=\"html.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<script type=\"application\/ld+json\">\r\n{\r\n  \"@context\": \"https:\/\/schema.org\",\r\n  \"@type\": \"FAQPage\",\r\n  \"mainEntity\": [{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Qu'est-ce qu'un GPT ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Le transformateur g\u00e9n\u00e9ratif pr\u00e9-entra\u00een\u00e9 est une famille de mod\u00e8les de r\u00e9seaux neuronaux r\u00e9currents utilisant l'architecture des transformers. Cette technologie repr\u00e9sente une avanc\u00e9e majeure dans le domaine de l\u2019intelligence artificielle g\u00e9n\u00e9rative. On l\u2019a vu avec l\u2019adoption massive de ChatGPT.\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Comment fonctionne un GPT ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Pour \u00eatre capable de r\u00e9aliser des prouesses r\u00e9dactionnelles proches (voire meilleures) que celles d\u2019un \u00eatre humain, le transformateur g\u00e9n\u00e9ratif pr\u00e9-entra\u00een\u00e9 se base sur l\u2019architecture de r\u00e9seau neuronal \u201ctransformer\u201d. Celle-ci utilise l\u2019attention auto-r\u00e9gressive (ou m\u00e9canisme d\u2019auto attention). Le mod\u00e8le d\u2019IA ne prend pas seulement en compte le dernier mot pour g\u00e9n\u00e9rer du texte, mais plut\u00f4t le contexte.\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"\u00c0 quoi servent les GPT ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"De plus en plus sophistiqu\u00e9s, les transformateurs g\u00e9n\u00e9ratifs pr\u00e9-entra\u00een\u00e9s sont capables de r\u00e9aliser une grande diversit\u00e9 de t\u00e2ches. Voici les plus courantes : \\n - La g\u00e9n\u00e9ration de texte \\n - La traduction automatique \\n - La cr\u00e9ation de chatbots sophistiqu\u00e9s \\n - L'extraction de r\u00e9sum\u00e9s \\n - L\u2019analyse de donn\u00e9es\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Quelles sont les limites des GPT ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Les transformateurs g\u00e9n\u00e9ratifs pr\u00e9-entra\u00een\u00e9s ne sont pas sans faille. Notamment \u00e0 cause des ensembles de donn\u00e9es d\u2019entra\u00eenement. Celles-ci peuvent contenir des biais sexistes, racistes, homophobes, \u2026.\"\r\n    }\r\n  }]\r\n}\r\n<\/script>\r\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>Capable de r\u00e9diger des emails \u00e0 votre place, de traduire des textes dans diff\u00e9rentes langues, d\u2019\u00e9crire du code, de r\u00e9diger des po\u00e8mes, \u2026 Impossible de passer \u00e0 c\u00f4t\u00e9 de Chat GPT, l\u2019IA g\u00e9n\u00e9rative d\u2019OpenAI. Mais connaissez-vous la technologie qui se cache derri\u00e8re ? Le Generative Pre-trained Transformer est un mod\u00e8le d&rsquo;intelligence artificielle r\u00e9alisant des t\u00e2ches [&hellip;]<\/p>\n","protected":false},"author":78,"featured_media":241780,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"content-type":"","inline_featured_image":false},"categories":[2500],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v21.7 (Yoast SEO v21.7) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Generated Pre-trained Transformer (GPT) : Qu&#039;est-ce que c&#039;est ? Comment \u00e7a marche ?<\/title>\n<meta name=\"description\" content=\"Le transformateur g\u00e9n\u00e9ratif pr\u00e9-entra\u00een\u00e9, c\u2019est la technologie utilis\u00e9e par ChatGPT. D\u00e9couvrez son fonctionnement, ses usages, ses limites...\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/datascientest.com\/generative-pretrained-transformer\" \/>\n<meta property=\"og:locale\" content=\"fr_FR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Generated Pre-trained Transformer (GPT) : Qu&#039;est-ce que c&#039;est ? Comment \u00e7a marche ?\" \/>\n<meta property=\"og:url\" content=\"https:\/\/datascientest.com\/generative-pretrained-transformer\" \/>\n<meta property=\"og:site_name\" content=\"Formation Data Science | DataScientest.com\" \/>\n<meta property=\"article:published_time\" content=\"2024-06-14T05:30:00+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2024-06-05T13:04:56+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/datascientest.com\/wp-content\/uploads\/2024\/06\/transformateur-generatif-pre-entraine-GPT.jpg\" \/>\n\t<meta property=\"og:image:width\" content=\"1200\" \/>\n\t<meta property=\"og:image:height\" content=\"686\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"J\u00e9r\u00e9my Robert\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"\u00c9crit par\" \/>\n\t<meta name=\"twitter:data1\" content=\"J\u00e9r\u00e9my Robert\" \/>\n\t<meta name=\"twitter:label2\" content=\"Dur\u00e9e de lecture estim\u00e9e\" \/>\n\t<meta name=\"twitter:data2\" content=\"6 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/datascientest.com\/generative-pretrained-transformer\",\"url\":\"https:\/\/datascientest.com\/generative-pretrained-transformer\",\"name\":\"Generated Pre-trained Transformer (GPT) : Qu'est-ce que c'est ? Comment \u00e7a marche ?\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/#website\"},\"datePublished\":\"2024-06-14T05:30:00+00:00\",\"dateModified\":\"2024-06-05T13:04:56+00:00\",\"author\":{\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/7af2361c48e24e79a8aa2360e6e74925\"},\"description\":\"Le transformateur g\u00e9n\u00e9ratif pr\u00e9-entra\u00een\u00e9, c\u2019est la technologie utilis\u00e9e par ChatGPT. D\u00e9couvrez son fonctionnement, ses usages, ses limites...\",\"inLanguage\":\"fr-FR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/datascientest.com\/generative-pretrained-transformer\"]}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/datascientest.com\/#website\",\"url\":\"https:\/\/datascientest.com\/\",\"name\":\"Formation Data Science | DataScientest.com\",\"description\":\"Leader de la formation en Data Science\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/datascientest.com\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"fr-FR\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/7af2361c48e24e79a8aa2360e6e74925\",\"name\":\"J\u00e9r\u00e9my Robert\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/jeremyrobert.jpeg\",\"contentUrl\":\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/jeremyrobert.jpeg\",\"caption\":\"J\u00e9r\u00e9my Robert\"},\"description\":\"J\u00e9r\u00e9my Robert est actuellement Directeur p\u00e9dagogique B2B chez DataScientest.com. Avant de rejoindre DataScientest, il a travaill\u00e9 en tant que Consultant Business Intelligence chez DEAPDATA, o\u00f9 il a g\u00e9r\u00e9 des projets dans les domaines de l'assurance, bancaire et industrie. Il a \u00e9galement \u00e9t\u00e9 Co-fondateur et pr\u00e9sident de Tripzer. En tant que consultant ind\u00e9pendant, J\u00e9r\u00e9my a propos\u00e9 des formations sur MicroStrategy pour divers niveaux professionnels. Il est dipl\u00f4m\u00e9 de l'Universit\u00e9 Paris Cit\u00e9 avec un Master MIAGE, combinant comp\u00e9tences en informatique et gestion.\",\"sameAs\":[\"https:\/\/www.linkedin.com\/in\/jeremyrobert1\/\",\"Data Science\"],\"url\":\"https:\/\/datascientest.com\/author\/jeremyrobert\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Generated Pre-trained Transformer (GPT) : Qu'est-ce que c'est ? Comment \u00e7a marche ?","description":"Le transformateur g\u00e9n\u00e9ratif pr\u00e9-entra\u00een\u00e9, c\u2019est la technologie utilis\u00e9e par ChatGPT. D\u00e9couvrez son fonctionnement, ses usages, ses limites...","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/datascientest.com\/generative-pretrained-transformer","og_locale":"fr_FR","og_type":"article","og_title":"Generated Pre-trained Transformer (GPT) : Qu'est-ce que c'est ? Comment \u00e7a marche ?","og_url":"https:\/\/datascientest.com\/generative-pretrained-transformer","og_site_name":"Formation Data Science | DataScientest.com","article_published_time":"2024-06-14T05:30:00+00:00","article_modified_time":"2024-06-05T13:04:56+00:00","og_image":[{"width":1200,"height":686,"url":"https:\/\/datascientest.com\/wp-content\/uploads\/2024\/06\/transformateur-generatif-pre-entraine-GPT.jpg","type":"image\/jpeg"}],"author":"J\u00e9r\u00e9my Robert","twitter_card":"summary_large_image","twitter_misc":{"\u00c9crit par":"J\u00e9r\u00e9my Robert","Dur\u00e9e de lecture estim\u00e9e":"6 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/datascientest.com\/generative-pretrained-transformer","url":"https:\/\/datascientest.com\/generative-pretrained-transformer","name":"Generated Pre-trained Transformer (GPT) : Qu'est-ce que c'est ? Comment \u00e7a marche ?","isPartOf":{"@id":"https:\/\/datascientest.com\/#website"},"datePublished":"2024-06-14T05:30:00+00:00","dateModified":"2024-06-05T13:04:56+00:00","author":{"@id":"https:\/\/datascientest.com\/#\/schema\/person\/7af2361c48e24e79a8aa2360e6e74925"},"description":"Le transformateur g\u00e9n\u00e9ratif pr\u00e9-entra\u00een\u00e9, c\u2019est la technologie utilis\u00e9e par ChatGPT. D\u00e9couvrez son fonctionnement, ses usages, ses limites...","inLanguage":"fr-FR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/datascientest.com\/generative-pretrained-transformer"]}]},{"@type":"WebSite","@id":"https:\/\/datascientest.com\/#website","url":"https:\/\/datascientest.com\/","name":"Formation Data Science | DataScientest.com","description":"Leader de la formation en Data Science","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/datascientest.com\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"fr-FR"},{"@type":"Person","@id":"https:\/\/datascientest.com\/#\/schema\/person\/7af2361c48e24e79a8aa2360e6e74925","name":"J\u00e9r\u00e9my Robert","image":{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/datascientest.com\/#\/schema\/person\/image\/","url":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/jeremyrobert.jpeg","contentUrl":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/jeremyrobert.jpeg","caption":"J\u00e9r\u00e9my Robert"},"description":"J\u00e9r\u00e9my Robert est actuellement Directeur p\u00e9dagogique B2B chez DataScientest.com. Avant de rejoindre DataScientest, il a travaill\u00e9 en tant que Consultant Business Intelligence chez DEAPDATA, o\u00f9 il a g\u00e9r\u00e9 des projets dans les domaines de l'assurance, bancaire et industrie. Il a \u00e9galement \u00e9t\u00e9 Co-fondateur et pr\u00e9sident de Tripzer. En tant que consultant ind\u00e9pendant, J\u00e9r\u00e9my a propos\u00e9 des formations sur MicroStrategy pour divers niveaux professionnels. Il est dipl\u00f4m\u00e9 de l'Universit\u00e9 Paris Cit\u00e9 avec un Master MIAGE, combinant comp\u00e9tences en informatique et gestion.","sameAs":["https:\/\/www.linkedin.com\/in\/jeremyrobert1\/","Data Science"],"url":"https:\/\/datascientest.com\/author\/jeremyrobert"}]}},"_links":{"self":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts\/241777"}],"collection":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/users\/78"}],"replies":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/comments?post=241777"}],"version-history":[{"count":0,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts\/241777\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/media\/241780"}],"wp:attachment":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/media?parent=241777"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/categories?post=241777"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/tags?post=241777"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}