{"id":226472,"date":"2024-02-12T06:30:00","date_gmt":"2024-02-12T06:30:00","guid":{"rendered":"https:\/\/datascientest.com\/?p=226472"},"modified":"2024-04-23T10:37:38","modified_gmt":"2024-04-23T10:37:38","slug":"transformer-neural-network-tout-savoir","status":"publish","type":"post","link":"https:\/\/datascientest.com\/transformer-neural-network-tout-savoir","title":{"rendered":"Transformer Neural Network : Qu&rsquo;est-ce que c&rsquo;est ? Comment \u00e7a fonctionne ?"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"226472\" class=\"elementor elementor-226472\" data-elementor-post-type=\"post\">\n\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-517d507 e-flex e-con-boxed e-con\" data-id=\"517d507\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-b5d7cef elementor-widget elementor-widget-heading\" data-id=\"b5d7cef\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-heading-title{padding:0;margin:0;line-height:1}.elementor-widget-heading .elementor-heading-title[class*=elementor-size-]>a{color:inherit;font-size:inherit;line-height:inherit}.elementor-widget-heading .elementor-heading-title.elementor-size-small{font-size:15px}.elementor-widget-heading .elementor-heading-title.elementor-size-medium{font-size:19px}.elementor-widget-heading .elementor-heading-title.elementor-size-large{font-size:29px}.elementor-widget-heading .elementor-heading-title.elementor-size-xl{font-size:39px}.elementor-widget-heading .elementor-heading-title.elementor-size-xxl{font-size:59px}<\/style><h2 class=\"elementor-heading-title elementor-size-default\">Si l\u2019intelligence artificielle avance aussi rapidement, c\u2019est en partie gr\u00e2ce au d\u00e9veloppement des r\u00e9seaux neuronaux. Depuis 2017, un nouveau mod\u00e8le d\u2019architecture est apparu : les Transformer Neural Network (TNN) ou r\u00e9seaux neuronaux transformateur. Plut\u00f4t que de se baser sur des structures s\u00e9quentielles rigides, ces mod\u00e8les privil\u00e9gient des m\u00e9canismes novateurs qui r\u00e9volutionnent le traitement du langage naturel. D\u00e9couvrez tout ce qu'il faut savoir sur les transformer neural network dans cet article.<\/h2>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-e22b26d e-flex e-con-boxed e-con\" data-id=\"e22b26d\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-45be3a6 elementor-widget elementor-widget-heading\" data-id=\"45be3a6\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Qu\u2019est-ce que le transformer neural network ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-2f29783 elementor-widget elementor-widget-heading\" data-id=\"2f29783\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-medium\">Les TNN, une r\u00e9volution dans les NLP<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-94c84d2 elementor-widget elementor-widget-text-editor\" data-id=\"94c84d2\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-text-editor.elementor-drop-cap-view-stacked .elementor-drop-cap{background-color:#69727d;color:#fff}.elementor-widget-text-editor.elementor-drop-cap-view-framed .elementor-drop-cap{color:#69727d;border:3px solid;background-color:transparent}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap{margin-top:8px}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap-letter{width:1em;height:1em}.elementor-widget-text-editor .elementor-drop-cap{float:left;text-align:center;line-height:1;font-size:50px}.elementor-widget-text-editor .elementor-drop-cap-letter{display:inline-block}<\/style>\t\t\t\t<p><span style=\"font-weight: 400;\">Le <em>transformer neural network<\/em> ou r\u00e9seau neuronal transformateur est une architecture de r\u00e9seau neuronal introduite par <a href=\"https:\/\/arxiv.org\/abs\/1706.03762\" target=\"_blank\" rel=\"noopener\">l\u2019article <i>\u00ab\u00a0Attention is All You Need\u00a0\u00bb<\/i><\/a>, publi\u00e9 par des chercheurs de chez Google en 2017. Le TNN utilise les m\u00e9canismes d&rsquo;attention afin de <\/span><b>r\u00e9soudre les t\u00e2ches de s\u00e9quence \u00e0 s\u00e9quence tout en g\u00e9rant facilement les d\u00e9pendances \u00e0 long terme. <\/b><span style=\"font-weight: 400;\">Autrement dit, ce mod\u00e8le d\u2019architecture ne suit pas une structure s\u00e9quentielle. Ce qui facilite le traitement parall\u00e8le des donn\u00e9es et acc\u00e9l\u00e8re l&rsquo;entra\u00eenement des mod\u00e8les. C\u2019est particuli\u00e8rement int\u00e9ressant pour les s\u00e9quences longues en <a href=\"https:\/\/datascientest.com\/deep-learning-definition\">deep learning<\/a>.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">Pour rappel, un <a href=\"https:\/\/datascientest.com\/fonctionnement-des-reseaux-neurones\">r\u00e9seau neuronal<\/a> comprend le contexte et le sens d\u2019un texte en suivant les relations dans les donn\u00e9es s\u00e9quentielles. Mais bien souvent, ces s\u00e9quences sont rigides. Ce qui peut ralentir le traitement des donn\u00e9es. \u00c0 l\u2019inverse, les mod\u00e8les transformateurs se montrent <\/span><b>plus flexibles dans le traitement de ces donn\u00e9es. <\/b><span style=\"font-weight: 400;\">Ils sont ainsi capables de d\u00e9tecter comment des \u00e9l\u00e9ments de donn\u00e9es, m\u00eame \u00e9loign\u00e9s les uns des autres, peuvent s\u2019influencer.\u00a0<\/span><\/p><p><span style=\"font-weight: 400;\">\u00c0 ce titre, le TNN a <\/span><b>r\u00e9volutionn\u00e9 le domaine du traitement du langage naturel <\/b><span style=\"font-weight: 400;\">(NLP) et est \u00e0 l&rsquo;origine d&rsquo;une vague de progr\u00e8s dans le domaine de l&rsquo;apprentissage automatique. \u00c0 tel point que certains experts parlent d&rsquo;<i>\u00ab\u00a0IA transformatrice\u00a0\u00bb<\/i> ou de <i>\u00ab\u00a0mod\u00e8les de base\u00a0\u00bb<\/i> pour les d\u00e9signer.<\/span><\/p><p><span style=\"font-weight: 400;\">D\u2019ailleurs, ils repr\u00e9sentent une \u00e9volution impressionnante par rapport aux mod\u00e8les plus traditionnels que sont <strong>les r\u00e9seaux neuronaux r\u00e9currents (RNN)<\/strong> ou <strong>les r\u00e9seaux neuronaux \u00e0 convolution (CNN)<\/strong>.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-25d3769 elementor-widget elementor-widget-heading\" data-id=\"25d3769\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h4 class=\"elementor-heading-title elementor-size-medium\">TNN, RNN et CNN<\/h4>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-3995cfd elementor-widget elementor-widget-text-editor\" data-id=\"3995cfd\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Avant les transformer neural network, les experts IA utilisaient d\u2019autres mod\u00e8les d\u2019architecture. Et plus pr\u00e9cis\u00e9ment :\u00a0<\/span><\/p><ul><li><b>Les RNN : <\/b><span style=\"font-weight: 400;\">les <a href=\"https:\/\/datascientest.com\/recurrent-neural-network\">r\u00e9seaux neuronaux r\u00e9currents<\/a> traitent les donn\u00e9es de mani\u00e8re s\u00e9quentielle. Les RNN analysent alors les informations plus lentement et peuvent rencontrer des difficult\u00e9s avec les d\u00e9pendances \u00e0 long terme.<\/span><\/li><li><b>Les CNN : <\/b><span style=\"font-weight: 400;\">les <a href=\"https:\/\/datascientest.com\/convolutional-neural-network\">r\u00e9seaux neuronaux \u00e0 convolution<\/a> sont con\u00e7us pour le traitement d&rsquo;images et de donn\u00e9es structur\u00e9es. Pour cela, ils utilisent des couches de convolution (pour extraire des caract\u00e9ristiques locales des donn\u00e9es d&rsquo;entr\u00e9e), et des couches de pooling (pour r\u00e9duire la dimensionnalit\u00e9 des caract\u00e9ristiques extraites).<\/span><\/li><\/ul>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-787d00e elementor-widget elementor-widget-image\" data-id=\"787d00e\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-image{text-align:center}.elementor-widget-image a{display:inline-block}.elementor-widget-image a img[src$=\".svg\"]{width:48px}.elementor-widget-image img{vertical-align:middle;display:inline-block}<\/style>\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"800\" height=\"450\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/12\/Neural_Network_Transformers1.jpg\" class=\"attachment-large size-large wp-image-226479\" alt=\"\" srcset=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/12\/Neural_Network_Transformers1.jpg 1000w, https:\/\/datascientest.com\/wp-content\/uploads\/2023\/12\/Neural_Network_Transformers1-300x169.jpg 300w, https:\/\/datascientest.com\/wp-content\/uploads\/2023\/12\/Neural_Network_Transformers1-768x432.jpg 768w\" sizes=\"(max-width: 800px) 100vw, 800px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-5a91eda elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"5a91eda\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formation-machine-learning-engineer\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">En apprendre plus sur les TNN<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-411b783 elementor-widget elementor-widget-text-editor\" data-id=\"411b783\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Ces deux mod\u00e8les sont g\u00e9n\u00e9ralement con\u00e7us pour r\u00e9aliser des t\u00e2ches sp\u00e9cifiques. \u00c0 l\u2019inverse, le transformer neural network a \u00e9t\u00e9 con\u00e7u pour le traitement du langage naturel. Mais contrairement aux deux autres, il est aussi <\/span><b>tr\u00e8s utile pour r\u00e9aliser une multitude de t\u00e2ches<\/b><span style=\"font-weight: 400;\">, comme la g\u00e9n\u00e9ration d&rsquo;images, la traduction automatique, le traitement s\u00e9quentiel ou la repr\u00e9sentation des donn\u00e9es. Cette adaptation et cette flexibilit\u00e9 ont \u00e9t\u00e9 rendues possibles par les principes de fonctionnement du TNN.\u00a0<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-35d4aa2 e-flex e-con-boxed e-con\" data-id=\"35d4aa2\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-034b23a elementor-widget elementor-widget-heading\" data-id=\"034b23a\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Comment fonctionne le r\u00e9seau neuronal transformateur ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-fc5b529 elementor-widget elementor-widget-text-editor\" data-id=\"fc5b529\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Pour \u00eatre aussi efficace, le transformer neural network repose sur 4 principes fondateurs :\u00a0<\/span><\/p><ul><li style=\"font-weight: 400;\" aria-level=\"1\"><b>M\u00e9canisme d&rsquo;attention (ou auto attention)<\/b><span style=\"font-weight: 400;\"> : gr\u00e2ce \u00e0 ce m\u00e9canisme, le TNN est capable de se concentrer sur diff\u00e9rentes parties de la s\u00e9quence d&rsquo;entr\u00e9e. Il accorde une pond\u00e9ration \u00e0 chacune de ses parties en fonction de son importance pour la t\u00e2che sp\u00e9cifique \u00e0 r\u00e9aliser.<\/span><\/li><li style=\"font-weight: 400;\" aria-level=\"1\"><b>Encodeurs et d\u00e9codeurs<\/b><span style=\"font-weight: 400;\"> : les encodeurs traitent une partie de la s\u00e9quence d&rsquo;entr\u00e9e, alors que les d\u00e9codeurs g\u00e9n\u00e8rent une partie de la s\u00e9quence de sortie. Ces technologies permettent au transformer neural network d\u2019\u00eatre particuli\u00e8rement flexibles, et de s&rsquo;adapter \u00e0 diff\u00e9rentes t\u00e2ches.\u00a0<\/span><\/li><li style=\"font-weight: 400;\" aria-level=\"1\"><b>Encodages positionnels<\/b><span style=\"font-weight: 400;\"> : ils donnent au mod\u00e8le des informations sur la position relative des \u00e9l\u00e9ments dans la s\u00e9quence. C\u2019est particuli\u00e8rement important en l&rsquo;absence de structure r\u00e9currente.<\/span><\/li><li><b>Multi-head attention <\/b><span style=\"font-weight: 400;\">: c\u2019est ce qui permet au TNN de traiter diff\u00e9rentes repr\u00e9sentations en parall\u00e8le. Ce faisant, le mod\u00e8le est capable de saisir des relations complexes.<\/span><\/li><\/ul>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-b0cf111 e-flex e-con-boxed e-con\" data-id=\"b0cf111\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-843fe28 elementor-widget elementor-widget-heading\" data-id=\"843fe28\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">\u00c0 quoi servent les mod\u00e8les transformer ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-da0d487 elementor-widget elementor-widget-text-editor\" data-id=\"da0d487\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Nous l\u2019avons vu, les transformer neural network font preuve d\u2019une flexibilit\u00e9 et d\u2019une adaptation sans pareil. Mais concr\u00e8tement, qu\u2019est-ce qu\u2019ils font ? Voici quelques exemples d\u2019application des mod\u00e8les Transformer :\u00a0<\/span><\/p><ul><li style=\"font-weight: 400;\" aria-level=\"1\"><b>La traduction de texte<\/b><span style=\"font-weight: 400;\"> : pour les personnes malentendantes, ils sont capables de retranscrire des discours oraux en texte \u00e9crit, presque en temps r\u00e9el.\u00a0<\/span><\/li><li style=\"font-weight: 400;\" aria-level=\"1\"><b>La compr\u00e9hension des s\u00e9quences<\/b><span style=\"font-weight: 400;\"> : d\u2019une grande aide pour les scientifiques, les mod\u00e8les de base peuvent comprendre les cha\u00eenes de g\u00e8nes dans l&rsquo;ADN, ou encore les acides amin\u00e9s dans les prot\u00e9ines. Ce qui permet d\u2019acc\u00e9l\u00e9rer la conception de m\u00e9dicaments.<\/span><\/li><li><b>La d\u00e9tection des anomalies<\/b><span style=\"font-weight: 400;\"> : dans les banques ou les entreprises industrielles, les TNN sont capables de d\u00e9tecter les fraudes ou les anomalies sur les cha\u00eenes de production. Les entreprises concern\u00e9es peuvent ainsi r\u00e9agir rapidement.<\/span><\/li><\/ul>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-705aaa3 elementor-widget elementor-widget-text-editor\" data-id=\"705aaa3\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Ces architectures sont si efficaces qu\u2019elles sont utilis\u00e9es par les mod\u00e8les d\u2019IA les plus populaires et efficaces, tels que <a href=\"https:\/\/datascientest.com\/openai-ouvre-son-gpt-store-cette-semaine-de-quoi-sagit-il\">GPT<\/a> et <a href=\"https:\/\/datascientest.com\/bert-un-outil-de-traitement-du-langage-innovant\">BERT<\/a>.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-42b7fe4 e-flex e-con-boxed e-con\" data-id=\"42b7fe4\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-c625da4 elementor-widget elementor-widget-heading\" data-id=\"c625da4\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Ma\u00eetrisez les TNN avec DataScientest<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-d13c4ce elementor-widget elementor-widget-text-editor\" data-id=\"d13c4ce\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Entre leur flexibilit\u00e9 et leur efficacit\u00e9, les transformer neural network sont \u00e0 ma\u00eetriser imp\u00e9rativement par tous les (futurs) experts data scientists. Mais cela requiert des comp\u00e9tences techniques qui ne s\u2019obtiennent pas du jour au lendemain. Il convient de s\u2019y former pour utiliser efficacement les mod\u00e8les transformateurs. <strong>C\u2019est justement possible avec DataScientest.<\/strong> <a href=\"https:\/\/datascientest.com\/formation-data-scientist\">D\u00e9couvrez notre programme<\/a>.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-0e20b10 elementor-widget elementor-widget-image\" data-id=\"0e20b10\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"800\" height=\"480\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/12\/Neural_Network_Transformers2.jpg\" class=\"attachment-large size-large wp-image-226480\" alt=\"\" srcset=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/12\/Neural_Network_Transformers2.jpg 1000w, https:\/\/datascientest.com\/wp-content\/uploads\/2023\/12\/Neural_Network_Transformers2-300x180.jpg 300w, https:\/\/datascientest.com\/wp-content\/uploads\/2023\/12\/Neural_Network_Transformers2-768x461.jpg 768w\" sizes=\"(max-width: 800px) 100vw, 800px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-86f4b71 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"86f4b71\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formation-machine-learning-engineer\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Ma\u00eetriser les TNN<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1765286 elementor-widget elementor-widget-html\" data-id=\"1765286\" data-element_type=\"widget\" data-widget_type=\"html.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<script type=\"application\/ld+json\">\r\n{\r\n  \"@context\": \"https:\/\/schema.org\",\r\n  \"@type\": \"FAQPage\",\r\n  \"mainEntity\": [{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Qu\u2019est-ce que le transformer neural network (TNN) ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Le transformer neural network (ou) est une architecture de r\u00e9seau neuronal introduite par l\u2019article \"Attention is All You Need\" en 2017. Le TNN utilise les m\u00e9canismes d'attention afin de r\u00e9soudre les t\u00e2ches de s\u00e9quence \u00e0 s\u00e9quence tout en g\u00e9rant facilement les d\u00e9pendances \u00e0 long terme. Autrement dit, ce mod\u00e8le d\u2019architecture ne suit pas une structure s\u00e9quentielle. Ce qui facilite le traitement parall\u00e8le des donn\u00e9es et acc\u00e9l\u00e8re l'entra\u00eenement des mod\u00e8les. C\u2019est particuli\u00e8rement int\u00e9ressant pour les s\u00e9quences longues en deep learning.\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Comment fonctionne le r\u00e9seau neuronal transformateur ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Pour \u00eatre aussi efficace, le transformer neural network repose sur 4 principes fondateurs :\r\n      - M\u00e9canisme d'attention (ou auto attention) : gr\u00e2ce \u00e0 ce m\u00e9canisme, le TNN est capable de se concentrer sur diff\u00e9rentes parties de la s\u00e9quence d'entr\u00e9e. Il accorde une pond\u00e9ration \u00e0 chacune de ses parties en fonction de son importance pour la t\u00e2che sp\u00e9cifique \u00e0 r\u00e9aliser.\r\n      - Encodeurs et d\u00e9codeurs : les encodeurs traitent une partie de la s\u00e9quence d'entr\u00e9e, alors que les d\u00e9codeurs g\u00e9n\u00e8rent une partie de la s\u00e9quence de sortie. Ces technologies permettent au transformer neural network d\u2019\u00eatre particuli\u00e8rement flexibles, et de s'adapter \u00e0 diff\u00e9rentes t\u00e2ches.\r\n      - Encodages positionnels : ils donnent au mod\u00e8le des informations sur la position relative des \u00e9l\u00e9ments dans la s\u00e9quence. C\u2019est particuli\u00e8rement important en l'absence de structure r\u00e9currente.\r\n      - Multi-head attention : c\u2019est ce qui permet au TNN de traiter diff\u00e9rentes repr\u00e9sentations en parall\u00e8le. Ce faisant, le mod\u00e8le est capable de saisir des relations complexes.\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Pourquoi est-il important de ma\u00eetriser les TNN\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Entre leur flexibilit\u00e9 et leur efficacit\u00e9, les transformer neural network sont \u00e0 ma\u00eetriser imp\u00e9rativement par tous les (futurs) experts data scientists. Mais cela requiert des comp\u00e9tences techniques qui ne s\u2019obtiennent pas du jour au lendemain. Il convient de s\u2019y former pour utiliser efficacement les mod\u00e8les transformateurs.\"\r\n    }\r\n  }]\r\n}\r\n<\/script>\r\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>Si l\u2019intelligence artificielle avance aussi rapidement, c\u2019est en partie gr\u00e2ce au d\u00e9veloppement des r\u00e9seaux neuronaux. Depuis 2017, un nouveau mod\u00e8le d\u2019architecture est apparu : les Transformer Neural Network (TNN) ou r\u00e9seaux neuronaux transformateur. Plut\u00f4t que de se baser sur des structures s\u00e9quentielles rigides, ces mod\u00e8les privil\u00e9gient des m\u00e9canismes novateurs qui r\u00e9volutionnent le traitement du langage [&hellip;]<\/p>\n","protected":false},"author":77,"featured_media":238435,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"content-type":"","inline_featured_image":false},"categories":[2497],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v21.7 (Yoast SEO v21.7) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Transformer Neural Network : Qu&#039;est-ce que c&#039;est ? Comment \u00e7a fonctionne ?<\/title>\n<meta name=\"description\" content=\"En effectuant des t\u00e2ches sans suivre de s\u00e9quences rigides, le transformer neural network appara\u00eet comme une r\u00e9volution dans le domaine du NLP. D\u00e9couvrez-le !\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/datascientest.com\/transformer-neural-network-tout-savoir\" \/>\n<meta property=\"og:locale\" content=\"fr_FR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Transformer Neural Network : Qu&#039;est-ce que c&#039;est ? Comment \u00e7a fonctionne ?\" \/>\n<meta property=\"og:url\" content=\"https:\/\/datascientest.com\/transformer-neural-network-tout-savoir\" \/>\n<meta property=\"og:site_name\" content=\"Formation Data Science | DataScientest.com\" \/>\n<meta property=\"article:published_time\" content=\"2024-02-12T06:30:00+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2024-04-23T10:37:38+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/datascientest.com\/wp-content\/uploads\/2024\/02\/DALL\u00b7E-2024-04-23-12.34.39-A-minimalistic-and-futuristic-illustration-of-tech-neurons-blending-biological-neuron-concepts-with-high-tech-elements.-The-design-should-be-simple.webp\" \/>\n\t<meta property=\"og:image:width\" content=\"1792\" \/>\n\t<meta property=\"og:image:height\" content=\"1024\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/webp\" \/>\n<meta name=\"author\" content=\"Raphael Kassel\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"\u00c9crit par\" \/>\n\t<meta name=\"twitter:data1\" content=\"Raphael Kassel\" \/>\n\t<meta name=\"twitter:label2\" content=\"Dur\u00e9e de lecture estim\u00e9e\" \/>\n\t<meta name=\"twitter:data2\" content=\"5 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/datascientest.com\/transformer-neural-network-tout-savoir\",\"url\":\"https:\/\/datascientest.com\/transformer-neural-network-tout-savoir\",\"name\":\"Transformer Neural Network : Qu'est-ce que c'est ? Comment \u00e7a fonctionne ?\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/#website\"},\"datePublished\":\"2024-02-12T06:30:00+00:00\",\"dateModified\":\"2024-04-23T10:37:38+00:00\",\"author\":{\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/6eca16f63daaafcbc96e15549b9d4ee1\"},\"description\":\"En effectuant des t\u00e2ches sans suivre de s\u00e9quences rigides, le transformer neural network appara\u00eet comme une r\u00e9volution dans le domaine du NLP. D\u00e9couvrez-le !\",\"inLanguage\":\"fr-FR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/datascientest.com\/transformer-neural-network-tout-savoir\"]}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/datascientest.com\/#website\",\"url\":\"https:\/\/datascientest.com\/\",\"name\":\"Formation Data Science | DataScientest.com\",\"description\":\"Leader de la formation en Data Science\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/datascientest.com\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"fr-FR\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/6eca16f63daaafcbc96e15549b9d4ee1\",\"name\":\"Raphael Kassel\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/raph.jpeg\",\"contentUrl\":\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/raph.jpeg\",\"caption\":\"Raphael Kassel\"},\"description\":\"Raphael Kassel est le Head of Data Programs chez DataScientest. Il supervise une \u00e9quipe Data, impl\u00e9mente de nouveaux parcours comme \\\"Chef de projet IA\\\" et \\\"Data Product Manager\\\", et contribue \u00e0 la modernisation des op\u00e9rations du groupe. En collaboration \u00e9troite avec l'\u00e9quipe de d\u00e9veloppement, il adapte l'accompagnement acad\u00e9mique aux \u00e9volutions de l'\u00e9quipe data et \u00e0 l'internationalisation.\",\"sameAs\":[\"https:\/\/www.linkedin.com\/in\/raphaelkassel\/\",\"Data Science\"],\"url\":\"https:\/\/datascientest.com\/author\/raphaelkassel\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Transformer Neural Network : Qu'est-ce que c'est ? Comment \u00e7a fonctionne ?","description":"En effectuant des t\u00e2ches sans suivre de s\u00e9quences rigides, le transformer neural network appara\u00eet comme une r\u00e9volution dans le domaine du NLP. D\u00e9couvrez-le !","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/datascientest.com\/transformer-neural-network-tout-savoir","og_locale":"fr_FR","og_type":"article","og_title":"Transformer Neural Network : Qu'est-ce que c'est ? Comment \u00e7a fonctionne ?","og_url":"https:\/\/datascientest.com\/transformer-neural-network-tout-savoir","og_site_name":"Formation Data Science | DataScientest.com","article_published_time":"2024-02-12T06:30:00+00:00","article_modified_time":"2024-04-23T10:37:38+00:00","og_image":[{"width":1792,"height":1024,"url":"https:\/\/datascientest.com\/wp-content\/uploads\/2024\/02\/DALL\u00b7E-2024-04-23-12.34.39-A-minimalistic-and-futuristic-illustration-of-tech-neurons-blending-biological-neuron-concepts-with-high-tech-elements.-The-design-should-be-simple.webp","type":"image\/webp"}],"author":"Raphael Kassel","twitter_card":"summary_large_image","twitter_misc":{"\u00c9crit par":"Raphael Kassel","Dur\u00e9e de lecture estim\u00e9e":"5 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/datascientest.com\/transformer-neural-network-tout-savoir","url":"https:\/\/datascientest.com\/transformer-neural-network-tout-savoir","name":"Transformer Neural Network : Qu'est-ce que c'est ? Comment \u00e7a fonctionne ?","isPartOf":{"@id":"https:\/\/datascientest.com\/#website"},"datePublished":"2024-02-12T06:30:00+00:00","dateModified":"2024-04-23T10:37:38+00:00","author":{"@id":"https:\/\/datascientest.com\/#\/schema\/person\/6eca16f63daaafcbc96e15549b9d4ee1"},"description":"En effectuant des t\u00e2ches sans suivre de s\u00e9quences rigides, le transformer neural network appara\u00eet comme une r\u00e9volution dans le domaine du NLP. D\u00e9couvrez-le !","inLanguage":"fr-FR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/datascientest.com\/transformer-neural-network-tout-savoir"]}]},{"@type":"WebSite","@id":"https:\/\/datascientest.com\/#website","url":"https:\/\/datascientest.com\/","name":"Formation Data Science | DataScientest.com","description":"Leader de la formation en Data Science","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/datascientest.com\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"fr-FR"},{"@type":"Person","@id":"https:\/\/datascientest.com\/#\/schema\/person\/6eca16f63daaafcbc96e15549b9d4ee1","name":"Raphael Kassel","image":{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/datascientest.com\/#\/schema\/person\/image\/","url":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/raph.jpeg","contentUrl":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/raph.jpeg","caption":"Raphael Kassel"},"description":"Raphael Kassel est le Head of Data Programs chez DataScientest. Il supervise une \u00e9quipe Data, impl\u00e9mente de nouveaux parcours comme \"Chef de projet IA\" et \"Data Product Manager\", et contribue \u00e0 la modernisation des op\u00e9rations du groupe. En collaboration \u00e9troite avec l'\u00e9quipe de d\u00e9veloppement, il adapte l'accompagnement acad\u00e9mique aux \u00e9volutions de l'\u00e9quipe data et \u00e0 l'internationalisation.","sameAs":["https:\/\/www.linkedin.com\/in\/raphaelkassel\/","Data Science"],"url":"https:\/\/datascientest.com\/author\/raphaelkassel"}]}},"_links":{"self":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts\/226472"}],"collection":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/users\/77"}],"replies":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/comments?post=226472"}],"version-history":[{"count":0,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts\/226472\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/media\/238435"}],"wp:attachment":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/media?parent=226472"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/categories?post=226472"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/tags?post=226472"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}