{"id":210507,"date":"2023-09-27T07:30:00","date_gmt":"2023-09-27T07:30:00","guid":{"rendered":"https:\/\/datascientest.com\/?p=210507"},"modified":"2023-11-09T13:42:47","modified_gmt":"2023-11-09T13:42:47","slug":"multimodal-learning-tout-savoir","status":"publish","type":"post","link":"https:\/\/datascientest.com\/multimodal-learning-tout-savoir","title":{"rendered":"Multimodal Learning : Qu&rsquo;est ce que c&rsquo;est ? A quoi \u00e7a sert ?"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"210507\" class=\"elementor elementor-210507\" data-elementor-post-type=\"post\">\n\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-b95ecb8 e-flex e-con-boxed e-con\" data-id=\"b95ecb8\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-405cf15 elementor-widget elementor-widget-heading\" data-id=\"405cf15\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-heading-title{padding:0;margin:0;line-height:1}.elementor-widget-heading .elementor-heading-title[class*=elementor-size-]>a{color:inherit;font-size:inherit;line-height:inherit}.elementor-widget-heading .elementor-heading-title.elementor-size-small{font-size:15px}.elementor-widget-heading .elementor-heading-title.elementor-size-medium{font-size:19px}.elementor-widget-heading .elementor-heading-title.elementor-size-large{font-size:29px}.elementor-widget-heading .elementor-heading-title.elementor-size-xl{font-size:39px}.elementor-widget-heading .elementor-heading-title.elementor-size-xxl{font-size:59px}<\/style><h2 class=\"elementor-heading-title elementor-size-default\">Le Multimodal Learning est une \u00e9volution du Machine Learning, consistant \u00e0 utiliser simultan\u00e9ment plusieurs sources de donn\u00e9es comme le texte, l\u2019image et l\u2019audio pour r\u00e9soudre des t\u00e2ches beaucoup plus complexes. D\u00e9couvrez tout ce qu\u2019il faut savoir sur cette nouvelle technique qui va permettre de repousser les fronti\u00e8res de l\u2019IA !<\/h2>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-f307823 elementor-widget elementor-widget-text-editor\" data-id=\"f307823\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-text-editor.elementor-drop-cap-view-stacked .elementor-drop-cap{background-color:#69727d;color:#fff}.elementor-widget-text-editor.elementor-drop-cap-view-framed .elementor-drop-cap{color:#69727d;border:3px solid;background-color:transparent}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap{margin-top:8px}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap-letter{width:1em;height:1em}.elementor-widget-text-editor .elementor-drop-cap{float:left;text-align:center;line-height:1;font-size:50px}.elementor-widget-text-editor .elementor-drop-cap-letter{display:inline-block}<\/style>\t\t\t\t<p><span style=\"font-weight: 400;\">Au cours des derni\u00e8res ann\u00e9es, l\u2019<a href=\"https:\/\/datascientest.com\/intelligence-artificielle-quelles-limites\">intelligence artificielle<\/a> a connu des progr\u00e8s impressionnants. Son \u00e9volution est notamment li\u00e9e \u00e0 l\u2019<strong>apprentissage automatique (machine learning)<\/strong> et aux <strong>r\u00e9seaux de neurones profonds<\/strong>.<\/span><\/p><p><span style=\"font-weight: 400;\">Toutefois, ces avanc\u00e9es ont \u00e9t\u00e9 principalement r\u00e9alis\u00e9es dans des <strong>t\u00e2ches \u00ab unimodales \u00bb<\/strong>. Ce terme signifie que l\u2019accent est mis sur un seul type de sources de donn\u00e9es, par exemple le texte ou l\u2019image.<\/span><span style=\"color: var( --e-global-color-text ); font-family: var( --e-global-typography-text-font-family ), Sans-serif; text-align: var(--text-align);\">Or, dans le monde r\u00e9el, les informations proviennent de multiples sources sensorielles et combinent le texte, l\u2019image, l\u2019audio ou m\u00eame la vid\u00e9o.<\/span><\/p><p><span style=\"font-weight: 400;\">Ainsi, le prochain cap de l\u2019IA est d\u2019<strong>exploiter simultan\u00e9ment et de mani\u00e8re int\u00e9gr\u00e9e ces multiples modalit\u00e9s pour une compr\u00e9hension plus riche et plus compl\u00e8te<\/strong>. Pour y parvenir, les chercheurs utilisent la technique du \u00ab multimodal learning \u00bb.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-4c8201d e-flex e-con-boxed e-con\" data-id=\"4c8201d\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-35c9091 elementor-widget elementor-widget-heading\" data-id=\"35c9091\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Qu'est ce que le Multimodal Learning ? Quelles donn\u00e9es exploite-t'il ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-ae76d23 elementor-widget elementor-widget-text-editor\" data-id=\"ae76d23\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Lorsque vous passez la t\u00eate par la fen\u00eatre, vous recevez imm\u00e9diatement de nombreuses informations. Ceci est li\u00e9 \u00e0 la combinaison de nos 5 sens : l\u2019ou\u00efe, la vue, l\u2019odorat, le go\u00fbt et le toucher qui nous permettent de percevoir \u00e0 la fois les sons, les images, les textures et les parfums.<\/span><\/p><p><span style=\"font-weight: 400;\">Le Multimodal Learning vise \u00e0 appliquer cette id\u00e9e d\u2019<strong>exploitation simultan\u00e9e<\/strong> de diff\u00e9rentes donn\u00e9es dans le domaine de l\u2019IA. Voyons tout d\u2019abord les diff\u00e9rents types de sources.<\/span><\/p><p><span style=\"font-weight: 400;\">Le texte est l\u2019une des modalit\u00e9s les plus couramment utilis\u00e9es dans le Machine Learning. Les donn\u00e9es textuelles contiennent des <strong>informations riches et structur\u00e9es<\/strong>, et le <a href=\"https:\/\/datascientest.com\/introduction-au-nlp-natural-language-processing\">traitement naturel du langage (NLP)<\/a> permet d\u2019en extraire facilement des connaissances.<\/span><\/p><p><span style=\"font-weight: 400;\">Ces donn\u00e9es peuvent provenir de documents, d\u2019articles de presse, de messages sur les r\u00e9seaux sociaux ou tout autre type de texte. Les <strong>techniques de NLP<\/strong> utilis\u00e9es pour les traiter incluent la tokenisation, la lemmatisation, l\u2019analyse syntaxique, la d\u00e9tection d\u2019entit\u00e9s nomm\u00e9es, ou encore la classification de texte.<\/span><\/p><p><span style=\"font-weight: 400;\">De leur c\u00f4t\u00e9, les images sont une source d\u2019<strong>informations visuelles essentielle dans le Multimodal Learning<\/strong>. Gr\u00e2ce \u00e0 la popularit\u00e9 croissante des <a href=\"https:\/\/datascientest.com\/convolutional-neural-network\">r\u00e9seaux de neurones convolutifs<\/a> (CNN), d\u2019importantes avanc\u00e9es ont pu \u00eatre effectu\u00e9es dans la compr\u00e9hension des images.<\/span><\/p><p><span style=\"font-weight: 400;\">Les techniques de vision par ordinateur permettent de les analyser et de les interpr\u00e9ter pour en extraire des connaissances. On peut citer pour exemples la d\u00e9tection d\u2019objets, la reconnaissance faciale, ou encore la segmentation d\u2019images.<\/span><\/p><p><span style=\"font-weight: 400;\">La modalit\u00e9 audio quant \u00e0 elle regroupe les informations provenant d\u2019enregistrements vocaux, de fichiers de sons ou de flux en direct. On les analyse avec des <strong>techniques de traitement audio<\/strong> pour en extraire des caract\u00e9ristiques acoustiques et linguistiques.<\/span><\/p><p><span style=\"font-weight: 400;\">Parmi les m\u00e9thodes les plus utilis\u00e9es, on compte la reconnaissance vocale, la d\u00e9tection d&rsquo;\u00e9v\u00e9nements sonores, la s\u00e9paration de source ou encore la classification.<\/span><\/p><p><span style=\"font-weight: 400;\">Enfin, la vid\u00e9o est une puissance source de donn\u00e9es multimodales puisqu\u2019elle combine les <strong>informations visuelles et audio<\/strong>. Les techniques de vision par ordinateur et de traitement audio permettent l\u00e0 encore d\u2019extraire des connaissances \u00e0 partir d\u2019une s\u00e9quence.<\/span><\/p><p><span style=\"font-weight: 400;\">C\u2019est ce qui permet la <strong>d\u00e9tection d\u2019objets en mouvement<\/strong>, l\u2019analyse de l\u2019activit\u00e9 humaine, ou m\u00eame la reconnaissance des gestes. Cette fusion des modalit\u00e9s visuelles et audio permet aux machines de mieux comprendre les sc\u00e8nes et les \u00e9v\u00e9nements.<\/span><\/p><p><span style=\"font-weight: 400;\">Avec l\u2019essor des cam\u00e9ras de smartphones et des r\u00e9seaux sociaux d\u00e9di\u00e9s au partage de vid\u00e9os comme <a href=\"https:\/\/datascientest.com\/lia-de-tiktok-va-remplacer-les-professeurs-de-mathematiques\">TikTok<\/a> et <a href=\"https:\/\/datascientest.com\/le-directeur-de-youtube-veut-creer-des-intelligences-artificielles\">YouTube<\/a>, les IA ont d\u00e9sormais acc\u00e8s \u00e0 un vaste r\u00e9servoir de ressources sur lesquelles s\u2019entra\u00eener.<\/span><\/p><p><span style=\"font-weight: 400;\">Dans le futur, avec l\u2019\u00e9mergence des robots humano\u00efdes dot\u00e9s de capteurs tactiles sur leurs doigts, les intelligences artificielles pour \u00e9galement recevoir le sens du toucher et s\u2019en servir pour apprendre\u2026<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-c3229de elementor-widget elementor-widget-image\" data-id=\"c3229de\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-image{text-align:center}.elementor-widget-image a{display:inline-block}.elementor-widget-image a img[src$=\".svg\"]{width:48px}.elementor-widget-image img{vertical-align:middle;display:inline-block}<\/style>\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"900\" height=\"500\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/08\/multimodal_learning1.png\" class=\"attachment-full size-full wp-image-210572\" alt=\"\" srcset=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/08\/multimodal_learning1.png 900w, https:\/\/datascientest.com\/wp-content\/uploads\/2023\/08\/multimodal_learning1-300x167.png 300w, https:\/\/datascientest.com\/wp-content\/uploads\/2023\/08\/multimodal_learning1-768x427.png 768w\" sizes=\"(max-width: 900px) 100vw, 900px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-5b98152 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"5b98152\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formation-machine-learning-engineer\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Apprendre \u00e0 ma\u00eetriser le Multimodal Learning<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-d7d51c3 e-flex e-con-boxed e-con\" data-id=\"d7d51c3\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-4a7ab79 elementor-widget elementor-widget-heading\" data-id=\"4a7ab79\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Comment est utilis\u00e9 le Multimodal Learning ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-83e822d elementor-widget elementor-widget-text-editor\" data-id=\"83e822d\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Le Multimodal Learning est appliqu\u00e9 de fa\u00e7ons diverses et vari\u00e9es dans de nombreux domaines de l\u2019intelligence artificielle.<\/span><\/p><p><span style=\"font-weight: 400;\">L\u2019un des principaux cas d\u2019usage est la reconnaissance et la compr\u00e9hension des sc\u00e8nes. En combinant<strong> les informations visuelles, audio et vid\u00e9o<\/strong>, il est possible d\u2019analyser et d\u2019interpr\u00e9ter les sc\u00e8nes complexes de mani\u00e8re plus pr\u00e9cise et d\u00e9taill\u00e9e.<\/span><\/p><p><span style=\"font-weight: 400;\">Il s\u2019agit par exemple de d\u00e9tecter et de suivre les objets en mouvement dans une vid\u00e9o, tels que les personnes dans les vid\u00e9os de surveillance.<\/span><\/p><p><span style=\"font-weight: 400;\">La combinaison entre <strong>informations visuelles et audio<\/strong> aide \u00e0 d\u00e9tecter automatiquement des \u00e9v\u00e9nements suspects tels que des comportements agressifs, des intrusions ou des situations d\u2019urgence sur les images des cam\u00e9ras de s\u00e9curit\u00e9. C\u2019est donc un pr\u00e9cieux atout pour la surveillance.<\/span><\/p><p><span style=\"font-weight: 400;\">Il est \u00e9galement possible de reconna\u00eetre et comprendre les activit\u00e9s humaines dans les vid\u00e9os gr\u00e2ce aux informations visuelles et audio. Par exemple, dans une vid\u00e9o enregistr\u00e9e lors d\u2019un \u00e9v\u00e9nement sportif, la <strong>d\u00e9tection des gestes<\/strong> et la <strong>compr\u00e9hension des interactions sociales<\/strong> aident l\u2019IA \u00e0 reconna\u00eetre un sport.<\/span><\/p><p><span style=\"font-weight: 400;\">Un autre champ d\u2019application du Multimodal Learning est la traduction. Cette approche permet notamment de <strong>traduire simultan\u00e9ment le discours et les images<\/strong> lors d\u2019une pr\u00e9sentation orale accompagn\u00e9e de diapositives visuelles. Ceci facilite la compr\u00e9hension pour un public multilingue.<\/span><\/p><p><span style=\"font-weight: 400;\">De m\u00eame, les instructions textuelles peuvent \u00eatre automatiquement traduites en instructions visuelles. Le but peut \u00eatre par exemple de guider un robot dans l\u2019ex\u00e9cution de ses t\u00e2ches.<\/span><\/p><p><span style=\"font-weight: 400;\">Il existe \u00e9galement des g\u00e9n\u00e9rateurs de l\u00e9gendes pour les images, bas\u00e9s sur le Multimodal Learning. Ceci est tr\u00e8s <strong>utile pour les personnes atteintes de troubles de la vision ou pour automatiser le processus de sous-titrage<\/strong>.<\/span><\/p><p><span style=\"font-weight: 400;\">Gr\u00e2ce \u00e0 une interface conversationnelle bas\u00e9e sur le Multimodal Learning, un assistant virtuel peut interagir avec les utilisateurs en utilisant la voix, le texte et l\u2019image. L\u2019exp\u00e9rience est donc plus naturelle et immersive, puisqu\u2019il devient possible d\u2019exprimer ses intentions et besoins de fa\u00e7ons diverses.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-6326523 e-flex e-con-boxed e-con\" data-id=\"6326523\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-f885d55 elementor-widget elementor-widget-heading\" data-id=\"f885d55\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Multimodal Learning et IA g\u00e9n\u00e9rative<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-4b4600c elementor-widget elementor-widget-text-editor\" data-id=\"4b4600c\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">L\u2019<strong>intelligence artificielle g\u00e9n\u00e9rative<\/strong> repose \u00e9galement sur le Multimodal Learning. Ce type d\u2019IA utilise les <strong>r\u00e9seaux neuronaux<\/strong> pour g\u00e9n\u00e9rer du nouveau contenu : images, vid\u00e9os, textes\u2026<\/span><\/p><p><span style=\"font-weight: 400;\">Par exemple, les <strong>chatbots IA<\/strong> comme <a href=\"https:\/\/datascientest.com\/ce-que-pense-les-politiques-francais-de-chatgpt\">ChatGPT<\/a> sont bas\u00e9s sur l\u2019IA g\u00e9n\u00e9rative pour produire du texte \u00e0 partir de prompts. En int\u00e9grant les diff\u00e9rentes modalit\u00e9s, ils sont capables d\u2019interagir de fa\u00e7on plus riche et plus naturelle avec les utilisateurs.<\/span><\/p><p><span style=\"font-weight: 400;\">Les syst\u00e8mes de dialogue les plus avanc\u00e9s comme <a href=\"https:\/\/datascientest.com\/openai-lance-gpt-4-les-5-choses-a-savoir-sur-le-successeur-de-chatgpt\">GPT-4<\/a> d\u2019OpenAI int\u00e8grent \u00e0 la fois le texte, la parole et l\u2019image pour comprendre et r\u00e9pondre aux requ\u00eates de mani\u00e8re contextuelle et personnalis\u00e9e.<\/span><\/p><p><span style=\"font-weight: 400;\">De m\u00eame, l\u2019IA <a href=\"https:\/\/datascientest.com\/dall-e-en-acces-public-sur-edge-microsoft-donne-le-feu-vert\">DALL-E<\/a> cr\u00e9e des images \u00e0 partir de <strong>prompts textuels<\/strong>. Elle a \u00e9t\u00e9 entra\u00een\u00e9e \u00e0 la fois sur du texte et des images pour apprendre \u00e0 les associer.<\/span><\/p><p><span style=\"font-weight: 400;\">L\u2019IA g\u00e9n\u00e9rative peut permettre des interactions humain-machine plus personnalis\u00e9es, cr\u00e9er des images et vid\u00e9os 3D r\u00e9alistes pour les films ou les jeux vid\u00e9o, ou m\u00eame de nouveaux designs de produits.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-0fc7bad e-flex e-con-boxed e-con\" data-id=\"0fc7bad\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-840fae3 elementor-widget elementor-widget-heading\" data-id=\"840fae3\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Les diff\u00e9rentes approches et techniques<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-33d71e4 elementor-widget elementor-widget-text-editor\" data-id=\"33d71e4\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Le Multimodal Learning est une discipline complexe, reposant sur un <strong>vaste ensemble de techniques<\/strong>. Voici les plus utilis\u00e9es.<\/span><\/p><p><span style=\"font-weight: 400;\">Tout d\u2019abord, les mod\u00e8les de fusion jouent un r\u00f4le cl\u00e9 pour combiner les informations. Les <strong>r\u00e9seaux de neurones multimodaux<\/strong> permettent d\u2019apprendre des repr\u00e9sentations int\u00e9gr\u00e9es, gr\u00e2ce \u00e0 l\u2019extraction des caract\u00e9ristiques communes \u00e0 partir des donn\u00e9es multimodales.<\/span><span style=\"color: var( --e-global-color-text ); font-family: var( --e-global-typography-text-font-family ), Sans-serif; text-align: var(--text-align);\">Ces <\/span><strong style=\"color: var( --e-global-color-text ); font-family: var( --e-global-typography-text-font-family ), Sans-serif; text-align: var(--text-align);\">Neural Networks<\/strong><span style=\"color: var( --e-global-color-text ); font-family: var( --e-global-typography-text-font-family ), Sans-serif; text-align: var(--text-align);\"> peuvent \u00eatre construits en utilisant des couches de fusion sp\u00e9cifiques prenant en compte les caract\u00e9ristiques de chaque modalit\u00e9 et combinant les informations de mani\u00e8re appropri\u00e9e.<\/span><\/p><p><span style=\"font-weight: 400;\">Une autre m\u00e9thode est l\u2019<strong>apprentissage par transfert<\/strong>, permettant de transf\u00e9rer des connaissances apprises \u00e0 partir d\u2019une modalit\u00e9 \u00e0 une autre.<\/span><span style=\"color: var( --e-global-color-text ); font-family: var( --e-global-typography-text-font-family ), Sans-serif; text-align: var(--text-align);\">Ceci peut s\u2019av\u00e9rer tr\u00e8s utile lorsque les donn\u00e9es sont limit\u00e9es dans une modalit\u00e9 sp\u00e9cifique. Par exemple, les mod\u00e8les pr\u00e9-entra\u00een\u00e9s sur des t\u00e2ches de vision par ordinateur peuvent \u00eatre transf\u00e9r\u00e9s \u00e0 des t\u00e2ches de compr\u00e9hension d\u2019images dans d\u2019autres domaines.<\/span><\/p><p><span style=\"font-weight: 400;\">Il est \u00e9galement possible d\u2019utiliser des <strong>mod\u00e8les pr\u00e9-entra\u00een\u00e9s sur de grandes quantit\u00e9s de donn\u00e9es<\/strong> en guise de point de d\u00e9part pour acc\u00e9l\u00e9rer l\u2019apprentissage multimodal.<\/span><\/p><p><span style=\"font-weight: 400;\">Un mod\u00e8le de langage pr\u00e9-entra\u00een\u00e9 peut \u00eatre utilis\u00e9 pour extraire des caract\u00e9ristiques textuelles dans une t\u00e2che multimodale, afin d\u2019exploiter ses connaissances d\u00e9j\u00e0 acquises lors de l\u2019entra\u00eenement initial sur un vaste ensemble de donn\u00e9es.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-aeaf4f3 elementor-widget elementor-widget-image\" data-id=\"aeaf4f3\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"900\" height=\"500\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/08\/multimodal_learning2.png\" class=\"attachment-full size-full wp-image-210567\" alt=\"\" srcset=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/08\/multimodal_learning2.png 900w, https:\/\/datascientest.com\/wp-content\/uploads\/2023\/08\/multimodal_learning2-300x167.png 300w, https:\/\/datascientest.com\/wp-content\/uploads\/2023\/08\/multimodal_learning2-768x427.png 768w\" sizes=\"(max-width: 900px) 100vw, 900px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-03a8dd8 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"03a8dd8\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formation-machine-learning-engineer\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Tout apprendre du Multimodal Learning<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-6f19534 elementor-widget elementor-widget-text-editor\" data-id=\"6f19534\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Enfin, la <strong>repr\u00e9sentation des donn\u00e9es multimodales<\/strong> est une \u00e9tape cruciale puisqu\u2019elle influence la capacit\u00e9 du mod\u00e8le \u00e0 comprendre et exploiter les diverses modalit\u00e9s.<\/span><\/p><p><span style=\"font-weight: 400;\">Par exemple, l\u2019apprentissage de repr\u00e9sentations communes vise \u00e0 trouver des espaces de repr\u00e9sentations partag\u00e9s entre les diff\u00e9rentes modalit\u00e9s.<\/span><\/p><p><span style=\"font-weight: 400;\">Ceci permet d\u2019extraire des caract\u00e9ristiques communes capturant les informations partag\u00e9es et facilitant la compr\u00e9hension globale des donn\u00e9es multimodales.<\/span><\/p><p><span style=\"font-weight: 400;\">Pour apprendre ces repr\u00e9sentations communes, on utilise notamment les<strong> techniques de co-apprentissage ou d\u2019apprentissage adversarial<\/strong>.<\/span><\/p><p><span style=\"font-weight: 400;\">Une alternative est l\u2019utilisation des r\u00e9seaux de neurones auto-encodeurs : des architectures qui apprennent \u00e0 reconstruire les donn\u00e9es d\u2019entr\u00e9e en passant par une repr\u00e9sentation latente.<\/span><\/p><p><span style=\"font-weight: 400;\">On peut les utiliser pour extraire des caract\u00e9ristiques multimodales pertinentes, qui seront ensuite exploit\u00e9es pour <strong>la fusion et l\u2019apprentissage des mod\u00e8les multimodaux<\/strong>.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-48bf27b e-flex e-con-boxed e-con\" data-id=\"48bf27b\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-4f716d5 elementor-widget elementor-widget-heading\" data-id=\"4f716d5\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Les d\u00e9fis du Multimodal Learning<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-5af5778 elementor-widget elementor-widget-text-editor\" data-id=\"5af5778\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Cet apprentissage multimodal pr\u00e9sente plusieurs d\u00e9fis \u00e0 relever, et requiert une attention particuli\u00e8re pour utiliser efficacement les diff\u00e9rents types de donn\u00e9es.<\/span><\/p><p><span style=\"font-weight: 400;\">L\u2019une des principales probl\u00e9matiques est l\u2019<strong>alignement des modalit\u00e9s<\/strong>. Les donn\u00e9es issues de sources diverses doivent \u00eatre align\u00e9es de mani\u00e8re \u00e0 ce qu\u2019elles soient coh\u00e9rentes et interpr\u00e9tables.<\/span><span style=\"color: var( --e-global-color-text ); font-family: var( --e-global-typography-text-font-family ), Sans-serif; text-align: var(--text-align);\">Par exemple, lors de l\u2019analyse d\u2019une vid\u00e9o comportant une piste audio, les <\/span><strong style=\"color: var( --e-global-color-text ); font-family: var( --e-global-typography-text-font-family ), Sans-serif; text-align: var(--text-align);\">informations visuelles et sonores<\/strong><span style=\"color: var( --e-global-color-text ); font-family: var( --e-global-typography-text-font-family ), Sans-serif; text-align: var(--text-align);\"> doivent imp\u00e9rativement \u00eatre align\u00e9es temporairement pour que la sc\u00e8ne soit compr\u00e9hensible dans sa globalit\u00e9. Afin de respecter cette contrainte, on utilise diverses techniques de synchronisation.<\/span><\/p><p><span style=\"font-weight: 400;\">De m\u00eame, la fusion des informations provenant de modalit\u00e9s diff\u00e9rentes peut \u00eatre une t\u00e2che complexe. Il existe plusieurs m\u00e9thodes pour combiner efficacement les <strong>informations textuelles, visuelles, audio et vid\u00e9o<\/strong> comme la concat\u00e9nation ou l\u2019utilisation de r\u00e9seaux de neurones multimodaux pour apprendre des repr\u00e9sentations int\u00e9gr\u00e9es.<\/span><\/p><p><span style=\"font-weight: 400;\">Quelle que soit l\u2019approche employ\u00e9e, la fusion doit permettre de capturer les interactions et les d\u00e9pendances pour offrir une compr\u00e9hension globale et une vue d\u2019ensemble.<\/span><\/p><p><span style=\"font-weight: 400;\">Autre challenge : repr\u00e9senter les donn\u00e9es de mani\u00e8re \u00e0 capturer les informations pertinentes de chaque modalit\u00e9 pour une utilisation efficace lors de l\u2019apprentissage.<\/span><\/p><p><span style=\"font-weight: 400;\">En g\u00e9n\u00e9ral, on utilise les techniques de <a href=\"https:\/\/datascientest.com\/formation-deep-learning\">Deep Learning<\/a> pour extraire des caract\u00e9ristiques significatives. Par exemple, les r\u00e9seaux de neurones encodeurs peuvent \u00eatre utilis\u00e9s pour <strong>capturer les informations partag\u00e9es entre les modalit\u00e9s<\/strong>.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-17f6498 e-flex e-con-boxed e-con\" data-id=\"17f6498\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-888eb46 elementor-widget elementor-widget-heading\" data-id=\"888eb46\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Exemples de syst\u00e8mes de Multimodal Learning<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-f6818b5 elementor-widget elementor-widget-text-editor\" data-id=\"f6818b5\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Gr\u00e2ce aux avanc\u00e9es scientifiques dans le domaine du Multimodal Learning, plusieurs syst\u00e8mes ont vu le jour et certains sont utilis\u00e9s par de nombreuses personnes. Voici quelques exemples.<\/span><\/p><p>L\u2019entreprise am\u00e9ricaine OpenAI a d\u00e9velopp\u00e9 <a href=\"https:\/\/datascientest.com\/dall-e\">DALL-E<\/a>, un <span style=\"font-weight: 400;\">syst\u00e8me IA pour <strong>convertir le texte en image<\/strong>. Il s\u2019agit d\u2019un r\u00e9seau de neurones compos\u00e9 de 12 milliards de param\u00e8tres.<\/span><\/p><p><span style=\"font-weight: 400;\">La firme a \u00e9galement cr\u00e9\u00e9 <strong>CLIP<\/strong>. Ce syst\u00e8me multimodal permet d\u2019effectuer une large vari\u00e9t\u00e9 de t\u00e2ches de <strong>reconnaissance visuelle<\/strong>, et peut <strong>classifier des images par cat\u00e9gories<\/strong> sans avoir besoin de donn\u00e9es d\u2019exemple.<\/span><\/p><p><span style=\"font-weight: 400;\">De son c\u00f4t\u00e9, Google a cr\u00e9\u00e9 <strong>ALIGN<\/strong> : un mod\u00e8le IA entra\u00een\u00e9 sur <strong>un jeu de donn\u00e9es regroupant de nombreuses paires image-texte<\/strong>. Selon plusieurs benchmarks, il s\u2019agit du mod\u00e8le de ce type le plus performant.<\/span><\/p><p><span style=\"font-weight: 400;\">Le g\u00e9ant californien a aussi cr\u00e9\u00e9 l\u2019IA <strong>MURAL<\/strong> pour <strong>l\u2019association image-texte et la traduction linguistique<\/strong>. Ce mod\u00e8le utilise l\u2019apprentissage multi-t\u00e2ches appliqu\u00e9 aux paires image-texte en association avec leur traduction dans plus de 100 langages.<\/span><\/p><p><span style=\"font-weight: 400;\">Un autre projet de Google est <strong>VATT<\/strong> : une IA multimodale Video-Audio-Text. Elle peut<strong> faire des pr\u00e9dictions \u00e0<\/strong> partir de donn\u00e9es brutes, <strong>g\u00e9n\u00e9rer des descriptions d\u2019\u00e9v\u00e9nements en vid\u00e9o<\/strong> ou m\u00eame <strong>cr\u00e9er des vid\u00e9os \u00e0 partir d\u2019un prompt<\/strong>.<\/span><\/p><p><span style=\"font-weight: 400;\">Les chercheurs de Microsoft ont cr\u00e9\u00e9 <strong>NUWA<\/strong> pour <strong>produire de nouvelles images et vid\u00e9os ou modifier les images existantes<\/strong>. Ce mod\u00e8le est entra\u00een\u00e9 sur des images, des vid\u00e9os et du texte. Il a appris \u00e0 pr\u00e9dire la prochaine trame d\u2019une vid\u00e9o ou \u00e0 remplir les images incompl\u00e8tes.<\/span><\/p><p><span style=\"font-weight: 400;\">Un autre projet Microsoft Resarch est Florence, capable de <strong>mod\u00e9liser l\u2019espace, le temps et la modalit\u00e9<\/strong>. Enfin, <strong>FLAVA<\/strong> est entra\u00een\u00e9 par Meta sur des images et 35 langages diff\u00e9rents et se r\u00e9v\u00e8le performant pour une large vari\u00e9t\u00e9 de t\u00e2ches multimodales.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-28af5d9 e-flex e-con-boxed e-con\" data-id=\"28af5d9\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-13a4880 elementor-widget elementor-widget-heading\" data-id=\"13a4880\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Conclusion : le Multimodal Learning, prochaine fronti\u00e8re de l\u2019IA<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-bd5594d elementor-widget elementor-widget-text-editor\" data-id=\"bd5594d\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">En permettant aux syst\u00e8mes d\u2019IA d\u2019apprendre \u00e0 partir de plusieurs types de donn\u00e9es simultan\u00e9ment, <strong>le Multimodal Learning rapproche les machines du cerveau humain<\/strong> et de sa perception multisensorielle.<\/span><\/p><p><span style=\"font-weight: 400;\">Ainsi, dans un avenir proche, cette approche pourrait bel et bien permettre \u00e0 l\u2019intelligence artificielle de continuer \u00e0 s\u2019approcher de l\u2019intelligence humaine voire m\u00eame de la surpasser\u2026<\/span><\/p><p><span style=\"font-weight: 400;\">Afin de ma\u00eetriser le Machine Learning et toutes ses techniques, vous pouvez <strong>choisir DataScientest<\/strong>. Nos formations de Data Science comportent toutes <strong>un ou plusieurs modules d\u00e9di\u00e9s au Machine Learning, au Deep Learning et \u00e0 l\u2019IA<\/strong>.<\/span><\/p><p><span style=\"font-weight: 400;\">Parmi les notions abord\u00e9es, vous pourrez notamment d\u00e9couvrir les <strong>techniques de classification, r\u00e9gression, clustering<\/strong> avec <a href=\"https:\/\/datascientest.com\/tout-savoir-sur-scikit-learn\">scikit-learn<\/a>, les m\u00e9thodes de <a href=\"https:\/\/datascientest.com\/text-mining-definition\">Text Mining<\/a> et d\u2019analyse de <a href=\"https:\/\/datascientest.com\/series-temporelles\">s\u00e9ries temporelles<\/a>, mais aussi les r\u00e9seaux de neurones <a href=\"https:\/\/datascientest.com\/convolutional-neural-network\">CNN<\/a> et <a href=\"https:\/\/datascientest.com\/recurrent-neural-network\">RNN<\/a> avec <a href=\"https:\/\/datascientest.com\/keras\">Keras<\/a>, <a href=\"https:\/\/datascientest.com\/tensorflow\">TensorFlow<\/a> et <a href=\"https:\/\/datascientest.com\/pytorch-tout-savoir\">PyTorch<\/a>.<\/span><\/p><p><span style=\"font-weight: 400;\">Nos diff\u00e9rents cursus s\u2019effectuent enti\u00e8rement \u00e0 distance, et permettent d\u2019acqu\u00e9rir toutes les comp\u00e9tences requises pour <strong>exercer les professions de<\/strong> <a href=\"https:\/\/datascientest.com\/metier-data-scientist\">Data Scientist<\/a>, <a href=\"https:\/\/datascientest.com\/data-analyst-tout-savoir\">Data Analyst<\/a>, <a href=\"https:\/\/datascientest.com\/data-engineer-must-have-skills\">Data Engineer<\/a>, <a href=\"https:\/\/datascientest.com\/salaire-machine-learning-engineer\">ML Engineer<\/a>, <strong>ou encore les<\/strong> <strong>nouveaux m\u00e9tiers de l\u2019IA<\/strong> <strong>comme<\/strong> <a href=\"https:\/\/datascientest.com\/prompt-engineer-tout-savoir\">Prompt Engineer<\/a>.<\/span><\/p><p><span style=\"font-weight: 400;\">Notre organisme est \u00e9ligible au <a href=\"https:\/\/datascientest.com\/consulter-son-compte-cpf\">CPF<\/a>, reconnu par l\u2019Etat, et vous pourrez recevoir <strong>un dipl\u00f4me d\u00e9livr\u00e9 par MINES Paris Executive Education et un certificat cloud de nos partenaires<\/strong> <a href=\"https:\/\/datascientest.com\/amazon-web-services-tout-savoir\">AWS<\/a> <strong>et<\/strong> <a href=\"https:\/\/datascientest.com\/tout-savoir-sur-microsoft-azure\">Microsoft Azure<\/a>. <strong>D\u00e9couvrez DataScientest !<\/strong><\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-3ad63b4 elementor-widget elementor-widget-image\" data-id=\"3ad63b4\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"900\" height=\"500\" src=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/08\/multimodal_learning3.png\" class=\"attachment-full size-full wp-image-210568\" alt=\"\" srcset=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/08\/multimodal_learning3.png 900w, https:\/\/datascientest.com\/wp-content\/uploads\/2023\/08\/multimodal_learning3-300x167.png 300w, https:\/\/datascientest.com\/wp-content\/uploads\/2023\/08\/multimodal_learning3-768x427.png 768w\" sizes=\"(max-width: 900px) 100vw, 900px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-f9572a8 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"f9572a8\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formation-machine-learning-engineer\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Devenir Machine Learning Engineer<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-88a9b97 elementor-widget elementor-widget-text-editor\" data-id=\"88a9b97\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400;\">Vous savez tout sur le Multimodal Learning. Pour plus d\u2019informations sur le m\u00eame sujet, d\u00e9couvrez <a href=\"https:\/\/datascientest.com\/machine-learning-tout-savoir\">notre dossier complet sur le Machine Learning<\/a> et <a href=\"https:\/\/datascientest.com\/reinforcement-learning\">notre dossier sur le Reinforcement Learning<\/a>.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-34ebcd4 e-flex e-con-boxed e-con\" data-id=\"34ebcd4\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-ab4a25b elementor-widget elementor-widget-html\" data-id=\"ab4a25b\" data-element_type=\"widget\" data-widget_type=\"html.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<script type=\"application\/ld+json\">\r\n{\r\n  \"@context\": \"https:\/\/schema.org\",\r\n  \"@type\": \"FAQPage\",\r\n  \"mainEntity\": [{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Qu'est ce que le Multimodal Learning ? Quelles donn\u00e9es exploite-t'il ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Lorsque vous passez la t\u00eate par la fen\u00eatre, vous recevez imm\u00e9diatement de nombreuses informations. Ceci est li\u00e9 \u00e0 la combinaison de nos 5 sens : l\u2019ou\u00efe, la vue, l\u2019odorat, le go\u00fbt et le toucher qui nous permettent de percevoir \u00e0 la fois les sons, les images, les textures et les parfums.\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Comment est utilis\u00e9 le Multimodal Learning ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Tout d\u2019abord, les mod\u00e8les de fusion jouent un r\u00f4le cl\u00e9 pour combiner les informations. Les r\u00e9seaux de neurones multimodaux permettent d\u2019apprendre des repr\u00e9sentations int\u00e9gr\u00e9es, gr\u00e2ce \u00e0 l\u2019extraction des caract\u00e9ristiques communes \u00e0 partir des donn\u00e9es multimodales.Ces Neural Networks peuvent \u00eatre construits en utilisant des couches de fusion sp\u00e9cifiques prenant en compte les caract\u00e9ristiques de chaque modalit\u00e9 et combinant les informations de mani\u00e8re appropri\u00e9e.\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Les d\u00e9fis du Multimodal Learning\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"L\u2019une des principales probl\u00e9matiques est l\u2019alignement des modalit\u00e9s. Les donn\u00e9es issues de sources diverses doivent \u00eatre align\u00e9es de mani\u00e8re \u00e0 ce qu\u2019elles soient coh\u00e9rentes et interpr\u00e9tables.Par exemple, lors de l\u2019analyse d\u2019une vid\u00e9o comportant une piste audio, les informations visuelles et sonores doivent imp\u00e9rativement \u00eatre align\u00e9es temporairement pour que la sc\u00e8ne soit compr\u00e9hensible dans sa globalit\u00e9. Afin de respecter cette contrainte, on utilise diverses techniques de synchronisation.\"\r\n    }\r\n  }]\r\n}\r\n<\/script>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>Le Multimodal Learning est une \u00e9volution du Machine Learning, consistant \u00e0 utiliser simultan\u00e9ment plusieurs sources de donn\u00e9es comme le texte, l\u2019image et l\u2019audio pour r\u00e9soudre des t\u00e2ches beaucoup plus complexes. D\u00e9couvrez tout ce qu\u2019il faut savoir sur cette nouvelle technique qui va permettre de repousser les fronti\u00e8res de l\u2019IA ! Au cours des derni\u00e8res ann\u00e9es, [&hellip;]<\/p>\n","protected":false},"author":78,"featured_media":210509,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"content-type":"","inline_featured_image":false},"categories":[2497],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v21.7 (Yoast SEO v21.7) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Multimodal Learning : Qu&#039;est ce que c&#039;est ? A quoi \u00e7a sert ?<\/title>\n<meta name=\"description\" content=\"D\u00e9couvrez tout ce qu\u2019il faut savoir sur le Multimodal Learning, cette nouvelle technique qui va permettre de repousser les fronti\u00e8res de l\u2019IA.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/datascientest.com\/multimodal-learning-tout-savoir\" \/>\n<meta property=\"og:locale\" content=\"fr_FR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Multimodal Learning : Qu&#039;est ce que c&#039;est ? A quoi \u00e7a sert ?\" \/>\n<meta property=\"og:url\" content=\"https:\/\/datascientest.com\/multimodal-learning-tout-savoir\" \/>\n<meta property=\"og:site_name\" content=\"Formation Data Science | DataScientest.com\" \/>\n<meta property=\"article:published_time\" content=\"2023-09-27T07:30:00+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-11-09T13:42:47+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/08\/Illu_BLOG__multimodal.png\" \/>\n\t<meta property=\"og:image:width\" content=\"1024\" \/>\n\t<meta property=\"og:image:height\" content=\"562\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"J\u00e9r\u00e9my Robert\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"\u00c9crit par\" \/>\n\t<meta name=\"twitter:data1\" content=\"J\u00e9r\u00e9my Robert\" \/>\n\t<meta name=\"twitter:label2\" content=\"Dur\u00e9e de lecture estim\u00e9e\" \/>\n\t<meta name=\"twitter:data2\" content=\"12 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/datascientest.com\/multimodal-learning-tout-savoir\",\"url\":\"https:\/\/datascientest.com\/multimodal-learning-tout-savoir\",\"name\":\"Multimodal Learning : Qu'est ce que c'est ? A quoi \u00e7a sert ?\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/#website\"},\"datePublished\":\"2023-09-27T07:30:00+00:00\",\"dateModified\":\"2023-11-09T13:42:47+00:00\",\"author\":{\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/7af2361c48e24e79a8aa2360e6e74925\"},\"description\":\"D\u00e9couvrez tout ce qu\u2019il faut savoir sur le Multimodal Learning, cette nouvelle technique qui va permettre de repousser les fronti\u00e8res de l\u2019IA.\",\"inLanguage\":\"fr-FR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/datascientest.com\/multimodal-learning-tout-savoir\"]}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/datascientest.com\/#website\",\"url\":\"https:\/\/datascientest.com\/\",\"name\":\"Formation Data Science | DataScientest.com\",\"description\":\"Leader de la formation en Data Science\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/datascientest.com\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"fr-FR\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/7af2361c48e24e79a8aa2360e6e74925\",\"name\":\"J\u00e9r\u00e9my Robert\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/jeremyrobert.jpeg\",\"contentUrl\":\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/jeremyrobert.jpeg\",\"caption\":\"J\u00e9r\u00e9my Robert\"},\"description\":\"J\u00e9r\u00e9my Robert est actuellement Directeur p\u00e9dagogique B2B chez DataScientest.com. Avant de rejoindre DataScientest, il a travaill\u00e9 en tant que Consultant Business Intelligence chez DEAPDATA, o\u00f9 il a g\u00e9r\u00e9 des projets dans les domaines de l'assurance, bancaire et industrie. Il a \u00e9galement \u00e9t\u00e9 Co-fondateur et pr\u00e9sident de Tripzer. En tant que consultant ind\u00e9pendant, J\u00e9r\u00e9my a propos\u00e9 des formations sur MicroStrategy pour divers niveaux professionnels. Il est dipl\u00f4m\u00e9 de l'Universit\u00e9 Paris Cit\u00e9 avec un Master MIAGE, combinant comp\u00e9tences en informatique et gestion.\",\"sameAs\":[\"https:\/\/www.linkedin.com\/in\/jeremyrobert1\/\",\"Data Science\"],\"url\":\"https:\/\/datascientest.com\/author\/jeremyrobert\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Multimodal Learning : Qu'est ce que c'est ? A quoi \u00e7a sert ?","description":"D\u00e9couvrez tout ce qu\u2019il faut savoir sur le Multimodal Learning, cette nouvelle technique qui va permettre de repousser les fronti\u00e8res de l\u2019IA.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/datascientest.com\/multimodal-learning-tout-savoir","og_locale":"fr_FR","og_type":"article","og_title":"Multimodal Learning : Qu'est ce que c'est ? A quoi \u00e7a sert ?","og_url":"https:\/\/datascientest.com\/multimodal-learning-tout-savoir","og_site_name":"Formation Data Science | DataScientest.com","article_published_time":"2023-09-27T07:30:00+00:00","article_modified_time":"2023-11-09T13:42:47+00:00","og_image":[{"width":1024,"height":562,"url":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/08\/Illu_BLOG__multimodal.png","type":"image\/png"}],"author":"J\u00e9r\u00e9my Robert","twitter_card":"summary_large_image","twitter_misc":{"\u00c9crit par":"J\u00e9r\u00e9my Robert","Dur\u00e9e de lecture estim\u00e9e":"12 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/datascientest.com\/multimodal-learning-tout-savoir","url":"https:\/\/datascientest.com\/multimodal-learning-tout-savoir","name":"Multimodal Learning : Qu'est ce que c'est ? A quoi \u00e7a sert ?","isPartOf":{"@id":"https:\/\/datascientest.com\/#website"},"datePublished":"2023-09-27T07:30:00+00:00","dateModified":"2023-11-09T13:42:47+00:00","author":{"@id":"https:\/\/datascientest.com\/#\/schema\/person\/7af2361c48e24e79a8aa2360e6e74925"},"description":"D\u00e9couvrez tout ce qu\u2019il faut savoir sur le Multimodal Learning, cette nouvelle technique qui va permettre de repousser les fronti\u00e8res de l\u2019IA.","inLanguage":"fr-FR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/datascientest.com\/multimodal-learning-tout-savoir"]}]},{"@type":"WebSite","@id":"https:\/\/datascientest.com\/#website","url":"https:\/\/datascientest.com\/","name":"Formation Data Science | DataScientest.com","description":"Leader de la formation en Data Science","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/datascientest.com\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"fr-FR"},{"@type":"Person","@id":"https:\/\/datascientest.com\/#\/schema\/person\/7af2361c48e24e79a8aa2360e6e74925","name":"J\u00e9r\u00e9my Robert","image":{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/datascientest.com\/#\/schema\/person\/image\/","url":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/jeremyrobert.jpeg","contentUrl":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/jeremyrobert.jpeg","caption":"J\u00e9r\u00e9my Robert"},"description":"J\u00e9r\u00e9my Robert est actuellement Directeur p\u00e9dagogique B2B chez DataScientest.com. Avant de rejoindre DataScientest, il a travaill\u00e9 en tant que Consultant Business Intelligence chez DEAPDATA, o\u00f9 il a g\u00e9r\u00e9 des projets dans les domaines de l'assurance, bancaire et industrie. Il a \u00e9galement \u00e9t\u00e9 Co-fondateur et pr\u00e9sident de Tripzer. En tant que consultant ind\u00e9pendant, J\u00e9r\u00e9my a propos\u00e9 des formations sur MicroStrategy pour divers niveaux professionnels. Il est dipl\u00f4m\u00e9 de l'Universit\u00e9 Paris Cit\u00e9 avec un Master MIAGE, combinant comp\u00e9tences en informatique et gestion.","sameAs":["https:\/\/www.linkedin.com\/in\/jeremyrobert1\/","Data Science"],"url":"https:\/\/datascientest.com\/author\/jeremyrobert"}]}},"_links":{"self":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts\/210507"}],"collection":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/users\/78"}],"replies":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/comments?post=210507"}],"version-history":[{"count":0,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts\/210507\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/media\/210509"}],"wp:attachment":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/media?parent=210507"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/categories?post=210507"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/tags?post=210507"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}