Si l’intelligence artificielle avance aussi rapidement, c’est en partie grâce au développement des réseaux neuronaux. Depuis 2017, un nouveau modèle d’architecture est apparu : les Transformer Neural Network (TNN) ou réseaux neuronaux transformateur. Plutôt que de se baser sur des structures séquentielles rigides, ces modèles privilégient des mécanismes novateurs qui révolutionnent le traitement du langage naturel. Découvrez tout ce qu'il faut savoir sur les transformer neural network dans cet article.
Qu’est-ce que le transformer neural network ?
Les TNN, une révolution dans les NLP
Le transformer neural network ou réseau neuronal transformateur est une architecture de réseau neuronal introduite par l’article « Attention is All You Need », publié par des chercheurs de chez Google en 2017. Le TNN utilise les mécanismes d’attention afin de résoudre les tâches de séquence à séquence tout en gérant facilement les dépendances à long terme. Autrement dit, ce modèle d’architecture ne suit pas une structure séquentielle. Ce qui facilite le traitement parallèle des données et accélère l’entraînement des modèles. C’est particulièrement intéressant pour les séquences longues en deep learning.
Pour rappel, un réseau neuronal comprend le contexte et le sens d’un texte en suivant les relations dans les données séquentielles. Mais bien souvent, ces séquences sont rigides. Ce qui peut ralentir le traitement des données. À l’inverse, les modèles transformateurs se montrent plus flexibles dans le traitement de ces données. Ils sont ainsi capables de détecter comment des éléments de données, même éloignés les uns des autres, peuvent s’influencer.
À ce titre, le TNN a révolutionné le domaine du traitement du langage naturel (NLP) et est à l’origine d’une vague de progrès dans le domaine de l’apprentissage automatique. À tel point que certains experts parlent d’« IA transformatrice » ou de « modèles de base » pour les désigner.
D’ailleurs, ils représentent une évolution impressionnante par rapport aux modèles plus traditionnels que sont les réseaux neuronaux récurrents (RNN) ou les réseaux neuronaux à convolution (CNN).
TNN, RNN et CNN
Avant les transformer neural network, les experts IA utilisaient d’autres modèles d’architecture. Et plus précisément :
- Les RNN : les réseaux neuronaux récurrents traitent les données de manière séquentielle. Les RNN analysent alors les informations plus lentement et peuvent rencontrer des difficultés avec les dépendances à long terme.
- Les CNN : les réseaux neuronaux à convolution sont conçus pour le traitement d’images et de données structurées. Pour cela, ils utilisent des couches de convolution (pour extraire des caractéristiques locales des données d’entrée), et des couches de pooling (pour réduire la dimensionnalité des caractéristiques extraites).
Ces deux modèles sont généralement conçus pour réaliser des tâches spécifiques. À l’inverse, le transformer neural network a été conçu pour le traitement du langage naturel. Mais contrairement aux deux autres, il est aussi très utile pour réaliser une multitude de tâches, comme la génération d’images, la traduction automatique, le traitement séquentiel ou la représentation des données. Cette adaptation et cette flexibilité ont été rendues possibles par les principes de fonctionnement du TNN.
Comment fonctionne le réseau neuronal transformateur ?
Pour être aussi efficace, le transformer neural network repose sur 4 principes fondateurs :
- Mécanisme d’attention (ou auto attention) : grâce à ce mécanisme, le TNN est capable de se concentrer sur différentes parties de la séquence d’entrée. Il accorde une pondération à chacune de ses parties en fonction de son importance pour la tâche spécifique à réaliser.
- Encodeurs et décodeurs : les encodeurs traitent une partie de la séquence d’entrée, alors que les décodeurs génèrent une partie de la séquence de sortie. Ces technologies permettent au transformer neural network d’être particulièrement flexibles, et de s’adapter à différentes tâches.
- Encodages positionnels : ils donnent au modèle des informations sur la position relative des éléments dans la séquence. C’est particulièrement important en l’absence de structure récurrente.
- Multi-head attention : c’est ce qui permet au TNN de traiter différentes représentations en parallèle. Ce faisant, le modèle est capable de saisir des relations complexes.
À quoi servent les modèles transformer ?
Nous l’avons vu, les transformer neural network font preuve d’une flexibilité et d’une adaptation sans pareil. Mais concrètement, qu’est-ce qu’ils font ? Voici quelques exemples d’application des modèles Transformer :
- La traduction de texte : pour les personnes malentendantes, ils sont capables de retranscrire des discours oraux en texte écrit, presque en temps réel.
- La compréhension des séquences : d’une grande aide pour les scientifiques, les modèles de base peuvent comprendre les chaînes de gènes dans l’ADN, ou encore les acides aminés dans les protéines. Ce qui permet d’accélérer la conception de médicaments.
- La détection des anomalies : dans les banques ou les entreprises industrielles, les TNN sont capables de détecter les fraudes ou les anomalies sur les chaînes de production. Les entreprises concernées peuvent ainsi réagir rapidement.
Maîtrisez les TNN avec DataScientest
Entre leur flexibilité et leur efficacité, les transformer neural network sont à maîtriser impérativement par tous les (futurs) experts data scientists. Mais cela requiert des compétences techniques qui ne s’obtiennent pas du jour au lendemain. Il convient de s’y former pour utiliser efficacement les modèles transformateurs. C’est justement possible avec DataScientest. Découvrez notre programme.
