Le lancement de GPT-3 par OpenAI fut une révolution dans de nombreux domaines d’applications grâce à son code open source. Néanmoins, les modèles de langage ont besoin d’une puissance informatique conséquente pour être utilisé correctement. C’est pourquoi Meta a mis au point son propre modèle de langage, beaucoup plus performant et économe que celui d’Open AI.
En quoi est-il mieux que GPT-3 ?
Meta a nommé ce modèle de langage LLAMA-13B pour « Large Language Model Meta AI ». Le numéro 13B vient quant à lui du fait qu’il ne possède que 13 milliards de paramètres, contrairement au 175 milliards de ChatGPT. Il est ainsi plus petit et, par conséquent, moins énergivore tout en étant plus performant.
Meta a formé ce modèle en utilisant des datasets publics provenant de Wikipedia, Common Crawl et C4. Ces modèles sont alors plus propice à l’open source que ceux d’Open AI qui utilisent des datasets privés.
UNE CARRIÈRE DANS LA DATA VOUS TEND LES BRAS !
Une reconversion dans le big data vous intéresse, mais vous ne savez pas par où commencer ? Découvrez nos formations en Data Science.
Participer à votre première formation data gratuitement !
Assistez aux cours dispensés en live par nos formateurs pour démarrer sur Python, SQL, Power BI…
UNE CARRIÈRE DANS LA DATA VOUS TEND LES BRAS !
Une reconversion dans le big data vous intéresse, mais vous ne savez pas par où commencer ?
Participer à votre première formation data gratuitement !
Pourquoi créer ce nouveau modèle de langage ?
Meta désigne ses modèles LLaMA comme des modèles fondamentaux. Son objectif est de les utiliser comme base pour développer des modèles d’IA plus avancés. Le GAFAM espère alors que ces modèles seront utilisés dans la création d’applications capables de répondre à des questions et de comprendre le langage humain.
Le modèle LLaMA-13B est le plus intéressant car il surpasse GPT-3, tout en s’exécutant sur un seul GPU. Cela ouvre la voie à des performances similaires au modèle GPT-3 sur des appareils grand public.
Le développement de modèles plus performant et économe permet une utilisation plus variée de la Data Science. Grâce à cela, de nombreuses applications permettent la résolution de problèmes complexes dans différents domaines. De son côté, OpenAi encourage également le développement de logiciels par les startups grâce à sa plateforme d’hébergement Foundry. C’est pourquoi, si cet article vous a plus, et si la Data Science vous intéresse ou si vous envisagez une carrière dans ce domaine, n’hésitez pas à découvrir nos offres de formations et nos autres articles sur DataScientest.
Source : engadget.com
