LangChain annonce LangSmith, une plateforme unifiée pour débugger, tester, évaluer et contrôler ses systèmes LLM. Cette plateforme permettra aux développeurs de produire leurs propres LLM.
Une plateforme unifiée ?
D’après un constat de LangChain, le problème actuel du développement d’intelligence artificielle est le manque de puissance des modèles. 30 % du temps, les applications ne sont suffisantes que pour une démonstration Twitter et rien de plus. L’objectif de LangChain et de sa plateforme est d’aider les développeurs à construire et exploiter correctement la puissance des LLM.
LangSmith assiste les développeurs de 5 manières différentes, tout au long de la création de leur produit.
Débogage
La plateforme donne une visibilité du processus de réflexion du LLM de l’entrée de l’invite à la sortie du résultat. De cette façon, les utilisateurs peuvent expérimenter différents types d’invites et repérer les erreurs ou l’origine de résultats inattendus.
La plateforme prend actuellement en charge les modèles d’OpenAI et d’Anthropic, d’autres prises en charge sont à venir.
Test
Langsmith crée des ensembles de données à partir d’autres ensembles de données créés manuellement. Ainsi, les développeurs pourront tester des invites sur ces ensembles sans prendre le risque d’abîmer les originaux.
Évaluation
LangSmith s’intègre aux modules d’évaluation open source. Les modules d’évaluation peuvent soumettre deux tests différents : évaluation heuristique et LLM.
Les évaluations heuristiques utilisent une logique et des expressions humaines pour analyser les réponses du modèle. L’évaluation LLM fait appel à un autre LLM pour évaluer la performance du modèle.
Contrôle
Cette étape offre aux équipes de développement la possibilité de suivre les performances de leur modèle pour les optimiser si possible. Les performances peuvent se traduire par les latences présentes et le coût d’utilisation du modèle.
Une plateforme tout-en-un
Le principal avantage de la plateforme LangSmith est son catalogue d’outils unifié sur une seule interface. LangChain souhaite que le temps des multiples outils et des différentes interfaces soit révolu.
Actuellement en bêta fermée, on peut accéder à LangChain en s’inscrivant sur la liste d’attente.
Alors que l’intelligence artificielle change le monde de l’entreprise, l’automatisation des processus et la centralisation des solutions gagnent aussi en popularité. Qu’ils s’agissent de réduire les coûts opérationnels ou d’optimiser la production, ces besoins deviennent vitaux en entreprise pour rester compétitifs. C’est pourquoi, si cet article vous a plu et si vous envisagez une carrière dans la Data Science, n’hésitez pas à découvrir nos articles ou nos offres de formations sur DataScientest.
Source : langchain.com
