LangChain kündigt LangSmith an, eine einheitliche Plattform zum Debuggen, Testen, Bewerten und Kontrollieren seiner LLM-Systeme. Diese Plattform wird es Entwicklern ermöglichen, ihre eigenen LLMs zu produzieren.
Eine einheitliche Plattform?
Laut einer Feststellung von LangChain ist das derzeitige Problem bei der Entwicklung von künstlicher Intelligenz die mangelnde Leistungsfähigkeit der Modelle. In 30 % der Fälle reichen die Anwendungen nur für eine Twitter-Demo und nicht mehr. Das Ziel von LangChain und seiner Plattform ist es, Entwicklern dabei zu helfen, die Leistung von LLMs richtig aufzubauen und zu nutzen.
LangSmith unterstützt Entwickler auf fünf verschiedene Arten während der Erstellung ihres Produkts.
Debugging
Die Plattform bietet Einblick in den Denkprozess der LLM von der Eingabe der Eingabeaufforderung bis zur Ausgabe des Ergebnisses. Auf diese Weise können die Nutzer mit verschiedenen Arten von Aufforderungen experimentieren und Fehler oder die Ursache für unerwartete Ergebnisse erkennen.
Die Plattform unterstützt derzeit die Modelle von OpenAI und Anthropic, weitere Unterstützungen sind geplant.
Test
Langsmith erstellt Datensätze aus anderen manuell erstellten Datensätzen. So können Entwickler Invites auf diesen Sets testen, ohne das Risiko einzugehen, die Originale zu beschädigen.
Évaluation
LangSmith lässt sich in Open-Source-Bewertungsmodule integrieren. Die Bewertungsmodule können zwei verschiedene Tests durchführen: heuristische Bewertung und LLM.
Heuristische Bewertungen verwenden menschliche Logik und Ausdrücke, um die Antworten des Modells zu analysieren. Die LLM-Bewertung nutzt eine andere LLM, um die Leistung des Modells zu bewerten.
Kontrolle
Dieser Schritt gibt den Entwicklungsteams die Möglichkeit, die Leistung ihres Modells zu verfolgen, um es nach Möglichkeit zu optimieren. Die Leistung kann sich in den vorhandenen Latenzen und den Kosten für die Nutzung des Modells widerspiegeln.
Eine All-in-One-Plattform
Der Hauptvorteil der LangSmith-Plattform ist der vereinheitlichte Werkzeugkatalog auf einer einzigen Benutzeroberfläche. LangChain möchte, dass die Zeit der vielen Tools und der verschiedenen Schnittstellen vorbei ist.
Derzeit befindet sich die Plattform in der geschlossenen Beta-Phase. Man kann auf LangChain zugreifen, indem man sich in die Warteliste einträgt.
Während künstliche Intelligenz die Geschäftswelt verändert, gewinnen auch die Automatisierung von Prozessen und die Zentralisierung von Lösungen an Popularität. Ob es nun darum geht, die Betriebskosten zu senken oder die Produktion zu optimieren, diese Bedürfnisse werden in Unternehmen lebenswichtig, um wettbewerbsfähig zu bleiben. Wenn dir dieser Artikel gefallen hat und du eine Karriere in der Data Science in Betracht ziehst, dann schau dir unsere Artikel oder unsere Ausbildungsangebote auf DataScientest an.
Quelle: langchain.com
