La construction et la mise en production d'applications de modèles de langage à grande échelle (LLM) s'accompagnent d'un ensemble unique de défis qui diffèrent du développement logiciel traditionnel. Certains des principaux défis incluent :

1. Sorties imprévisibles : Les LLM peuvent parfois générer des sorties hallucinées ou imprévisibles, ce qui peut être critique si l'on construit des applications pour des domaines sensibles comme la santé ou la finance. Le suivi étroit du contenu généré est crucial.

2. Coût et latence : Les applications alimentées par les LLM peuvent ne pas répondre aussi rapidement que les logiciels traditionnels, et le coût d'exécution de ces modèles peut être élevé. L'optimisation des performances et des coûts est un défi permanent.

3. Manque d'outils : Par rapport au développement logiciel traditionnel, les outils et l'infrastructure pour construire, tester et surveiller les applications LLM en sont encore aux premiers stades de développement. L'intégration de différents outils et flux de travail peut être un obstacle important.

4. Interactions utilisateur imprévisibles : Avec les LLM, il est difficile d'anticiper la façon dont les utilisateurs interagiront avec l'application, ce qui rend crucial le suivi étroit des commentaires et du comportement des utilisateurs.

BaseRun vise à relever ces défis en fournissant une solution complète pour la mise en production d'applications LLM. Les principales fonctionnalités de BaseRun incluent :

1. Évaluation et surveillance : BaseRun aide les équipes à identifier et à déboguer les problèmes liés aux sorties des LLM, en fournissant des journaux détaillés et la possibilité de tester et d'itérer rapidement sur les invites.

2. Collaboration et intégration des flux de travail : L'interface utilisateur et le SDK de BaseRun permettent une collaboration interfonctionnelle, permettant aux membres non techniques de l'équipe de participer au processus de surveillance et d'itération.

3. Automatisation et intégration : BaseRun automatise diverses tâches, telles que l'itération des invites et le déploiement des modèles, et s'intègre aux outils et flux de travail que les équipes utilisent déjà.

BaseRun est conçu pour être une solution complète pour la surveillance, les tests et l'évaluation des applications d'IA. La plateforme vise à relever les défis uniques liés à la construction et à l'itération sur les applications de modèles de langage à grande échelle (LLM).

Quelques-unes des principales fonctionnalités de BaseRun qui aident à l'intégrer dans le flux de développement incluent :

1. Évaluation et rétroaction : BaseRun peut mettre en évidence les interactions problématiques, collecter les commentaires des utilisateurs et fournir des journaux détaillés du flux d'application de bout en bout. Cela permet aux équipes d'identifier et de diagnostiquer rapidement les problèmes.

2. Terrain de jeu des invites : D'un simple clic, les utilisateurs peuvent copier l'invite qui a conduit à une sortie problématique et la tester dans le terrain de jeu des invites de BaseRun. Cela facilite l'expérimentation avec l'ingénierie des invites et la validation des changements.

3. Tests et déploiement : BaseRun offre une fonctionnalité de test pour exécuter de nouvelles itérations à travers une suite de cas de test, donnant la confiance que les changements auront un impact positif. Les équipes peuvent ensuite déployer les mises à jour en production avec un déploiement en un clic.

BaseRun est conçu pour combler le fossé entre les équipes techniques et non techniques lorsqu'il s'agit de surveiller et d'itérer sur les applications LLM. La plateforme met l'accent sur la collaboration comme principal facteur de différenciation par rapport aux autres solutions de surveillance.

L'une des fonctionnalités clés de BaseRun est sa capacité à rassembler différentes parties prenantes, des ingénieurs aux chefs de produit et aux équipes de test. La plateforme permet aux utilisateurs non techniques de surveiller de près les sorties et les interactions de l'application LLM, de fournir des commentaires et de signaler les problèmes. Ces informations sont ensuite intégrées de manière transparente dans le flux de travail, permettant aux ingénieurs d'identifier et de résoudre rapidement les problèmes.

Les fonctionnalités de collaboration de BaseRun vont au-delà du simple partage de données. La plateforme fournit des outils qui facilitent la prise de décision conjointe et l'itération. Par exemple, les ingénieurs peuvent facilement partager des invites et des cas de test avec l'équipe élargie, permettant aux utilisateurs non techniques de fournir des commentaires et de valider les changements avant le déploiement.

Alors que le marché et le paysage technologique évoluent, l'accent mis par BaseRun en 2024 sera mis sur plusieurs domaines clés :

1. S'adapter aux modèles open source : Avec l'adoption croissante des modèles de langage open source comme GPT-4, BaseRun vise à étendre ses capacités pour prendre en charge l'intégration et la surveillance de ces modèles. L'équipe travaille sur le développement de fonctionnalités qui aideront les équipes à intégrer et à gérer de manière transparente les modèles open source dans leurs applications.

2. Améliorer les fonctionnalités de collaboration : Reconnaissant l'importance des parties prenantes non techniques dans le développement et la surveillance des applications d'IA, BaseRun mettra l'accent sur l'amélioration de ses fonctionnalités de collaboration. L'objectif est de créer une expérience plus transparente où les rôles techniques et non techniques peuvent travailler ensemble de manière efficace, partager des informations et faire avancer le processus d'itération.

3. Automatisation et accélération de l'itération : Pour encore simplifier le développement et le déploiement des applications d'IA, BaseRun se concentrera sur l'automatisation des processus clés. Cela inclut l'automatisation du processus d'itération des invites, ainsi que des workflows de financement et de déploiement dans leur ensemble. En réduisant les efforts manuels, les équipes peuvent itérer plus rapidement et avec plus de confiance.

En tant que PDG et cofondateur de Bas run, F a partagé des informations précieuses sur les défis de la construction et de la mise en production d'applications LLM. Quelques points clés :

• La surveillance et l'évaluation sont essentielles, même dès la phase de prototypage, pour suivre les expériences, collecter des données de haute qualité et assurer un déploiement sûr et fiable.
• Les outils de surveillance traditionnels sont souvent insuffisants pour les applications LLM en raison de la nature imprévisible des sorties. Bas run vise à fournir une solution complète pour relever ces défis.
• La collaboration entre les rôles techniques et non techniques est essentielle, car les deux groupes ont des métriques et des besoins différents lorsqu'il s'agit de comprendre et d'améliorer les performances des LLM.
• Bien que l'espace des startups présente des opportunités passionnantes, les grandes entreprises deviennent également plus aventureuses dans la construction d'applications IA complexes, ce qui offre des opportunités de croissance pour Bas run.
• L'exécution est finalement plus importante que l'idée initiale, car le paysage concurrentiel nécessite une adaptation et une réactivité constantes aux besoins des utilisateurs, tout en restant fidèle à la vision sous-jacente.