Il est temps de célébrer les femmes incroyables qui ouvrent la voie dans le domaine de l’IA ! Nommez vos leaders inspirantes pour les Women in AI Awards de VentureBeat aujourd’hui avant le 18 juin. Apprendre encore plus
Briques de données élève la barre en matière d’outils de développement d’IA de génération d’entreprise. Aujourd’hui, lors de sa conférence annuelle sur les données et l’IA, la société dirigée par Ali Ghodsi a annoncé plusieurs nouvelles améliorations pour sa plate-forme Mosaic AI, visant à aider les entreprises à déployer des applications basées sur un modèle de langage étendu (LLM).
Alors que Databricks fournit depuis un certain temps aux entreprises des outils pour créer des applications d’IA, la plate-forme Mosaic AI, issue du acquisition de MosaicML par la société pour 1,3 milliard de dollarsa accéléré les efforts du côté de la génération IA.
Les dernières fonctionnalités renforcent l’offre en mettant l’accent sur trois domaines clés : 1. le développement de systèmes d’IA composés, 2. leur évaluation selon différentes mesures et 3. la gouvernance de l’ensemble du pipeline.
Cette décision crée un écosystème de bout en bout robuste pour aider les entreprises à créer des applications d’IA de génération fiables à partir de leurs données. Cela renforce également l’offre de l’entreprise face à Snowflake, qui a j’ai avancé dans la même direction depuis que Sridhar Ramaswamy a pris la direction du groupe.
Les inscriptions à VB Transform 2024 sont ouvertes
Rejoignez les dirigeants d’entreprise à San Francisco du 9 au 11 juillet pour notre événement phare sur l’IA. Connectez-vous avec vos pairs, explorez les opportunités et les défis de l’IA générative et apprenez comment intégrer des applications d’IA dans votre secteur. S’inscrire maintenant
Tout récemment, Snowflake a même publié son propre LLM ouvert de niveau entreprise «Arctique» à prendre DBRX de Databricks.
Qu’arrive-t-il à Databricks Mosaic AI ?
Les organisations optimistes quant à l’IA générative s’efforcent de tirer le meilleur parti de cette nouvelle technologie en créant des applications exploitant leurs données internes avec de puissants modèles d’IA.
L’approche fonctionne, mais dans de nombreux cas, les équipes ont du mal à obtenir le retour sur investissement souhaité à partir de grands modèles. Essentiellement, l’application ne parvient pas à fournir des résultats de haute qualité tout en respectant les budgets attendus et les garde-fous en matière de confidentialité.
Pour résoudre ce problème, les organisations se sont tournées vers la création de systèmes d’IA composés basés sur la génération augmentée de récupération (RAG) qui exploitent plusieurs composants, notamment divers petits modèles, récupérateurs, bases de données vectorielles et outils d’évaluation, de surveillance, de sécurité et de gouvernance. Databricks a mis à niveau Mosaic AI pour permettre la création de ces systèmes.
Il y a quelques mois, la société a annoncé Recherche d’IA vectorielle en tant que base de données vectorielles sans serveur intégrée à sa plateforme de données. Désormais, il ajoute la formation sur les modèles d’IA Mosaic et le framework d’agents au mélange.
Le premier permet aux utilisateurs d’utiliser l’API ou l’interface utilisateur Databricks pour affiner de petits modèles de base open source, leur donnant ainsi de nouvelles connaissances pour gérer des domaines ou des tâches spécifiques tout en étant rentables.
Pendant ce temps, ce dernier, intégré à Mosaic AI Vector Search et Model Serving, alimente des applications RAG de haute qualité utilisant ces modèles affinés.
« Premièrement, Agent Framework facilitera la mesure/évaluation de la qualité de l’application via l’évaluation des agents », a déclaré Joel Minnick, vice-président du marketing produit chez Databricks, à VentureBeat. «Il comportera une évaluation exclusive assistée par l’IA intégrée qui pourra déterminer automatiquement si les résultats sont de haute qualité, ainsi qu’une interface utilisateur de traçage intuitive pour obtenir les commentaires des parties prenantes humaines. Ensuite, il sera facile de prendre en compte les commentaires et d’itérer rapidement les modifications. Les développeurs peuvent tester chaque hypothèse, puis redéployer leur application en production avec un workflow LLMOps de bout en bout.
La plateforme comprend également un catalogue d’outils d’IA qui permet aux organisations de gérer, partager et enregistrer des outils à l’aide de Databricks Unity Catalog, que la société vient de rendre open source aujourd’hui.
Ces outils aident les systèmes d’IA composés en tant que fonctions, en les dotant de nouvelles capacités telles que la génération et l’exécution intelligentes de code, la recherche sur le Web et l’appel d’API. Minnick a noté que toute fonction Python ou SQL enregistrée dans le catalogue Unity sera prise en charge par le catalogue d’outils Mosaic AI et deviendra disponible pour les modèles, augmentant ainsi la qualité de la réponse finale.
Une gouvernance plus forte avec Mosaic AI Gateway
Enfin, pour arrondir les choses et garantir une confiance totale dans les applications d’IA développées, la société ajoute ce qu’elle appelle « Mosaic AI Gateway ».
Cette offre fournit aux équipes une interface unifiée pour interroger, gérer et déployer des modèles open source ou propriétaires, leur permettant de changer de LLM, sans apporter de modifications compliquées au code de l’application.
Plus important encore, AI Gateway est doté de capacités intégrées de gouvernance et de surveillance. Il prend en charge le suivi de l’utilisation et les garde-fous, permettant aux organisations de savoir qui appelle le modèle, et peut même définir des limites de débit pour contrôler les dépenses et filtrer les informations de sécurité et d’identification personnelle.
Toutes les nouvelles offres Mosaic AI, à l’exception du catalogue d’outils AI, sont en préversion publique et devraient devenir généralement disponibles au cours des prochains mois. Le catalogue d’outils est actuellement en avant-première privée, bien que Databricks n’ait donné aucun mot sur sa version plus large. La société a également annoncé d’autres produits notables lors de l’événement, notamment Databricks AI/BI pour l’analyse basée sur l’IA, Databricks LakeFlow pour l’ingénierie des données et un modèle de génération d’images centré sur l’entreprise développé en partenariat avec Shutterstock.
Sommet Databricks sur les données et l’IA se déroule du 10 juin au 13 juin 2024.