DonnéesStax cherche à permettre aux développeurs de créer plus facilement des applications de génération augmentée (RAG) de récupération d’IA générative avec une nouvelle API de données disponible aujourd’hui.
DataStax est l’un des principaux fournisseurs commerciaux derrière la base de données open source Apache Cassandra, qui constitue la base de sa base de données cloud AstraDB en tant que service. Comme beaucoup d’autres fournisseurs de bases de données, DataStax a ajouté capacités de base de données vectorielles sur sa plateforme en 2023. Lors d’un événement récent, le PDG de DataStax a affirmé que Cassandra était « la meilleure putain de base de données pour la génération IA. »
La capacité des bases de données vectorielles est essentielle pour permettre aux applications RAG qui combinent de grands modèles de langage (LLM) avec des plates-formes de données de générer des résultats hautement précis et personnalisés.
Bien que DataStax dispose de fonctionnalités vectorielles dans AstraDB depuis juillet 2023, cette fonctionnalité exigeait toujours que les utilisateurs travaillent avec le langage de requête Cassandra (CQL) comme chemin principal pour interroger les données. La nouvelle API de données publiée aujourd’hui change cela, en offrant aux développeurs la possibilité d’utiliser les langages de programmation Python et JavaScript pour accéder à la base de données, ce qui, selon la société, contribue à réduire l’écart entre DataStax et les bases de données vectorielles spécialement conçues comme Pomme de pin qui vient de mettre à jour sa plateforme éponyme avec base de données sans serveur Fonctionnalité.
« Il y a eu une sorte de bras de fer entre les bases de données vectorielles natives qui ne prennent en charge aucun autre type de requête que les vecteurs et les bases de données hybrides qui ont des modèles de requêtes très robustes », a déclaré Ed Anuff, directeur des produits chez DataStax à VentureBeat. « Ce que nous cherchions à faire, c’était de combler cet écart et c’est l’objectif de l’API de date. »
Comment l’API de données DataStax change la façon dont les développeurs créent des applications RAG
La nouvelle API de données ne fournit aucune nouvelle fonctionnalité vectorielle à la base de données AstraDB. Au lieu de cela, il permet aux développeurs de créer plus facilement des applications.
Selon Anuff, la nouvelle API vise à réduire l’inadéquation d’impédance entre ce que font les développeurs et ce que fournit la base de données. Anuff a noté que depuis juillet 2023, lorsque les capacités vectorielles ont atterri pour la première fois dans AstraDB, environ la moitié de tous les nouveaux utilisateurs inscrits à la base de données cloud l’utilisent pour créer des applications gen AI.
Le défi est que ces développeurs n’ont pas pu utiliser facilement les langages de programmation qu’ils utilisaient déjà pour créer des applications gen AI, qui sont en grande partie Python et JavaScript, pour accéder à AstraDB.
Avant la nouvelle API de données, les développeurs créant des applications d’IA avec AstraDB auraient dû utiliser le langage de requête Cassandra (CQL) standard, qui implique plus de connaissances en modélisation de données que ce que les développeurs voulaient gérer pour de simples applications en rack. Les requêtes n’auraient pas non plus été aussi optimisées pour les données vectorielles.
Anuff a expliqué que la nouvelle API de données facilite la tâche en gérant automatiquement la vectorisation, en présentant une interface plus simple dans des langages comme Python et JavaScript et en optimisant les performances en stockant et en indexant les données vectorielles plus efficacement au niveau de la base de données plutôt que de simplement ajouter des vecteurs comme autre type de données. . Cela réduit la courbe d’apprentissage et améliore les performances par rapport à une simple construction sur les API Cassandra et le modèle de données existants.
Tout est question d’API
Avec certaines classes d’API de base de données, tout ce qui se produit est une forme de traduction d’un langage de programmation natif, comme Python ou JavaScript, vers le langage de requête de la base de données. C’est fonctionnellement très similaire à une approche vieille de plusieurs décennies de la façon dont les développeurs ont travaillé avec les bases de données, via un mappeur objet-relationnel (ORM).
L’API de données DataStax est un peu différente puisque Cassandra est architecturée différemment des autres bases de données. Au niveau de l’architecture, Cassandra est organisée autour d’un ensemble de primitives hautes performances qui sont combinées pour prendre en charge différents types de modèles de requête. Anuff a déclaré que l’architecture de données Cassandra permet de se connecter à une couche plus profonde de la base de données, ce qui améliore les performances globales des requêtes.
« L’API de données expose au développeur un format de données très simple basé sur JSON, dans lequel tout ce que vous pouvez exprimer en JSON, le développeur peut l’envoyer et le récupérer à partir de la base de données », a déclaré Anuff. « Mais nous stockons cela de manière très efficace dans Cassandra, où nous le faisons directement au niveau du stockage et veillons à ce que les performances obtenues par un développeur soient maintenues. »
Accélération des vecteurs avec le moteur JVector
Un autre élément clé de l’avancement des bases de données vectorielles de DataStax est la JVecteur moteur de recherche qui fait partie d’AstraDB. JVector est un moteur de recherche de vecteurs embarqué open source développé par DataStax.
Anuff a expliqué que JVector utilise un algorithme appelé DiskANN qui est une version optimisée pour le stockage sur disque de l’algorithme ANN (recherche du voisin le plus proche) qui est largement utilisé dans presque toutes les bases de données vectorielles. Il a noté que DiskANN offre des capacités de récupération nettement meilleures par rapport à d’autres algorithmes qui ne fonctionnent pas aussi bien à grande échelle de stockage et de distribution.
Selon DataStax, le moteur JVector est ce qui permet à AstraDB d’obtenir une meilleure pertinence et un meilleur rappel que les autres bases de données vectorielles. Une grande partie du travail vectoriel de DataStax, y compris JVector et l’API de données, est en open source pour être utilisée par la communauté open source Cassandra ainsi que par les clients AstraDB de DataStax.
« Nous sommes très déterminés à rendre les éléments accessibles aux écosystèmes open source », a déclaré Anuff. « Nous voulons également simplement nous assurer que si vous êtes simplement un développeur essayant de déterminer quel service cloud vous devez utiliser, vous disposez du chemin le plus simple pour y parvenir. »
La mission de VentureBeat est d’être une place publique numérique permettant aux décideurs techniques d’acquérir des connaissances sur la technologie et les transactions d’entreprise transformatrices. Découvrez nos Briefings.