Rejoignez nos newsletters quotidiennes et hebdomadaires pour les dernières mises à jour et du contenu exclusif sur la couverture de l’IA de pointe du secteur. Apprendre encore plus
Google vient de dévoiler Gemma 2 2Bun modèle d’intelligence artificielle compact mais puissant qui rivalise avec les leaders du secteur malgré sa taille nettement plus petite. Le nouveau modèle de langage, contenant seulement 2,6 milliards de paramètres, affiche des performances égales ou supérieures à celles de ses homologues beaucoup plus grands, notamment OpenAI GPT-3.5 et les IA de Mistral Mixtral 8x7B.
Annoncé sur Google Blog du développeurGemma 2 2B représente une avancée majeure dans la création de systèmes d’IA plus accessibles et plus déployables. Son faible encombrement le rend particulièrement adapté aux applications sur appareil, ce qui pourrait avoir un impact majeur sur l’IA mobile et l’informatique de pointe.
La petite IA qui pourrait : frapper au-dessus de sa catégorie
Tests indépendants réalisés par LMSYSorganisme de recherche en IA, a vu Gemma 2 2B obtenir un score de 1130 dans son domaine d’évaluation. Ce résultat le place légèrement devant GPT-3.5-Turbo-0613 (1117) et Mixtral-8x7B (1114), des modèles avec dix fois plus de paramètres.
Les capacités du modèle vont au-delà de la simple efficacité de taille. Google rapporte que Gemma 2 2B obtient un score de 56,1 sur MMLU (Massive Multitask Language Understanding) et 36,6 sur MBPP (Mostly Basic Python Programming), marquant des améliorations significatives par rapport à son prédécesseur.
Cette avancée remet en cause l’idée reçue dans le domaine du développement de l’IA selon laquelle les modèles de plus grande taille sont intrinsèquement plus performants. Le succès de Gemma 2 2B suggère que des techniques de formation sophistiquées, des architectures efficaces et des ensembles de données de haute qualité peuvent compenser le nombre de paramètres bruts. Cette avancée pourrait avoir des implications de grande portée pour le domaine, en déplaçant potentiellement l’attention de la course aux modèles toujours plus grands vers le perfectionnement de modèles plus petits et plus efficaces.
Distillation de géants : l’art de la compression de l’IA
Le développement de Gemma 2 2B souligne également l’importance croissante des techniques de compression et de distillation des modèles. En distillant efficacement les connaissances issues de modèles plus volumineux dans des modèles plus petits, les chercheurs peuvent créer des outils d’IA plus accessibles sans sacrifier les performances. Cette approche réduit non seulement les besoins de calcul, mais répond également aux préoccupations concernant l’impact environnemental de la formation et de l’exécution de modèles d’IA de grande taille.
Google a formé Gemma 2 2B sur un ensemble de données massif de 2 000 milliards de jetons à l’aide de son TPU v5e matériel. Le modèle multilingue renforce son potentiel pour des applications mondiales.
Cette version s’inscrit dans la tendance croissante du secteur à proposer des modèles d’IA plus efficaces. Alors que les préoccupations concernant l’impact environnemental et l’accessibilité des grands modèles linguistiques augmentent, les entreprises technologiques se concentrent sur la création de systèmes plus petits et plus efficaces pouvant fonctionner sur du matériel grand public.
Révolution open source : démocratiser l’IA pour tous
En faisant Gemma 2 2B open sourceGoogle réaffirme son engagement en faveur de la transparence et du développement collaboratif de l’IA. Les chercheurs et les développeurs peuvent accéder au modèle via un Un visage enlacé via Gradioavec des implémentations disponibles pour divers frameworks, notamment Torche PyTorch et TensorFlow.
Même si l’impact à long terme de cette version reste à déterminer, Gemma 2 2B représente clairement une étape importante vers la démocratisation de la technologie de l’IA. Alors que les entreprises continuent de repousser les limites des capacités des modèles plus petits, nous entrons peut-être dans une nouvelle ère du développement de l’IA, une ère où les capacités avancées ne sont plus le domaine exclusif des supercalculateurs gourmands en ressources.
