Rejoignez nos newsletters quotidiennes et hebdomadaires pour les dernières mises à jour et du contenu exclusif sur la couverture de l’IA de pointe du secteur. Apprendre encore plus
Visage qui fait un câlin dévoilé aujourd’hui SmolLMune nouvelle famille de modèles de langage compacts qui surpassent en termes de performances les offres similaires de Microsoft, Meta et Qwen d’Alibaba. Ces modèles apportent des capacités d’IA avancées aux appareils personnels sans sacrifier les performances ou la confidentialité.
La gamme SmolLM comprend trois tailles : 135 millions, 360 millionset 1,7 milliard de paramètres — conçus pour accueillir diverses ressources informatiques. Malgré leur faible encombrement, ces modèles ont démontré des résultats supérieurs lors de tests de raisonnement de bon sens et de connaissances du monde.
Petit mais puissant : comment SmolLM défie les géants de l’industrie de l’IA
Loubna Ben Allal, ingénieure en chef ML chez SmolLM chez Hugging Face, a souligné l’efficacité des modèles ciblés et compacts dans une interview avec VentureBeat. « Nous n’avons pas besoin de grands modèles fondamentaux pour chaque tâche, tout comme nous n’avons pas besoin d’une boule de démolition pour percer un trou dans un mur », a-t-elle déclaré. « Les petits modèles conçus pour des tâches spécifiques peuvent accomplir beaucoup de choses. »
Le plus petit modèle, SmolLM-135Msurpasse Meta MobileLM-125M malgré une formation sur moins de jetons. SmolLM-360M surpasse tous les modèles sous 500 millions de paramètres, y compris les offres de Meta et Qwen. Le modèle phare SmolLM-1.7B bat celui de Microsoft Phi-1,5Méta MobileLM-1.5Bet Qwen2-1.5B sur plusieurs benchmarks.
Hugging Face se distingue en rendant l’ensemble du processus de développement open source, de la curation des données aux étapes de formation. Cette transparence s’inscrit dans la continuité de l’engagement de l’entreprise en faveur des valeurs open source et de la recherche reproductible.
La recette secrète : la conservation de données de haute qualité est à l’origine du succès de SmolLM
Les modèles doivent leurs performances impressionnantes à des données de formation soigneusement organisées. SmolLM s’appuie sur Cosmo-Corpusqui comprend Cosmopédia v2 (manuels et histoires synthétiques), Python-Edu (exemples pédagogiques Python) et FineWeb-Edu (contenu Web éducatif organisé).
« Les performances que nous avons obtenues avec SmolLM montrent à quel point la qualité des données est cruciale », a expliqué Ben Allal dans une interview avec VentureBeat. « Nous développons des approches innovantes pour organiser méticuleusement des données de haute qualité, en utilisant un mélange de données Web et synthétiques, créant ainsi les meilleurs petits modèles disponibles. »
La sortie de SmolLM pourrait avoir un impact considérable sur l’accessibilité et la confidentialité de l’IA. Ces modèles peuvent fonctionner sur des appareils personnels tels que des téléphones et des ordinateurs portables, éliminant ainsi les besoins en cloud computing et réduisant les coûts et les problèmes de confidentialité.
Démocratiser l’IA : l’impact de SmolLM sur l’accessibilité et la confidentialité
Ben Allal a souligné l’aspect accessibilité : « Pouvoir exécuter des modèles petits et performants sur des téléphones et des ordinateurs personnels rend l’IA accessible à tous. Ces modèles ouvrent de nouvelles possibilités sans frais, avec une confidentialité totale et une empreinte environnementale réduite », a-t-elle déclaré à VentureBeat.
Leandro von Werra, responsable de l’équipe de recherche chez Hugging Face, a souligné les implications pratiques de SmolLM dans une interview avec VentureBeat. « Ces modèles compacts ouvrent un monde de possibilités pour les développeurs et les utilisateurs finaux », a-t-il déclaré. « Des fonctions de saisie semi-automatique personnalisées à l’analyse des demandes complexes des utilisateurs, SmolLM permet de créer des applications d’IA personnalisées sans avoir besoin de GPU coûteux ou d’infrastructures cloud. Il s’agit d’une étape importante vers une IA plus accessible et plus respectueuse de la vie privée pour tous. »
Le développement de modèles à petite échelle puissants et efficaces comme SmolLM représente un changement important dans l’IA. En rendant les fonctionnalités avancées de l’IA plus accessibles et plus respectueuses de la vie privée, Hugging Face répond aux préoccupations croissantes concernant l’impact environnemental de l’IA et la confidentialité des données.
Avec la sortie d’aujourd’hui de Modèles SmolLM, ensembles de donnéeset code de formationla communauté mondiale de l’IA et les développeurs peuvent désormais explorer, améliorer et développer cette approche innovante des modèles de langage. Comme l’a déclaré Ben Allal dans son interview avec VentureBeat, « Nous espérons que d’autres amélioreront cela ! »