Par KIM BELLARD
Je suis un fan de l’IA. Je ne comprends pas vraiment les aspects techniques, mais je suis vraiment enthousiasmé par son potentiel. Je suis également un fan des phrases accrocheuses. Alors, quand j’ai (tardivement) entendu parler de TinyAI, j’ai été accroché.
Il s’avère que TinyAI (également connu sous le nom de Tiny AI) existe depuis quelques années, mais avec l’intérêt général pour l’IA, elle attire désormais davantage l’attention. Il existe également TinyML et Edge AI, dont je n’essaierai pas d’analyser les différences. Le fait est que l’IA n’implique pas nécessairement d’énormes ensembles de données exécutés sur des serveurs massifs quelque part dans le cloud ; elle peut se produire sur un appareil aussi petit que vous pouvez l’imaginer. Et c’est plutôt passionnant.
Ce qui a attiré mon attention, c’est un aperçu de Cellule par Farid Nakhle, professeur à l’Université Temple, campus du Japon : Réduire les géants : ouvrir la voie à TinyAI« La transition du paysage des grands modèles d’intelligence artificielle (IA) vers le domaine de l’informatique de pointe, qui trouve sa place dans les appareils de poche, annonce une évolution remarquable des capacités technologiques », commence le professeur Nakhle.
Selon lui, les nombreux succès de l’IA « exigent un bond en avant dans ses capacités, ce qui nécessite un changement de paradigme dans le paysage de la recherche, des architectures de cloud computing centralisées aux cadres décentralisés et centrés sur la périphérie, où les données peuvent être traitées sur des appareils périphériques à proximité de l’endroit où elles sont générées ». Les exigences de traitement en temps réel, de réduction de la latence et de confidentialité renforcée rendent TinyAI attrayant.
En conséquence : « Cela nécessite TinyAI, défini ici comme la compression et l’accélération des modèles d’IA existants ou la conception d’architectures d’IA nouvelles, petites mais efficaces et le développement de matériel dédié à l’accélération de l’IA pour assurer de manière transparente leur déploiement et leur fonctionnement efficaces sur les appareils de pointe. »
Le professeur Nakhle donne un aperçu de ces techniques de compression et d’accélération, ainsi que de l’architecture et des conceptions matérielles, que je laisserai comme exercice au lecteur intéressé.
Si tout cela semble futuriste, voici quelques exemples actuels de modèles TinyAI :
- Cet été, Google lancement de Gemma 2 2Bun modèle de 2 milliards de paramètres qui, selon lui, surpasse le GPT 3.5 d’OpenAI et le Mixtral 8X7B de Mistral AI. VentureBeat a émis l’avis:« Le succès de Gemma 2 2B suggère que des techniques de formation sophistiquées, des architectures efficaces et des ensembles de données de haute qualité peuvent compenser le nombre de paramètres bruts. »
- Cet été également OpenAI introduit GPT-4o mini, « notre modèle compact le plus économique ». Il « prend en charge le texte et la vision dans l’API, avec la prise en charge des entrées et sorties de texte, d’image, de vidéo et d’audio à venir ».
- Salesforce récemment introduit son modèle xLAM-1B, qu’il aime appeler le « Petit Géant ». Il n’a soi-disant que 1b paramètres, mais Marc Benoff affirme qu’il surpasse le modèle x7x en taille et déclare avec audace : « L’IA agentique sur appareil est là »
- Ce printemps, Microsoft lancement du Phi-3 Miniun modèle de 3,8 milliards de paramètres, ce qui est suffisamment petit pour un smartphone. Il prétend être comparable à GPT 3.5 ainsi qu’à Llama 3 de Meta.
- H2O.ai propose Danube 2, un modèle de paramètres de 1,8 b qu’Alan Simon de Hackernoon appels le plus précis des modèles LLM open source et minuscules.
Quelques milliards de paramètres peuvent ne pas sembler si « minuscules », mais gardez à l’esprit que d’autres modèles d’IA peuvent en contenir des milliers de milliards.
TinyML a même sa propre fondation« une organisation mondiale à but non lucratif qui donne du pouvoir à une communauté de professionnels, d’universitaires et de décideurs politiques axée sur l’IA à faible consommation d’énergie à la périphérie du cloud. » Atelier ECO Edge le mois prochain sera consacré à « l’avancement de l’apprentissage automatique durable à la périphérie »,
Rajeshwari Ganesan, technologue distingué chez Infosys, va jusqu’à affirmer : dans Entreprise d’IAque « l’IA miniature est l’avenir de l’IA ». Elle partage les inquiétudes de tinyML concernant la durabilité ; le « coût environnemental associé à l’IA est inquiétant. L’IA a déjà une empreinte carbone énorme, plus importante encore que celle de l’industrie aérienne ». Avec des milliards – oui, des milliards – d’appareils IoT qui seront mis en ligne dans les prochaines années, elle prévient : « les besoins en puissance de traitement pourraient exploser en raison de la quantité considérable de données qu’ils génèrent. Il est impératif de transférer une partie de la charge de calcul vers les appareils périphériques. Ces petits modèles d’IA peuvent être transférés vers des appareils IoT périphériques qui nécessitent une énergie et une capacité de traitement minimales ».
Entreprise technologique européenne Imec L’entreprise est très impliquée dans TinyAI et craint également l’impact écologique de l’IA, qualifiant les approches actuelles de l’IA de « non durables sur le plan économique et écologique ». Elle estime plutôt que « l’ère de la domination du cloud touche à sa fin : les futurs environnements d’IA seront décentralisés. Les appareils Edge et Extreme Edge effectueront leur propre traitement. Ils enverront une quantité minimale de données à un hub central. Et ils travailleront – et apprendront – ensemble. »
Le plus amusant, bien sûr, c’est d’imaginer à quoi pourrait servir TinyAI. Le professeur Nakhle déclare : « Parmi les applications immédiates et réalistes, le secteur de la santé se distingue comme un domaine mûr pour la transformation. » Il décrit ensuite ces transformations potentielles :
Par exemple, s’ils sont associés à des prix accessibles adaptés à des régions et des nations spécifiques, les appareils portables équipés des capacités TinyAI peuvent révolutionner la surveillance des patients en analysant les signes vitaux et en détectant les anomalies en temps réel et en alertant rapidement les utilisateurs des rythmes cardiaques irréguliers ou des fluctuations de la pression artérielle, facilitant ainsi une intervention rapide et améliorant les résultats de santé.
L’Imec considère les soins de santé comme un domaine d’intérêt particulier, et offres ces exemples pour TinyAI :
Un autre exemple est l’une de mes technologies de santé du futur préférées : les nanorobots. vient d’être annoncé une petite batterie destinée à être utilisée dans des robots de la taille d’une cellule, qui « pourrait permettre le déploiement de robots autonomes de la taille d’une cellule pour l’administration de médicaments dans le corps humain », entre autres choses. Il ne nous reste plus qu’à intégrer TinyAI dans ces robots pour les aider à accomplir les nombreuses tâches que nous leur demanderons.
Nous regorgeons déjà d’idées géniales sur la façon d’utiliser l’IA dans le domaine de la santé, mais nous n’avons qu’effleuré son potentiel. Une fois que nous aurons compris TinyAI, nous trouverons encore plus de façons de l’appliquer. L’avenir est vaste… et peut-être même minuscule.
Des moments vraiment passionnants.
Kim est un ancien responsable du marketing électronique dans un important programme Blues, rédacteur en chef du regretté et regretté Teinture.ioet maintenant contributeur régulier du THCB
