Une étude interprété par Google Recherche, en collaboration avec Google DeepMindrévèle que le géant de la technologie a étendu les capacités de ses modèles d’IA pour Med-Gemini-2D, Med-Gemini-3D et Med-Gemini Polygenic.
Google a déclaré avoir affiné les capacités de Med-Gemini en utilisant des données d’histopathologie, de dermatologie, de radiologie 2D et 3D, de génomique et d’ophtalmologie.
Le Med-Gemini-2 de la société a été formé sur des images médicales conventionnelles codées en 2D, telles que des coupes tomodensitométriques, des patchs pathologiques et des radiographies pulmonaires.
Med-Gemini-3D analyse les données médicales 3D et Google a formé Med-Gemini-Polygenic sur des fonctionnalités non liées à l’image comme la génomique.
L’étude a révélé que le modèle raffiné de Med-Gemini-2D dépassait de 1 à 12 % les résultats précédents en matière de génération de rapports basée sur l’IA pour les radiographies pulmonaires, les rapports étant « équivalents ou meilleurs » que les rapports originaux des radiologues.
Le modèle a également surpassé ses performances précédentes en matière de réponse visuelle aux questions sur les radiographies thoraciques grâce aux améliorations apportées à l’encodeur visuel et au composant linguistique de Gemini.
Il a également donné de bons résultats en matière de classification des radiographies pulmonaires et de réponse visuelle aux questions de radiologie, dépassant les références précédentes sur 17 des 20 tâches ; cependant, en ophtalmologie, histopathologie et dermatologie, Med-Gemini-2D a dépassé les valeurs de base dans 18 des 20 tâches.
Med-Gemini-3D pourrait lire des scans 3D, comme les tomodensitogrammes, et répondre aux questions sur les images.
Le modèle s’est avéré être le premier LLM capable de générer des rapports pour les tomodensitogrammes 3D. Cependant, seulement 53 % des rapports étaient cliniquement acceptables. La société a reconnu que des recherches supplémentaires sont nécessaires pour que la technologie atteigne la qualité des rapports des radiologues experts.
Med-Gemini-Polygenic est le premier modèle de l’entreprise qui utilise des données génomiques pour prédire les résultats en matière de santé.
Les auteurs ont écrit que le modèle surpassait « l’approche standard basée sur le score de risque polygénique linéaire pour la prédiction du risque de maladie et se généralise aux maladies génétiquement corrélées pour lesquelles il n’a jamais été formé ».
LA PLUS GRANDE TENDANCE
Les chercheurs ont signalé les limites de l’étude, affirmant qu’il est nécessaire d’optimiser les modèles multimodaux pour diverses applications cliniques pertinentes, de les évaluer de manière approfondie sur les ensembles de données cliniques appropriés et de les tester en dehors des références académiques traditionnelles pour garantir la sécurité et la fiabilité dans des situations réelles.
Les auteurs de l’étude ont également noté qu’« un éventail de plus en plus diversifié de professionnels de la santé doivent être profondément impliqués dans les futures itérations de cette technologie, aidant ainsi à orienter les modèles vers des capacités ayant une utilité précieuse dans le monde réel ».
Un certain nombre de domaines ont été mentionnés sur lesquels les évaluations futures devraient se concentrer, notamment la réduction de l’écart entre l’évaluation et le traitement au chevet du patient, la minimisation de la contamination des données dans les grands modèles et l’identification et l’atténuation des risques de sécurité et des biais dans les données.
« Bien que les capacités avancées sur des tâches médicales individuelles soient utiles en elles-mêmes, nous envisageons un avenir dans lequel toutes ces capacités seront intégrées dans des systèmes complets pour effectuer une gamme de tâches cliniques multidisciplinaires complexes, en travaillant aux côtés des humains pour maximiser l’efficacité clinique et améliorer résultats pour les patients. Les résultats présentés dans cette étude représentent une étape vers la réalisation de cette vision », ont écrit les chercheurs.
