Meta, qui développe l’un des plus grands modèles de langage open source fondamentaux, Llama, estime qu’il aura besoin de beaucoup plus de puissance de calcul pour former les modèles à l’avenir.
Mark Zuckerberg a déclaré mardi lors de la conférence téléphonique sur les résultats du deuxième trimestre de Meta que pour former Llama 4, la société aurait besoin de 10 fois plus de calcul que ce qui était nécessaire pour former Llama 3. Mais il souhaite toujours que Meta renforce sa capacité à former des modèles plutôt que de prendre du retard sur ses concurrents.
« La quantité de calcul nécessaire pour entraîner Llama 4 sera probablement presque 10 fois supérieure à celle que nous avons utilisée pour entraîner Llama 3, et les futurs modèles continueront de croître au-delà », a déclaré Zuckerberg.
« Il est difficile de prédire l’évolution de cette situation sur plusieurs générations. Mais à ce stade, je préfère prendre le risque de renforcer les capacités avant que cela ne soit nécessaire plutôt que trop tard, étant donné les longs délais nécessaires pour lancer de nouveaux projets d’inférence. »
Meta publié Llama 3 avec 80 milliards de paramètres en avrilLa société a publié la semaine dernière une version améliorée du modèle, appelée Llama 3.1 405B, qui avait 405 milliards de paramètresce qui en fait le plus grand modèle open source de Meta.
Susan Li, directrice financière de Meta, a également déclaré que l’entreprise réfléchissait à différents projets de centres de données et au renforcement des capacités pour former les futurs modèles d’IA. Elle a déclaré que Meta s’attend à ce que cet investissement augmente les dépenses d’investissement en 2025.
La formation de modèles linguistiques de grande taille peut s’avérer coûteuse. Les dépenses d’investissement de Meta ont augmenté de près de 33 % pour atteindre 8,5 milliards de dollars au deuxième trimestre 2024, contre 6,4 milliards de dollars un an plus tôt, grâce aux investissements dans les serveurs, les centres de données et l’infrastructure réseau.
Selon un rapport de L’informationOpenAI dépense 3 milliards de dollars en modèles de formation et 4 milliards de dollars supplémentaires en location de serveurs à un tarif réduit auprès de Microsoft.
« À mesure que nous augmentons la capacité de formation de l’IA générative pour faire progresser nos modèles fondamentaux, nous continuerons à développer notre infrastructure d’une manière qui nous offre une certaine flexibilité dans la façon dont nous l’utilisons au fil du temps. Cela nous permettra d’orienter la capacité de formation vers l’inférence de l’IA générative ou vers notre travail de classement et de recommandation de base, lorsque nous pensons que cela sera plus utile », a déclaré Li lors de l’appel.
Au cours de l’appel, Meta a également parlé de son service client Utilisation de Meta AI et a déclaré que l’Inde est le plus grand marché de son chatbot. Mais Li a noté que la société ne s’attend pas à ce que les produits Gen AI contribuent aux revenus de manière significative.
