Quelques jours avant la divulgation de la puce GPU Blackwell B200 par Nvidia, Elon Musk publie en open source son modèle de langage Grok-1. Une démarche audacieuse, visant à challenger le modèle économique d’OpenAI et prendre la tête de l’IA gratuite et accessible.
Grok-1, nouveau modèle d’intelligence artificielle développé par la start-up d’Elon Musk xAI est désormais disponible sur GitHub. Avec ses 318 Go et 314 milliards de paramètres, Grok-1 est le modèle le plus puissant accessible gratuitement. Cette ouverture permet désormais à n’importe qui d’entraîner Grok-1 avec ses propres données, comme d’autres modèles open source tels que ceux de Meta (Llama2 7B, 13B et 70B) et Mistral (notamment Mixtral8x7B).
L’utilisation des données personnelles de X par Grok-1
Seul modèle de langage entraîné sur des données en temps réel issues de X, Grok-1 peut être considéré comme un modèle de taille large, malgré sa taille inférieure à GPT4 d’OpenAI (1.76T), Gemini Ultra de Google (1.5T) et Olympus d’Amazon (2T) en termes de paramètres.
Alors que le manque de transparence d’OpenAI est régulièrement pointé du doigt et critiqué par Elon Musk, l’utilisation des données en temps réel de X pour entraîner Grok-1 évite pour le moment les débats éthiques de consentement et d’utilisation de données. Depuis quelques semaines, Elon Musk exerce publiquement et juridiquement une pression sur OpenAI, pour accélérer la libération de modèles d’IA dans le domaine public.
Grok-1, modèle de langage volumineux posant des défis techniques dans son utilisation
Le volume de ce modèle nécessite une puissante force de calcul pour son utilisation ainsi que son perfectionnement. L’ajustement de Grok par un entraînement avec des données numériques spécifiques permet de créer un nouveau modèle de langage plus spécialisé, mais nécessite un investissement coûteux en infrastructures de serveurs.
Cependant, par la nature de l’open source, les investissements dans la création de nouveaux modèles issus de Grok pourraient profiter à tous dans le cas où les résultats seraient partagés, comme ont pu le faire E.Musk, Meta ou Mistral. Ce défi technique pourrait être dépassé grâce à des outils tels qu’Ollama ou AutogenStudio, mettant à disposition de la puissance de calcul pour utiliser de nouveaux modèles de langage sans infrastructure dédiée.
L’ouverture de Grok-1 s’inscrit donc dans une démarche de transparence, d’accessibilité et de promotion de l’intelligence artificielle qui devrait fortement bénéficier à la communauté scientifique et aux entreprises.
Gabriel Ginioux
Pour aller plus loin :