La start-up californienne Groq est en train de devenir la nouvelle petite star de l’intelligence artificielle (IA). Elle bénéficie d’une exposition médiatique à la hauteur des espoirs qu’elle suscite. Alors que le développement exponentiel du secteur se heurte à la pénurie de puces dédiées et au monopole de Nvidia dans ce domaine, la start up pense avoir la solution pour rebattre les cartes sur le marché. Sa carte maîtresse réside dans sa puce GroqChip, spécialement optimisée pour les grands modèles de langage comme ceux d’OpenAI, de Mistral AI ou de Meta.
L’IA comprend deux parties. La première consiste à entraîner le modèle avec d’immenses bases de données. Elle est si intensive en calcul qu’elle s’effectue presque toujours dans les datacenters, notamment ceux du cloud. Une fois bien entraîné, le modèle est prêt à répondre aux requêtes des utilisateurs en utilisant ce qu’il a appris. C’est à cette partie exploitation, appelée inférence, que Groq consacre son développement.
Fondée par le père des puces IA de Google
La société a été fondée en 2016 à Mountain View, en Californie, par un ancien de Google, considéré comme le père de TPU, la première puce d’IA sur mesure du géant de l’Internet, dont l’annonce en 2016 a provoqué un immense choc dans l’univers du numérique. L’exemple de Google a été ensuite médité par Amazon, Microsoft, Meta, Alibaba, Tencent et autre Baidu. Groq a levé 367 millions de dollars. Parmi ses investisseurs figurent le réseau social X (anciennement Twitter) et le fabricant japonais de composants électroniques TDK.
Avec un peu plus de 200 salariés et un chiffre d’affaires estimé à 60 millions de dollars en 2023, Groq entend défier Nvida, un groupe de près de 30 000 personnes et de plus de 60 milliards de dollars de chiffre d’affaires, aujourd’hui leader incontesté des puces d’IA. La bataille qu’elle engage ressemble à celle de David contre Goliath. Mais la start-up revendique une nouvelle architecture de traitement, baptisée LPU (Language processing unit), présentée comme dix fois plus efficace pour l’inférence que l’architecture GPU (Graphic processing unit), dérivée des processeurs graphiques inventée à l’origine pour l’accélération des calculs dans les jeux vidéo, de Nvidia.
Son invention est-elle aussi révolutionnaire qu’elle le dit ? «Je ne suis pas étonné que Qroq affiche de telles performances, affirme à L’Usine Nouvelle Marc Duranton, expert senior en systèmes embarqués et réseaux de neurones au CEA-List, le laboratoire d’intégration de systèmes et de technologies du CEA. Sur le plan technique, plus l’architecture de calcul est spécialisée, et plus elle est efficace mais plus ses domaines d’application sont restreints. Les GPU de Nvidia sont des processeurs génériques qui s’adaptent à n’importe quelle application. Ils sont d’ailleurs utilisés en dehors de l’IA pour le traitement graphique dans les jeux vidéo, l’amélioration du rendu d’image dans l’affichage professionnel ou encore l’accélération de certaines taches de simulation numérique dans le calcul intensif. Dans l’IA, ils conviennent à l’entraînement des modèles ainsi qu’à l’inférence. La puce de Groq est spécialisée et ne fait que l’inférence, pas l’apprentissage.»
Une puce Made in USA
Alors que les processeurs de Nvidia sont fabriqués dans une technologie nec plus ultra de 4 nanomètres chez TSMC, à Taïwan, la GroqChip se contente d’une technologie relativement mature de 14 nanomètres chez GlobalFoundries, aux Etats-Unis. Cela est rendu possible grâce à la simplification de son architecture de calcul. La start-up se vante de proposer une puce d’IA conçue, fabriquée et encapsulée aux Etats-Unis. Un argument de poids dans le contexte actuel de sécurisation de la chaîne d’approvisionnement en semi-conducteurs comme les GPU, objets d’une pénurie depuis l’été 2023. C'est aussi une pique contre Nvidia dont les puces sont fabriquées et assemblées en Asie.
L’efficacité de la GroqChip vient de sa spécialisation mais aussi de son architecture avec une judicieuse répartition des tâches entre matériel et logiciel. «Beaucoup de tâches de contrôle sont reportées sur le compilateur, le logiciel qui transforme l’application dans le langage de la puce, et les unités de traitement sont enchaînées physiquement pour réduire les temps de latence, note l’expert du CEA-List. Sur le plan architectural, l’approche est intéressante mais pas vraiment nouvelle. La puce convient à tous les modèles IA basés sur des réseaux de neurones. Mais sa mémoire intégrée de 230 Mo est trop petite pour héberger des modèles IA entiers comme ceux de Mistral ou de Meta.»
La puce mesure 725 mm2, offre une puissance de calcul de 750 Tops (milliards d’opérations par seconde) en simple précision et consomme jusqu’à 300 W d’énergie. A comparer aux spécifications de la H100, la puce vedette de Nvidia : taille de 814 mm2, puissance de calcul de 3958 Tops et une consommation d’énergie de 700 W. Une nouvelle version 15 à 20 fois plus efficace en énergie est promise par Gorq en 2025. Elle sera fabriquée en technologie de 4 nanomètres dans la future usine de Samsung à Taylor, au Texas.
Un coup marketing réussi pour Groq
«Groq a incontestablement réussi son coup marketing, estime Marc Duranton. Dans sa démonstration comparant sa solution à celle de Nvidia pour l’inférence de modèles IA comme Mixtral de la start-up Mistral AI ou de LLAMA 2 de Meta, il oublie de dire qu’il utilise, non pas une puce mais un système de 8 racks de 9 serveurs comprenant chacun 8 GroqChip, soit un total de 576 puces. Sachant qu’une carte d’accélération de calcul à base de GroqChip coûte 20 000 dollars dans le commerce, cela revient à 11,5 millions de dollars !» Un serveur SGX H100 de Nvidia, intégrant huit puces H100, suffit pour réaliser la même fonction, selon le cabinet SemiAnalysis, alors qu’il «ne coûte» que 350 000 dollars. Comme quoi l’équation économique globale n’est pas nécessairement en faveur de la start-up même si sa puce est moins chère : 650 dollars contre 3200 dollars pour celle de Nvidia selon une étude comparative de SemiAnalysis.
Alors Qroq a-t-elle des chances de tailler des croupières à Nvidia ? «Elle a des atouts de se frayer une place sur le marché si elle parvient à augmenter ses volumes pour amortir ses coûts de développement, estime Marc Duranton. Mais elle n’est pas seule sur les puces IA spécialisées pour l’inférence. Il y a d’autres start-up comme Cerebras, Graphcore, SambaNova ou Havana Labs, rachetée en 2019 par Intel. Les géants de l’Internet comme Google, Amazon ou Microsoft font aussi la même chose. La seule différence c’est que leurs puces spécialisées sont réservées à leurs usages internes. On ne peut donc pas les acheter.»
Plus de 190 start-up engagées dans le développement de puces IA dans le monde
Selon le cabinet IDTechEx, l’inférence devrait représenter les deux tiers du marché des puces IA, estimé à près de 300 milliards de dollars à l’horizon 2034. Elle représente le segment de marché le plus ouvert à de nouveaux concurrents comme les start-up, alors que Nvidia domine allégrement le segment de l’entraînement des modèles d’IA dans les datacenters.
Une étude du fonds d'investissement Woodside Capital Partners, publiée en mars 2023, recense plus de 190 start-ups dans le monde développant des puces IA. Elles revendiquent toutes des innovations révolutionnaires. Mais aucune n'a réussi à percer réellement et ce malgré des fonds levés conséquents qui atteignent 1,1 milliard de dollars pour SambaNova, 723 millions de dollars pour Cerebras ou encore 713 millions de dollars pour Graphcore.
