Kyutai : le laboratoire d’initiative privée entièrement voué à la recherche scientifique sur l’intelligence artificielle, dont Iliad avait fait discrètement mention il y a quelques semaines, est désormais connu.
Son existence a été officialisée ce vendredi 17 novembre 2023 au campus Station F, à Paris, en présence de plusieurs centaines d’invités et de ses trois principaux fondateurs : Xavier Niel, président du groupe Iliad, Rodolphe Saadé, qui dirige CGA-GGM (Compagnie générale d’affrètement – Compagnie générale maritime) et Eric Schmidt, ex-PDG de Google, à la tête de l’entreprise philanthropique Schmidt Futures.
Une mise initiale proche de 300 millions d'euros
Les deux premiers ont chacun misé 100 millions d’euros. Si les sommes versées par Schmidt Futures et d'autres mécènes ne sont pas précisées, le total des fonds alloués au laboratoire Kyutai se situe entre 250 et 300 millions d’euros selon Xavier Niel. Les investisseurs supplémentaires sont les « bienvenus », indique Rodolphe Saadé, « car les montants investis dans l’IA doivent être importants pour que les résultats soient là. »
Fondation à but non lucratif, le laboratoire Kuytai doit « permettre (aux chercheurs) de pratiquer de la science ouverte (open science) et de publier leurs recherches », commente Xavier Niel, se référant aux Gafam qui « tolèrent de moins en moins les publications scientifiques. »
Xavier Niel, qui assurera la présidence de cette structure durant la première année, fait part de son cheval de bataille : « Des algorithmes et des modèles d’IA inventés ici, en Europe et en France, avec nos spécificités, des choses qui nous correspondent plus. » Un discours qui critique la domination scientifique et culturelle des Etats-Unis dans la discipline.
Un grand modèle construit de zéro
Formés dans les grandes écoles et instituts français (Inria, Polytechnique, Centrale…) et ayant pour la plupart roulé leur bosse chez les Gafam (Facebook/Meta, Deepmind…), les six premiers chercheurs enrôlés n’auront pas de visée applicative et se concentreront sur des avancées fondamentales, en particulier sur les grands modèles de langage (LLM) et l’IA générative.
« Un de nos premiers buts sera de construire un modèle d’IA à partir de zéro, confirme Edouard Grave, un ancien d’Apple et de Facebook. La raison, c’est qu’on veut faire de la recherche fondamentale sur ces modèles, ce qui signifie de pouvoir intervenir à tout niveau - durant la phase d’apprentissage, l’affinage (fine tuning), etc. – et de maîtriser l’ensemble technique. On a pas mal d’expérience sur le sujet. »
A très court terme, l’équipe indique qu’elle va se reposer sur « ce qui marche déjà » mais souhaite explorer plusieurs pistes de recherche, comme l’augmentation de ces modèles d’IA avec des moteurs de recherche et des interpréteurs Python, ainsi que la multimodalité (combinaison de plusieurs types de données : textes, images, sons…)
Ambitieux, les chercheurs ont l’intention de proposer des alternatives à l’architecture Transformer, créée par Google en 2017 pour Google Trad, et qui sous-tend aujourd’hui les grands modèles de langage.
En conformité avec le principe de la science ouverte, leurs travaux seront rendus publics de façon intégrale. « On partagera à la fois le code source du modèle, mais aussi le code source de l’entraînement, un processus souvent gardé secret », confie Edouard Grave.
Faire aussi bien que le français Mistral.ai
Les modèles d’IA fruits de ces recherches seront donc mis à disposition de la communauté scientifique et des entreprises. Laurent Mazaré, qui a travaillé chez Deepmind, cite comme source d’inspiration la deeptech française Mistral.ai, qui a lancé son grand modèle de langage, fort de 7 milliards de paramètres, en septembre dernier : « La communauté a pu s’emparer de ce modèle et l’affiner ».
En pratique, ces chercheurs auront un accès privilégié aux supercalculateurs IA mis en place par Scaleway, filiale cloud du groupe Iliad. Mais ils pourront se servir d’autres ressources matérielles si nécessaire.
Le laboratoire Kyutai est implanté à Paris. Dans l’attente de locaux définitifs, il occupe temporairement un bâtiment mis à disposition par Xavier Niel. Il est question d’une vingtaine de permanents à terme. Les futurs doctorants et postdoctorants seront accueillis en partenariat avec le milieu académique.
