Les robots humanoïdes dopés à l'IA générative se mettent à l'épreuve dans l'usine

Apollo A1 a été enrôlé en mars par Mercedes-Benz aux États-Unis pour contrôler visuellement et transporter des pièces jusqu’aux lignes d’assemblage des véhicules. Le fait serait anecdotique s’il ne s’agissait pas d’un robot humanoïde. Un mois plus tôt, Figure 01 avait entamé sa carrière chez BMW, en Caroline du Sud, pour se former à des tâches logistiques dans l’atelier de carrosserie et dans l’entrepôt… Des robots à l’apparence humaine partageant nos vies professionnelles, voire familiales : c’est le rêve d’Apptronik et de Figure, les start-up américaines à l’origine d’Apollo A1 et de Figure 01. Depuis la révélation au public d’Optimus en 2022, Tesla nourrit la même ambition. La déferlante vient aussi du Canada, de la Norvège et surtout de la Chine. 

Abstraction faite de spécimens réservés à la recherche, une bonne quinzaine de robots à silhouette humaine se projettent vers un avenir commercial. La justification ? Ces robots humanoïdes à vocation généraliste pourraient remédier à la pénurie de main-d’œuvre, émergente dans les pays occidentaux à la suite des politiques de relocalisation. Ils seraient déjà suffisamment performants pour accomplir certaines tâches répétitives et rébarbatives (porter un carton d’un point A à un point B), qui restaient jusqu’alors le propre de l’homme, car difficilement à portée des solutions d’automatisation traditionnelles.

progrès impressionnants du contrôle et des algorithmes

Les investisseurs, convaincus, font pleuvoir les dollars : Figure a récolté la somme astronomique de 675 millions de dollars au printemps dernier. L’optimisme gagne aussi Goldman Sachs, qui estime que le marché de la robotique humanoïde pèsera 38 milliards de dollars en 2035. Il y a quelques années, les espoirs placés dans la robotique humanoïde avaient pourtant été douchés. Emblèmes de la robotique de service, les Nao et autres Pepper du français Aldebaran n’ont jamais connu un développement commercial probant. Asimo, conçu par Honda, a quant à lui pris sa retraite en 2022… Mais, après les échecs d’hier, l’heure semble être à un optimisme mesuré.

Cela s’explique tout d’abord par les « progrès impressionnants du contrôle pour la marche dynamique, que ce soit dans le registre des algorithmes, de la motorisation et de l’architecture mécanique (…), ainsi qu’à des perfectionnements remarquables des capteurs et des algorithmes de localisation et de planification de trajectoire », note Fabrice Noreils. Ce docteur en robotique, responsable technique à Valeo, est l’auteur de l’étude « Les robots humanoïdes au travail : où en sommes-nous ? », parue en avril sur Arxiv. L’étonnante agilité du G1, le dernier-né du chinois Unitree, lui fait écho et ne coûte que… 16 000 dollars !

L'Intelligence artificielle générative dope la préhension

Mais ce qui enflamme le monde de la robotique depuis deux ans, c’est l’IA générative. Dans une vidéo qui a fait le buzz, Figure 01, assorti du grand modèle de langage (LLM) d’OpenAI (l’un des investisseurs de Figure), fait étalage de capacités surprenantes. On y voit une personne lui demander quelque chose à manger. Il parvient à reconnaître une pomme sur un plan de travail et à s’en saisir pour la lui donner. Un peu plus tard, il range habilement une assiette dans l’égouttoir à côté et se permet de faire des commentaires… Figure 01 est capable d’analyser la situation. Il isole et identifie les objets, détermine les actions exécutables et, selon les instructions, exécute un plan d’actions. Un « raisonnement » dont est responsable un modèle purement statistique, entraîné à partir de données et sans programmation.

Les progrès sont spectaculaires dans le domaine de la manipulation des objets, qui demeure un point dur en robotique. « Il y a dix-huit mois, nous avons adopté des techniques classiques, comme la cinématique inverse [les angles des articulations et les déplacements sont calculés à partir des positions et des orientations fournies, ndlr] et un modèle de vision par IA, pour que notre robot puisse saisir un objet sur une table, explique Matthieu Lapeyre, le président et fondateur de la start-up française Pollen Robotics, qui finalise une deuxième version de son robot Reachy, adaptée à l’industrie. Le travail a duré deux mois. On l’a refait en début d’année en partant sur l’IA générative. Notre robot a rapidement su attraper n’importe quel objet sans apprentissage préalable. »

Vers de grands modèles de comportement à architecture Transformer 

Pour cela, le LLM, qui facilite par ailleurs les interactions homme-machine, est combiné à un VLM, ou modèle de vision-langage, qui confère au robot le sens de la perception. « Le VLM, analysant la scène, offre des capacités de raisonnement spatial et classifie les objets, puis le LLM récupère ces informations pour planifier les actions », précise Fabrice Noreils. L’idée est de créer des grands modèles de comportement, ou LBM (large behavior model). De même que dans les LLM, l’architecture Transformer est au cœur des VLM. Google Deepmind, son inventeur, a été parmi les premiers à explorer son potentiel. 

Son modèle open source RT-1, présenté en 2022, prend en entrée la description de la tâche et les images associées et produit en sortie les actions transmises aux contrôleurs du robot. Son entraînement a mobilisé une flotte de 13 robots, enfermés durant dix-sept mois dans une cuisine pour manipuler divers objets, ouvrir et fermer des tiroirs… Ces bras robotiques sur base mobile sont plus rudimentaires qu’un robot humanoïde bipède, mais le principe est là. La démarche a permis de collecter quelque 130 000 « opérations » robotiques. Et les résultats sont au rendez-vous : RT-1 montre entre autres d’excellentes capacités à généraliser des actions à partir de nouvelles instructions. 

Du Pick-and-place à l’assemblage complexe

Google a récidivé l’an dernier avec RT-2, un modèle plus évolué, pré-entraîné à partir des données du web (images et textes). RT-2 forme un seul modèle, un VLAM, ou modèle de vision-langage-action, qui établit la correspondance entre instructions et actions. Dans son étude, Fabrice Noreils aborde une autre approche, fondée sur les modèles de diffusion (à l’instar de Dall-E pour la génération d’images). « La plus prometteuse », selon lui. La piste est explorée par le Toyota Research Institute. Dans une vidéo, on peut voir deux bras robotiques qui réalisent des actions assez complexes – du moins pour un robot –, comme tartiner une biscotte ou battre un œuf avec un batteur. L’apprentissage, rapide, requiert un humain qui télé-opère le robot.

Le voyage vers l’IA incarnée a commencé. « Après le pick and place, qui a profité des progrès de la vision par ordinateur, la prochaine étape consistera à mettre en œuvre des opérations d’assemblage complexe, prévoit Tilman Buchner, partenaire et directeur au Boston Consulting Group. Le perfectionnement des techniques de simulation offre les outils nécessaires à cet effet. Cette étape est une condition nécessaire à l’apprentissage de concepts. À ce stade, on parlera de robotique cognitive. »

Construction d'IA démocratisée

Comme dans bien d’autres secteurs, les outils se multiplient et, a fortiori quand ils sont open source, démocratisent la « construction » des IA. Nvidia a ainsi récemment lancé le projet Groot, une plateforme pour entraîner une IA générative spécifique à la robotique humanoïde. Mais l’apprentissage requiert beaucoup de données de nature robotique, quasiment absentes du web. Pour compenser, l’industriel devrait produire des images synthétiques, capter des images sur le web, télé-opérer le robot… « Un processus long et coûteux », indique Fabrice Noreils. 

De nombreuses autres problématiques se font jour, relatives notamment à l’autonomie (quelques heures aujourd’hui) et au danger que peut faire courir un robot de 80 kilos évoluant parmi les humains… Rien ne dit, enfin, qu’un robot « augmenté » par ChatGPT puisse un jour atteindre le taux de succès minimum de 99 % imposé par les industriels.