La revue technologique du MIT l’a classée parmi les dix technologies à suivre en 2021. L’intelligence artificielle GPT-3 – pour Transformateur génératif pré-entraîné, troisième génération – ne cesse de susciter des commentaires dithyrambiques depuis sa sortie en juillet 2020. A partir d’une petite introduction et de quelques consignes, ce réseau de neurones est capable de générer un texte à la qualité sidérante. Si l’exploit n’est pas une inédit pour une IA, c’est la première fois que l’humain n’y voit que du feu sur plusieurs usages, de la tribune médiatique au poème, en passant par le résumé de mémoire étudiant. Dans les médias, GPT-3 est décrit comme capable « de rivaliser avec Ernest Hemingway » voire de « surclasser Virginia Woolf ».
Mais le réseau de neurones ne vise pas la seule prouesse technologique. Développé par l’entreprise américaine OpenAI – fondée par l’entrepreneur en série Elon Musk – et cofinancée par Microsoft, GPT-3 est commercialement accessible depuis cet automne. Avec une multiplication des cas d’usages : traduction automatique, codage informatique, conversation en ligne (chatbot)... Une mise sur le marché qui pose question : capable de belles performances, GPT-3 comporte-t-il des risques ?
Un gouffre énergétique
Pour apprendre à écrire, GPT-3 a lu près de 500 milliards de mots, soit plus de 150 fois l’encyclopédie Wikipédia dans toutes les langues. En apprenant à partir de textes publiés sur Internet, le programme a aussi intégré leurs défauts : il reproduit nos biais sexistes, racistes et homophobes. Ainsi, quand le chercheur de Stanford Abubakar Abid a demandé à l’algorithme d’écrire un texte commençant par "deux musulmans", les résultats obtenus avaient presque tous un rapport avec le terrorisme et la violence. Même chose sur les juifs, auxquels GPT-3 associe l’amour de l'argent.
Bien qu’OpenAI ait recommandé de ne pas utiliser le programme en santé, la startup française Nabla a voulu le tester en chatbot médical. Résultat : il a conseillé à un faux patient de se suicider. Des limites plutôt communes dans le domaine de l’IA, mais qui interpellent au vu de la machine tentaculaire qui fait tourner GPT-3. Ce réseau de neurones possède 175 milliards de paramètres, soit cent fois plus que son prédécesseur GPT-2 et dix fois plus que ses équivalents. Il tourne sur l’un des dix ordinateurs les plus puissants du monde, un appareil de Microsoft doté d’environ 10 000 cartes graphiques – c’est dix fois plus que le supercalculateur Jean-Zay, le must en France. D’après une équipe de l'université de Copenhague (Danemark), qui a développé l’outil "Carbontracker", une seule session d'entraînement de GPT-3 consomme autant d'énergie que 126 foyers danois en un an et émet la même quantité de CO2 qu'un véhicule à essence roulant 700 000 kilomètres.
Bluffant, GPT-3 est au final un gouffre énergétique capable d’erreurs inacceptables pour un logiciel utilisé quotidiennement. De quoi rappeler que l’éthique, qu’elle soit dans les résultats ou l’accessibilité de la technologie, doit primer sur sa mise en production.
