Pagnol ou encore Alfred : ces grands modèles de langage, qui imitent à s’y méprendre une conversation humaine, fleurent bon une certaine culture tricolore. Et pour cause : ils sont l’œuvre de Lighton, petite entreprise à consonance anglophone, certes, mais d’origine française et implantée non loin du parc Montsouris, dans le 14e arrondissement de Paris. Cette deeptech parisienne compte bien se frotter aux titans du numérique, les Google, Meta, OpenAI et compagnie, précurseurs des IA génératives dont ChatGPT est devenu l’un des symboles.
« Nous sommes parmi la dizaine d’acteurs dans le monde qui savons développer des LLM (large language models, ndlr) de grande taille en partant de zéro », confirme Laurent Daudet, pdg et cofondateur de Lighton. Ce physicien de formation, diplômé de l’Ecole normale supérieure, décrit les ressorts d’une telle compétence : « Cela signifie récupérer les données à grande échelle, les filtrer pour éliminer le contenu indésirable, les dédupliquer… En somme, toute la préparation des données, ou tokénisation. Nous réalisons aussi de l’entraînement distribué de ces modèles sur des supercalculateurs européens ainsi que leur fine tuning (réglage fin, ndlr) si besoin. Les LLM requièrent en effet un alignement pour mieux comprendre les instructions (appelés aussi invites ou prompts, ndlr) qu’on leur adresse. »
Apprentissage à partir de retours humains
C’est le cas d’Alfred, modèle open source annoncé par Lighton le 31 juillet 2023 et « affiné » à partir du LLM Falcon, fort de 40 milliards de paramètres et créé par l’Institut d’innovation technologique d’Abu Dhabi. « Alfred est l’un des premiers LLM open source obtenu grâce à l’apprentissage par renforcement basé sur le retour humain (reinforcement learning from human feedback) », complète Laurent Daudet. L’IA, ici, est entraînée grâce à l’évaluation de son comportement par des humains.
Toujours dans le registre technologique, la deeptech exploite des architectures classiques de type Transformer - l’invention de Google en 2017 qui a impulsé l’IA générative. Mais elle a mis au point un code propriétaire pour optimiser l’exécution du calcul distribué nécessaire au fonctionnement du LLM, que ce soit durant la phase d’apprentissage ou l’inférence.
Un projet en cours dans le secteur médical
Depuis le lancement de Pagnol en mai 2021, « le premier LLM de classe GPT 3 (comportant 1,5 milliard de paramètres) uniquement en langue française », selon Laurent Daudet, Lighton a développé douze modèles en différentes langues. Actuellement, la deeptech collabore avec un client du secteur médical aux Etats-Unis, sans le nommer.
« Ils apportent leurs données propriétaires et nous, nos techniques d’entraînement, détaille Laurent Daudet. Leur intention est de vendre ce LLM aux hôpitaux confrontés à des pénuries de personnel, pour assister les médecins et les infirmiers. » Une expérimentation est également prévue avec le Conseil régional d’Ile-de-France. Un LLM serait d’un précieux conseil pour guider les personnes intéressées dans le « maquis des subventions publiques », indique Laurent Daudet.
Si les entreprises expriment un intérêt grandissant pour les LLM, c’est qu’elles les considèrent comme la prochaine étape dans l’automatisation de diverses tâches et procédures, avec des gains de productivité et des économies à la clé. « Elles ont peur, à l’instar de Kodak en son temps, de ne pas anticiper une nouvelle rupture technologique », constate Laurent Daudet. Et le mot « rupture » n’est pas galvaudé, à l’en croire : « Si l’on prend l’exemple de l’analyse de commentaires sur les réseaux sociaux, un outil créé en quelques heures avec un modèle de langage généraliste est qualitativement très proche d’un outil spécialisé. »
Moteur de recherche nouvelle génération
Le marketing, le support et la relation client, mais aussi la maintenance et la recherche et développement : autant de métiers qui pourraient tirer profit d’un grand modèle de langage. « La maintenance, qui génère beaucoup de données textuelles, est un énorme cas d’usage dont nous discutons avec les industriels, explique Laurent Daudet. Concernant la R&D, des moteurs de recherche servent aujourd’hui à explorer des bases documentaires à l’aide de mots-clés. Transmettre des requêtes en langage naturel serait plus pratique. »
Mais les clients potentiels sont encore loin d’être familiarisés avec ces puissants outils. D’où l’arrivée au printemps 2023 de la plateforme Paradigm, le deuxième volet des activités de Lighton. « Si le LLM est le moteur de la voiture, Paradigm est tout ce qu’il y a autour », pour reprendre l’analogie de Laurent Daudet.
Ce logiciel, que la deeptech définit comme un copilote, donne la possibilité de gérer le cycle de vie des LLM, ceux de Lighton ou de tiers, dans l’entreprise-cliente. « Il permet de déployer les LLM dans n’importe quel environnement informatique (serveur local, cloud privé ou public…), en fonction de la politique de gouvernance des données, de superviser leur usage, d’accompagner la rédaction des prompts, le prompt engineering étant un nouveau métier méconnu même des grands groupes… », énonce Laurent Daudet. Une dernière fonction un peu « meta », signale-t-il : « On utilise l’IA pour élaborer les bons prompts qui seront ensuite réinjectés dans le modèle d’IA. »
Frédéric Monflier Le prompt engineer (ou ingénieur de requête) Julien Seailles se livre à une démonstration de Paradigm avec le LLM Alfred, qui permet d'automatiser en grande partie les réponses à des emails dans un service de relation client, par exemple. Il sélectionne les critères de succès imaginés par le modèle pour cette tâche et peut ajouter des critères manuellement. Le modèle enrichit ensuite le prompt avec ces critères et crée une instruction générique, avec une partie variable (noms de l'entreprise et la personne, etc.) à renseigner. Le prompt final est partageable avec d'autres utilisateurs, de manière notamment à harmoniser les interactions de l'entreprise avec l'extérieur.
Les résultats des LLM sont également évalués. « Beaucoup de LLM étant disponibles, Paradigm permet de noter leurs sorties, de savoir si celles-ci correspondent aux attentes et donc si le modèle est satisfaisant et peut entrer en production, approfondit Laurent Daudet. Si les performances sont insuffisantes avec le modèle sur étagère, le réglage grâce au feedback humain est envisageable. » Avec le prompting, pour un usage plus efficace des modèles, et l’ingénierie logicielle, pour accélérer les vitesses de calcul, le fine tuning, encore assez empirique, est le principal axe de R&D de Lighton.
Un client du CAC 40
Paradigm et des LLM sous-jacents devraient entrer en service dès cet automne chez un gros client français du CAC 40, dont l'identité est encore gardée secrète. Une levée de fonds se prépare en parallèle, « pour que nous continuions à gagner en crédibilité », lance Laurent Daudet. Qui ajoute que le montant espéré est supérieur à dix millions d’euros, sans autre précision.
