Le prompt engineering, clé de l’IA générative en entreprise

Cest l’« emploi d’avenir », selon le Forum économique mondial, qui, en mai, l’a mis en tête des métiers du futur : « prompt engineer ». Pour d’autres, il faut plutôt parler d’une compétence que chaque métier est voué à intégrer : le « prompt engineering ». Son but ? Tirer le meilleur des grands modèles de langage (LLM), tel celui au cœur de ChatGPT, via la maîtrise des commandes textuelles – les fameux « prompts » – qui leur sont fournies en entrée. Cela suppose tout d’abord d’éviter le pire, tant les LLM, aussi impressionnants soient-ils, sont par construction susceptibles de faire des confusions, de radoter ou d’halluciner.

« En entreprise, on ne veut pas que le LLM aille dans tous les sens et crache des données non pertinentes au cas d’usage, voire de fausses informations ou des données sensibles ou confidentielles », résume Jean-Charles Vasnier, le responsable de l’offre de solutions de Nvidia. « L’ambiguïté est le pire ennemi du prompt engineer », souligne Cameron R. Wolfe, directeur de l’IA à Rebuy Engine, dans sa newsletter Deep (Learning) Focus. Un prompt grammaticalement correct et le plus simple possible dans sa formulation – on préférera par exemple la forme positive à la forme négative – s’impose donc.

Ce principe essentiel en tête, le prompt engineer en herbe peut commencer à s’essayer aux techniques de prompt engineering, qui permettent d’optimiser les réponses. Elles se multiplient et commencent – empiriquement – à faire leurs preuves.

Le « few-shot prompting » est l’une des techniques de base. Il s’agit, au lieu de simplement poser une question au modèle (le « zero-shot prompting »), d’accompagner cette question d’exemples, où la réponse est fournie par l’humain :

D’après une étude d’OpenAI de 2020, les LLM obtiennent un score 20 % meilleur au benchmark SuperGlue avec le few-shot prompting par rapport au zero-shot prompting. Si une grande variété d’exemples améliore les performances, il n’est pas possible de les multiplier à l’envi car les LLM ne prennent en compte qu’une quantité limitée de texte (leur fenêtre de contexte est limitée à quelques milliers de mots en général) parmi l’ensemble formé par la réponse, le prompt et l’historique de conversation.

Une autre technique simple mais efficace est le « role prompting ». Elle consiste à placer le LLM dans un rôle avant de lui poser une question ou de lui demander quelque chose. La littérature scientifique a montré qu’elle permettait d’améliorer les réponses du modèle, notamment dans des domaines techniques tels que l’arithmétique.

Comme pour le few-shot prompting, cela s’explique par le fait qu’assigner un rôle « offre au modèle davantage de contexte, ce qui lui permet de mieux comprendre la question », explique le site LearnPrompting.org.

Utiliser le chain-of-thought prompting pour affiner les résultats

Ces deux techniques se révèlent efficaces pour des cas simples. Mais dès qu’il s’agit de requêtes plus complexes, le role prompting montre ses limites et le few-shot prompting demanderait trop de texte pour améliorer suffisamment les résultats. L’exemple ci-dessous montre ainsi une réponse erronée :

C’est le moment de s’essayer à une approche appelée « l’instruction prompting », consistant à décomposer un problème complexe en sous-problèmes plus simples. Le « chain-of-thought (CoT) prompting », très étudié actuellement, relève de cette approche en faisant procéder le LLM par étapes. Ce qui peut être obtenu en détaillant le raisonnement amenant à une réponse fournie en exemple :

Les principaux types de CoT prompting

• Le « zero-shot CoT » Il s’agit simplement de demander au modèle de « penser étape par étape ».
• Le « self-consistency prompting » Il consiste à demander au modèle de générer plusieurs types de raisonnements et de déduire la réponse la plus souvent donnée.
• Le « least-to-most prompting » Il s’agit de demander au modèle de ne résoudre qu’un sous-problème dans le premier prompt, puis d’utiliser le résultat pour demander de résoudre un deuxième problème dans un deuxième prompt, et ainsi de suite.
• Le « skeleton-of-thought (SoT) prompting » Il s’agit de demander au modèle de résoudre un problème, mais aussi de donner la structure du raisonnement, pour ensuite lui demander d’élaborer sur chaque point.

De nombreuses autres techniques de prompting avancées existent (« knowledge generation prompting », « retrieval augmented generation », « directional stimulus prompting »…), ainsi que des approches combinant plusieurs techniques. Le prompt engineering est un domaine de compétence foncièrement empirique qui évolue très rapidement avec la multitude de personnes qui travaillent dessus. Et qui partagent leurs expériences : rendez-vous en ligne pour suivre l’exploration du langage des machines.