L’art du prompt pour le professionnel de l’information

• Un deuxième niveau beaucoup plus complexe qui correspond plus à ce qui est demandé dans tous ces nouveaux postes de « prompt engineers » et qui s’adresse en réalité à des développeurs. Il y a tout un côté test, optimisation, automatisation, création de modèles de machine learning qui nécessite de vraies compétences en développement Web. Nous laisserons de côté cet aspect dans cet article car ce n’est pas quelque chose sur lequel les professionnels de l’information vont pouvoir se positionner facilement.

Résumé des méthodes préconisées par les experts «autoproclamés»

Pour comprendre comment réaliser le meilleur prompt possible, nous avons consulté de multiples articles, billets de blogs, posts sur les réseaux sociaux, guides, livres blancs, infographies, vidéos et formations gratuites.

Il ressort de nos lectures qu’il existe une trame commune pour réaliser un prompt efficace :

1. 1. Indiquer le rôle que l’on souhaite donner à l’IA générative. Veut-on qu’elle agisse comme un analyste, un pro de l’information, un professeur, un journaliste, un statisticien, etc. ? avec la commande « Agis comme … » ou « act as … » en anglais.
   2. Contexte et objectifs
      Il faut ensuite expliquer à l’IA le pourquoi de notre utilisation de l’IA en lui donnant les éléments de contexte lui permettant de comprendre le mieux possible notre besoin mais aussi les objectifs visés (convaincre, se documenter, créer, etc.).
      L’idée est donc de faire un petit brief à l’IA avec par exemple des informations de base, des exemples mais aussi le public cible, etc.
   3. Tâches et instructions
      On va ensuite lui expliquer précisément ce qu’il doit faire en lui expliquant les différentes étapes qu’il va devoir accomplir.
   4.  Format, réponse souhaitée et limites
      On termine avec le livrable que l’IA va nous fournir tels que le format souhaité (tableau, billet de blog, liste à puces, etc.), des limites et contraintes comme par exemple des mots-clés à absolument utiliser, une taille de contenu à ne pas dépasser, une tonalité précise, etc.

Il y a également d’autres éléments, moins fréquemment cités mais poten­tiellement intéressants, que l’on peut inclure à son prompt :

• Demander à l’IA de donner des cita­tions et de citer des sources

Même s’il est capable d’en inventer comme nous avons pu le voir dans l’article "La revue des moteurs de recherche à l’heure de ChatGPT", Bases N° 413 - avril 2023. ;

• Donner des exemples pour que l’IA comprenne mieux nos attentes ;
• Demander à l’outil de nous expliquer ce qu’il a compris de notre prompt pour vérifier qu’il a vraiment compris notre besoin ;
• Demander à l’IA d’améliorer notre prompt ;
• Demander à ChatGPT (car il n’est sûr que cela fonctionne chez les con­currents) d’ajuster sa température, une mesure de fiabilité pour insister soit sur le côté conservateur ou à l’inverse le côté plus créatif. La température peut varier entre 0 et 1. Entre 0.1 et 0.3, ChatGPT sera plus conservateur et plus cohérent, entre 0.4 et 0.6, il essaye d’avoir un équilibre entre créativité et cohérence et entre 0.7 et 1, il devient hautement créatif mais peut aussi beaucoup plus « halluciner » ;
• Mettre les contenus, la matière que l’on souhaite injecter à l’IA entre guillemets pour qu’il la repère mieux.

Nous avons ensuite remarqué qu’il coexistait deux écoles quant à la façon de communiquer ce prompt idéal à l’IA :

• Il y a d’un côté les partisans de la construction de prompt en amont et en un seul bloc. L’équivalent de longues requêtes booléennes construites dans un fichier Excel que l’on copie/collera ensuite dans le serveur ou la base de données. Le temps de création avant de se rendre sur l’IA y est conséquent ;
• Il y a de l’autre, les partisans de l’ incremental prompting et donc du prompt progressif où l’on ne donne pas tout à l’IA d’un seul coup mais l’on ajuste en fonction des résultats et réponses fournies. On commence avec un prompt court et l’on poursuit dans un mode conversationnel.

Au cours de nos lectures, nous avons pu constater que la première approche était plébiscitée lors des premiers mois de ChatGPT mais que depuis les mois d’avril/mai, c’était plutôt la deuxième approche qui recueillait le plus de suffrages car elle est devenue plus efficace.

Réussir un bon prompt dans la pratique

Nos tests

Nous avons testé ChatGPT et ses concurrents directs Claude et Perplexity avec différents types de prompts (basiques, complexes entrés en un seul coup et court auquel nous ajoutons progressivement des commandes dans un mode conversationnel).

Nous avons choisi des tâches pour lesquelles l’IA peut avoir une vraie valeur ajoutée :

• Le brainstorming pour nous aider à trouver et structurer un plan pour une étude de marché sur les outils et plateformes de veille sur le marché français ;
• L’extraction de données (extraire des noms d’outils d’un très long article en ligne et les intégrer dans un tableau avec leurs URLs) ;
• Et sur de la création de contenus pour les réseaux sociaux (promouvoir un article de presse sur LinkedIn).

Nos constats

Ce qui fonctionne réellement

1. Entrer un premier prompt plutôt court et efficace suivi d’allers-retours avec l’IA sur un mode conversationnel

On a d’ailleurs intérêt à se laisser le temps de la réflexion en amont pour pouvoir communiquer de la manière la plus claire et la plus précise possible ses besoins à l’IA, comme on le ferait avec des humains.

Ces constats sont d’ailleurs partagés avec les professionnels de l’information avec lesquels nous avons discuté. Ils nous ont confirmé qu’en quelques mois, la façon d’interroger ChatGPT avait évolué et qu’il fallait aujourd’hui privilégier le dialogue avec l’outil jusqu’à obtenir ce que l’on souhaite.

2. Ne mettre qu’une seule tâche par prompt

Quand on en met plusieurs, ils ont tendance à faire un choix et n’en traiter qu’une seule au hasard apparemment…

3. Décomposer le travail demandé aux IA en petites tâches ne demandant pas l’ingestion d’un trop gros volume de données.

De la même manière que vous ne donneriez jamais un projet de veille à gérer de A à Z à un stagiaire ou à votre collègue débutant avec pour seule consigne « met en place une veille sur le thème de l’hydrogène », il faut décomposer votre process et accompagner ChatGPT tout au long du processus (voir notre encadré "exemple" sur la page suivante). Les IA qui promettaient d’être capable de réaliser en autonomie des tâches de A à Z comme AutoGPT s’avèrent finalement très décevantes avec une tâche certes réalisée de A à Z mais un résultat très médiocre.

EXEMPLE

Nous avons demandé à ChatGPT d’extraire tous les noms d’outils cités dans un article de Maddyness sur les startups (il y en avait plus de 300 !) pour les intégrer ensuite dans un fichier Excel. ChatGPT n’ayant pas accès au Web, nous copions collons le texte intégral de l’article dans le prompt et de fait nous perdons tous les liens URLS.

ChatGPT réussit avec brio l’extraction et comme dans l’article, les outils sont classés par catégories, ChatGPT récupère cette catégorisation et nous propose donc un résultat avec la forme suivante :

• Catégorie 1 : outil 1, outil 2, outil 3
• Catégorie 2 : outil 1, outil 2

Figure 1. Extraction de nom d’outils d’un article avec ChatGPT

Nous lui demandons ensuite de mettre tout cela dans un tableau, puis d’ajouter une colonne où il mettra toutes les URLs de ces différents outils. Il ne nous restera ensuite qu’à copier-coller cela dans un fichier Excel. Mais plus les étapes avancent, plus le nombre d’outils présents dans le tableau semble diminuer et la dernière version du tableau est en réalité composée uniquement d’outils qui existent certes mais ne sont absolument pas nommés dans l’article initial.

Figure 2. Mise en forme dans un tableau avec ChatGPT

Il y a donc un moment où ChatGPT a perdu le fil et s’est donc mis à inventer tout le contenu…

Nous sommes donc repartis de l’extraction de départ où il avait proposé une liste textuelle avec les noms des outils. Nous avons copié-collé les noms des outils de la première catégorie (80 tout de même), lui avons demandé de faire un tableau puis d’ajouter les URLs. Cette fois-ci pas de mauvaise surprise, les outils cités sont les bons et les URLs citées également. Nous avons ensuite refait la même chose catégorie par catégorie. C’est plus long de notre côté mais le résultat est cette fois-ci satisfaisant.

4. Donner le contexte, les objectifs, le format souhaité et les limites

Fournir des exemples à l’IA lui permet dans la plupart des cas de mieux comprendre le besoin de l’internaute et de proposer un résultat adapté. Mais à l’inverse, il va être moins créatif car plus bridé.

5. Demander aux outils d’améliorer leur propre prompt

Lors de nos tests, cela pouvait parfois produire des résultats meilleurs mais ce n’était pas systématique.

6. Lourdement insister quand l’IA ne respecte pas ou a oublié une partie de la consigne.

Lors de nos discussions avec des pro de l’info, il nous a été recommandé d’utiliser des expressions comme « en strictement 150 mots maximum » si on a une limite de taille, « en mettant l’accent sur » pour le pousser à insister sur certains aspects. Quand on a des doutes sur les contenus, il ne faut pas non plus hésiter à lui rappeler qu’on ne souhaite pas qu’il invente avec des expressions comme « en précisant si l’information est disponible », « n’invente pas si tu ne sais pas », etc.

7. Quand l’IA produit un résultat satisfaisant (pour du résumé automatique ou de la traduction par exemple), repartir de là et lui demander de faire la même chose avec d’autres contenus avec des expressions comme « Fais de même avec xxx » par exemple. On peut aussi lui signaler avec le pouce en l’air que le résultat est satisfaisant, ce qui l’aidera à s’améliorer.

Ce qui ne fonctionne pas, plus ou mal

1. 1. La notion de rôle n’apporte pas grand-chose
      Cela nous a été confirmé par nos discussions avec des pro de l’info qui ont remarqué que le jeu de rôle ne semble plus avoir aucun impact sur les réponses depuis le début du mois de mai ;
   2. La notion de température ne change pas fondamentalement la réponse.

Il s’agit peut-être là aussi d’une fonctionnalité qui a arrêté de fonctionner avec le temps.

Notre bilan à ce stade

Dans la quasi-totalité des cas, ChatGPT s’avère plus facile à intégrer à sa pratique que Claude et Perplexity. Claude produit des résultats inté­ressants mais il est tellement limité (trois messages par jour) qu’il est prati­quement inutilisable dans un contexte professionnel. Perplexity quant à lui est finalement plus proche d’un moteur de recherche dopé à l’IA que d’un assistant et s’avère plutôt moyen sur l’ensemble des tâches que nous lui avons données. On conseillera donc de se concentrer surtout sur ChatGPT et d’utiliser les autres quand ChatGPT n’est pas à la hauteur.

Quant au prompt, on se rend compte qu’il y une différence non négligeable entre ce que recommandent tous les experts autoproclamés de ChatGPT et la réalité du terrain, un peu comme si les méthodes recommandées étaient déjà en partie dépassées.

La qualité du prompt peut avoir un impact sur les résultats et il est donc important de maîtriser cette technique. Mais on retiendra également que ce n’est pas parce que le résultat n’est pas satisfaisant que le prompt est nécessairement mauvais. Ces nouveaux outils ne sont pas magiques et ne sont tout simplement pas conçus et capables de réaliser toutes les tâches.

Et quelle que soit la qualité du prompt, il y a toujours un risque d’hallucination, d’invention. Il faut donc toujours vérifier les contenus et ne jamais lui faire complètement confiance.

On retiendra également que l’IA a des jours avec et des jours sans. Tous ces outils ont une grande instabilité et peuvent produire des résultats de qualités très différentes d’un jour à l’autre. Il y a d’ailleurs des fonctionnalités disponibles certains jours mais pas d’autres, comme les bibliothèques de prompts par exemple.

Il faudra enfin rester en veille cons­tante car les IA génératives évoluent très vite et ce qui fonctionne à un instant T ne fonctionne plus né­cessairement quelques mois plus tard.