Résoudre les problèmes d'hallucinations de l'IA
L’IA peut inventer des réponses...Une IA qui ne répond qu’à partir des connaissances que l'on lui soumet est la garantie d’une fiabilité quasi sans faille dans ses réponses. Voici quelques pistes pour utiliser l'IA dans cette optique.
Le problème des LLM (comme ChatGPT)
Les outils d’IA nommés LLM (Large Language Models), dont ChatGPT fait partie, répondent prioritairement à partir de leur base de connaissances. D’une part cette dernière peut contenir des sources non fiables et non systématiquement vérifiées, d’autre part, ces LLM peuvent « halluciner », c’est à dire, inventer des réponses sur la base d’une probabilité de réponses qui leur semble cohérente.
Seulement, l’enseignement en général, et celui de l’éducation musicale en particulier, nécessitent une grande rigueur dans le choix des sources employées pour concevoir ses cours. C’est pourquoi, il apparaît essentiel d’échanger avec une IA qui ne répond qu’à partir de sources fiables. Et qui plus est, des sources que l’on choisit de lui soumettre. Cela permet de diminuer considérablement ce taux d’erreurs, de sources non fiables et d’hallucinations.
Mettons le doigt sur le problème en prenant un exemple. Si l’on souhaite co-réfléchir avec l’IA à des façons simples d’expliquer la notion de basse continue à des élèves de 5ème, on peut soumettre des sources musicologiques à l’IA sur le sujet et la questionner ainsi :
« Tu es un enseignant expert de l’enseignement et de l’éducation musicale, propose une façon simple d’expliquer la basse continue à des élèves de 5e (12 ans) dans le cadre d’un cours d’éducation musicale . Répond succinctement ».
Le résultat ne manque pas d’intérêt pédagogique mais montre des faiblesses à certains égards. Il n'est pas fait mention de l'improvisation de l'accompagnement sur la base de la partition notée et chiffrée, ni des instruments associés à cette pratique ou encore de son ancrage dans la musique baroque. On soulignera toutefois que le prompt ne sollicitait pas cet ancrage ni un détail d'instrument pourtant...
Solliciter l’IA avec ses propres sources
Une solution à ce problème consiste donc à alimenter l’IA utilisée avec ses propres sources. La plupart des IA du marché, telles les IA locales dont nous avons déjà parlé par ici, permettent l’ajout de documents comme base de conversation.
Une fois les documents déposés dans le boite de dialogue de l’outil IA, il faudra souvent spécifier au LLM de s’appuyer seulement sur les sources soumises pour répondre, dans le prompt. Voici une proposition identique à la précédente, mais avec la mention de l'appui sur les sources :
"Tu es un enseignant expert de l’enseignement et de l’éducation musicale. À partir du document joint, propose une façon simple d’expliquer la basse continue à des élèves de 5e (12 ans) dans le cadre d’un cours d’éducation musicale . Répond succinctement."
Le résultat devient alors légèrement plus pertinent, car s’appuyant sur des sources fiables et choisies. En effet, la réponse s'ancre dans un contexte plus précis avec la mention d'instruments de l'époque baroque et l'improvisation de cet accompagnement est souligné.
Bien entendu, cette réponse est loin d'être parfaite, au même titre que le prompt, volontairement court pour l'exemple. Le ton et le vocabulaire employés ne sont pas à propos, la basse continue est un accompagnement donc l'exemple cité n'est pas tout à fait valable car présenté comme seul élément de l'oeuvre musicale. Toutefois, cette proposition reste une base de réflexion pour l'enseignant qui se saisira des idées proposées pour alimenter sa créativité pédagogique.
Il reste à se questionner sur le choix des sources, la façon de les collecter à l'heure de l'IA, mais cela fera l'objet d'un futur article !