Une réponse de ChatGPT paraît vraie : comment vérifier si elle est fausse ?

Une réponse peut être claire, bien structurée et totalement fausse. C’est précisément ce qui rend certaines erreurs d’une IA difficiles à repérer : elles ressemblent davantage à une explication professionnelle qu’à une invention évidente.

Le NIST appelle « confabulation » la production d’un contenu erroné présenté avec assurance. La CNIL rappelle également que les systèmes génératifs peuvent fournir des résultats inexacts qui paraissent plausibles. Une belle formulation n’est donc jamais une preuve.

Conclusion immédiate — Ne cherchez pas d’abord si la réponse « a l’air logique ». Isolez ses affirmations vérifiables, demandez les sources exactes, ouvrez-les et contrôlez qu’elles prouvent réellement ce qui est écrit.

Pourquoi une réponse fausse peut sembler crédible#

Un modèle de langage produit une suite de mots probable à partir de votre demande et de son contexte. Il ne consulte pas automatiquement une base de vérité pour chaque phrase.

Cela lui permet de rédiger rapidement une explication fluide, mais aussi de :

• compléter une information manquante avec une hypothèse ;
• mélanger deux règles proches ;
• attribuer une idée à la mauvaise source ;
• citer un document réel qui ne prouve pas la conclusion ;
• inventer un titre, une date ou un lien plausible ;
• présenter une ancienne information comme si elle était encore actuelle ;
• choisir une réponse au lieu de reconnaître son incertitude.

OpenAI explique que les méthodes classiques d’entraînement et d’évaluation peuvent encourager les modèles à deviner plutôt qu’à admettre qu’ils ne savent pas. Le ton assuré d’une réponse ne mesure donc pas sa fiabilité.

Le premier réflexe : séparer les faits des conseils#

Prenons cette réponse fictive :

« À partir de janvier 2027, toutes les petites entreprises françaises devront utiliser un logiciel certifié pour chaque facture, sous peine d’une amende automatique de 1 500 €. »

Une seule phrase contient au moins cinq affirmations différentes :

1. une obligation existe ;
2. elle commence en janvier 2027 ;
3. elle concerne toutes les petites entreprises ;
4. elle exige un logiciel certifié ;
5. une amende automatique de 1 500 € est prévue.

Ne vérifiez pas la phrase en bloc. Transformez-la en petites affirmations indépendantes. Une réponse peut être correcte sur la réforme générale et fausse sur la date, le périmètre ou la sanction.

Utilisez ce tableau :

Cette décomposition empêche une information globalement plausible de masquer plusieurs détails inventés.

Les sept contrôles à faire#

1. Repérez ce qui peut être vérifié#

Surlignez mentalement ou réellement :

• les chiffres ;
• les dates ;
• les noms de lois, d’études ou de fonctions ;
• les citations ;
• les conditions d’éligibilité ;
• les comparaisons ;
• les mots absolus comme « toujours », « obligatoire », « garanti » ou « aucun risque ».

Ce sont les éléments qui méritent une preuve. Une phrase d’opinion comme « cette méthode est plus confortable » ne se vérifie pas de la même manière qu’une date réglementaire.

2. Demandez une source précise pour chaque affirmation#

Une demande vague produit souvent une bibliographie décorative. Demandez une correspondance explicite entre affirmation et source.

Découpe ta réponse en affirmations factuelles vérifiables.

Pour chacune, indique :
- l’affirmation exacte ;
- la source primaire ou officielle qui la soutient ;
- le lien direct ;
- la date de publication ou de mise à jour ;
- le passage ou la section utile ;
- ce que la source ne permet pas de conclure.

Si tu ne peux pas fournir une preuve vérifiable, écris « non vérifié ».
N’invente ni titre, ni auteur, ni lien.

Cette consigne ne rend pas automatiquement la réponse vraie. Elle rend simplement les zones fragiles plus visibles.

3. Ouvrez réellement les liens#

Un lien affiché ne vaut rien tant que vous ne l’avez pas ouvert.

Vérifiez :

• que la page existe ;
• que le domaine appartient bien à l’organisme annoncé ;
• que le titre correspond ;
• que la date est compatible avec la question ;
• que le passage cité se trouve réellement dans la page ;
• que la source parle bien du même pays, du même produit ou de la même version.

Méfiez-vous d’un lien vers une page d’accueil, un résultat de recherche ou un document très général utilisé pour justifier une affirmation précise.

4. Contrôlez que la source prouve la conclusion#

C’est l’erreur la plus discrète. La source peut être réelle, mais la conclusion peut aller plus loin.

Exemple :

• la source dit : « certains utilisateurs peuvent bénéficier de la fonction » ;
• la réponse dit : « la fonction est disponible pour tous ».

Le document existe, le sujet est le bon, mais le périmètre a été élargi sans preuve.

Posez trois questions :

1. La source affirme-t-elle exactement la même chose ?
2. Les conditions et exceptions ont-elles été conservées ?
3. La réponse transforme-t-elle une possibilité en certitude ?

5. Vérifiez la date, la version et le territoire#

Une information peut avoir été vraie et ne plus l’être.

Ajoutez toujours le contexte utile :

• pays ou juridiction ;
• date de consultation ;
• version du logiciel ou du modèle ;
• type de compte ou d’abonnement ;
• catégorie d’entreprise ;
• période couverte par les données.

Pour un logiciel, cherchez sa documentation officielle actuelle. Pour une règle française, privilégiez les sites de l’administration et les textes en vigueur. Pour une étude, consultez la publication originale plutôt qu’un résumé sans date.

6. Cherchez une deuxième source indépendante#

Une deuxième source est particulièrement utile lorsqu’une décision entraîne du temps, de l’argent ou un engagement important.

Elle doit être indépendante de la première. Deux articles qui recopient le même communiqué ne constituent pas deux confirmations.

Bon ordre de recherche :

1. texte, étude ou documentation d’origine ;
2. organisme public ou autorité compétente ;
3. documentation du fournisseur concerné ;
4. analyse secondaire reconnue pour comprendre le contexte.

Si les sources se contredisent, ne demandez pas à l’IA de choisir silencieusement. Faites afficher la différence de date, de définition ou de périmètre.

7. Exigez un verdict nuancé#

À la fin, classez chaque affirmation :

• confirmée : une source fiable la soutient directement ;
• fausse : une source fiable la contredit ;
• incomplète : elle oublie une condition importante ;
• périmée : elle était vraie dans une version ou à une date antérieure ;
• non vérifiable : aucune preuve suffisante n’a été trouvée.

Le verdict « non vérifiable » est utile. Il évite de transformer une absence de preuve en validation.

Un prompt complet pour contrôler une réponse#

Copiez la réponse à examiner et utilisez cette consigne :

Tu vas auditer la réponse ci-dessous, pas la défendre.

1. Extrais toutes les affirmations factuelles.
2. Sépare les chiffres, dates, règles, noms propres et citations.
3. Pour chaque affirmation, indique la source primaire ou officielle nécessaire.
4. Si tu as accès au Web, fournis un lien direct et la date de la source.
5. Explique en une phrase ce que la source prouve exactement.
6. Signale tout écart de date, de version, de territoire ou de périmètre.
7. Classe chaque affirmation : confirmée, fausse, incomplète, périmée ou non vérifiable.
8. Termine par une version corrigée qui ne conserve que les éléments prouvés.

Règles :
- n’invente aucune source ;
- n’utilise pas le ton de la réponse comme indice de fiabilité ;
- écris « non vérifié » quand la preuve manque ;
- distingue clairement les faits des conseils.

RÉPONSE À AUDITER :
[COLLER LA RÉPONSE]

Même avec ce prompt, ouvrez les sources vous-même. Demander à une IA d’évaluer sa propre réponse est un premier filtre, pas un contrôle indépendant.

Les signaux qui doivent vous ralentir#

Une erreur n’a pas toujours un signe visible. Certains indices justifient néanmoins une vérification renforcée :

Un chiffre très précis sans origine#

« 83 % des entreprises » paraît plus sérieux que « beaucoup d’entreprises ». Sans étude, échantillon, date et définition, la précision peut être artificielle.

Une citation parfaite mais introuvable#

Recherchez quelques mots de la citation dans la source annoncée. Une reformulation ne doit pas être présentée entre guillemets comme une citation exacte.

Une règle sans territoire ni date#

« La loi oblige… » ne suffit pas. Quelle loi, dans quel pays, pour qui et depuis quand ?

Une liste de sources arrivée après coup#

Si les références n’étaient pas utilisées pour produire la première réponse, le modèle peut chercher des pages proches pour la justifier ensuite. Vérifiez chaque correspondance.

Une réponse qui évite la question#

Une explication générale peut être correcte tout en ne répondant pas au point demandé. Comparez la conclusion à votre question initiale.

Une certitude qui ne laisse aucune place aux exceptions#

Plus le sujet comporte de conditions, plus une réponse absolue mérite d’être contrôlée.

Trois niveaux de vérification selon l’enjeu#

Toutes les réponses ne nécessitent pas la même enquête.

Vérification rapide#

Pour une idée de repas, un brouillon ou une reformulation :

• relire ;
• vérifier les noms et chiffres ;
• corriger avec votre propre contexte.

Vérification normale#

Pour un achat, une publication, une procédure ou une décision professionnelle :

• ouvrir les sources ;
• contrôler les dates ;
• comparer les affirmations ;
• obtenir une deuxième confirmation si nécessaire.

Vérification renforcée#

Pour un sujet juridique, médical, financier, de sécurité ou une décision difficilement réversible :

• partir des sources officielles ;
• vérifier la version en vigueur ;
• conserver les preuves consultées ;
• faire valider par la personne compétente lorsque la décision l’exige.

L’objectif n’est pas de ne plus utiliser l’IA. Il est d’adapter l’effort de contrôle aux conséquences d’une erreur.

Exemple : vérifier une recommandation logicielle#

L’IA affirme :

« Cet outil est gratuit, fonctionne hors ligne et ne conserve aucune donnée. »

Décomposez :

Vous pouvez découvrir que l’outil est gratuit pour un usage limité, qu’il nécessite Internet pour l’activation et que certains diagnostics sont envoyés par défaut. La recommandation n’était pas totalement fausse, mais elle était trop générale pour guider une décision.

Créez une petite fiche de preuve#

Pour une information que vous allez réutiliser, conservez :

• la question ;
• l’affirmation retenue ;
• le lien officiel ;
• la date de consultation ;
• la phrase ou section utile ;
• les conditions et exceptions ;
• votre verdict.

Cette fiche évite de refaire toute la recherche et permet de détecter plus tard qu’une règle ou une fonction a changé.

Ce que l’IA fait bien dans cette méthode#

L’assistant reste très utile pour :

• extraire les affirmations d’un long texte ;
• créer le tableau de contrôle ;
• comparer deux documents que vous lui fournissez ;
• faire ressortir les différences de version ;
• reformuler une conclusion sans dépasser les preuves ;
• préparer une liste de questions à poser à un expert.

Il devient moins fiable lorsqu’on lui demande à la fois d’inventer la réponse, de choisir les sources et de certifier sa propre conclusion sans contrôle extérieur.

Le NIST recommande d’intégrer l’évaluation et la vérification dans l’usage des systèmes génératifs. Concrètement, cela signifie que le contrôle n’est pas une étape facultative ajoutée à la fin : il fait partie du travail.

La règle à retenir#

Une réponse crédible doit survivre à quatre questions :

1. Qu’affirme-t-elle exactement ?
2. Quelle source le prouve ?
3. La source dit-elle réellement la même chose ?
4. L’information est-elle encore valable dans mon contexte ?

Si une de ces réponses manque, ne transformez pas la phrase en décision.

Pour aller plus loin, consultez aussi la méthode simple pour vérifier une réponse IA sans être expert. L’IA peut vous faire gagner beaucoup de temps, à condition de ne jamais confondre fluidité, confiance et preuve.