Guides pratiques approfondis

Vérifier une synthèse IA avant de l’utiliser

Relier chaque affirmation importante à son passage source, puis contrôler nombres, versions, omissions et incertitudes.

Mise à jour :

Synthèse et sources posées côte à côte. Scène illustrative.

Illustration générée par IA

Le texte résume-t-il les documents ou ajoute-t-il des conclusions ?

Une synthèse fluide peut contenir une référence inventée, une attribution erronée ou un lien que le document ne démontre pas. Le profil NIST sur l’IA générative décrit notamment le risque de confabulation. Le contrôle proposé ici est un travail de lecture et de traçabilité ; il ne mesure pas la vérité par le style du texte.

  1. Décomposer les affirmations

    Découper les phrases qui portent un fait, un chiffre, une causalité ou une identité. Séparer ce que le document déclare et ce que la synthèse infère ; prioriser les éléments qui changent la décision.

  2. Ouvrir les pièces citées

    Vérifier titre, auteur, identifiant, date et version. Retrouver le passage exact et noter s’il soutient réellement la proposition ; une URL existante n’est pas une citation probante.

  3. Recalculer et comparer

    Reprendre unités, dénominateurs, périodes et signe des variations. Vérifier négations, réserves, populations exclues et différences entre « associé à » et « causé par ».

  4. Rendre les écarts visibles

    Marquer chaque affirmation : étayée, contradite ou non établie dans le corpus. Réviser le texte ou demander une pièce complémentaire ; garder la réponse originale et les motifs de correction.

Atelier de lecture

Relire quatre affirmations, pas la fluidité du résumé

Le rapport DEMO et la synthèse de cet exercice sont inventés. Les classements décrivent ce que les passages fournis permettent de dire, pas une vérité universelle.

Données et traces fictives pour apprendre : aucun résultat présenté ici ne provient d’un service interrogé en direct.

Une source réelle ne suffirait pas : il faut le passage

Le dossier contient une version de mars et une version de juin. Chaque ligne ci-dessous rapporte la version de juin ; aucun résultat de juin ne doit être attribué silencieusement à mars. Les extraits sont fictifs.

Si le tableau dépasse l’écran, faites-le défiler horizontalement ; les flèches du clavier fonctionnent lorsque la zone est sélectionnée.

Une source réelle ne suffirait pas : il faut le passage
Affirmation de la synthèsePassage DEMO de juinClasse dans ce contrôleAction de relecture
Le pilote porte sur des volontaires« Test mené uniquement auprès de volontaires. »Étayée dans cette versionConserver « volontaires » et la portée pilote.
Les résultats ont reçu un audit externe« Aucun audit externe n’a été réalisé. »Contredite par le passageRestaurer la négation ; supprimer la validation inventée.
Les coûts ont baissé de 25 %« Les coûts ne sont pas collectés dans ce rapport. »Non établie dans ce corpusRetirer le chiffre ou demander une pièce sur les coûts.
L’outil a causé l’amélioration« Amélioration observée après le changement ; pas de groupe témoin. »Inférence causale ajoutéeDécrire l’observation sans lui attribuer une cause démontrée.

Quelle réécriture respecte au mieux ce petit corpus ?

Ouvrir chaque proposition pour comparer son diagnostic. Plusieurs contrôles peuvent rester nécessaires.

Le pilote prouve un gain général, confirmé par audit

Non. La population est limitée et le passage nie l’audit. La formulation cumule généralisation et contradiction.

Chez les volontaires du pilote de juin, une amélioration est observée ; audit externe absent et causalité non établie

Oui. La formulation conserve population, version et réserves. Le chiffre de coût non documenté doit rester hors du résumé.

Supprimer toutes les phrases puisque l’une est fausse

Ce contrôle porte sur chaque affirmation. Une contradiction ne réfute pas automatiquement les propositions distinctes réellement étayées.

Trace fictive de contrôle

Pièce : rapport DEMO, version de juin
Étayée : pilote limité aux volontaires
Contredite : affirmation d’un audit externe
Non établie : baisse des coûts de 25 %
Inférence : causalité attribuée à l’outil
Suite : conserver passages, réponse originale et texte corrigé

La version de mars reste une pièce distincte. Le classement « non établie » ne signifie pas « réfutée ». Les passages illustrent un travail humain de lecture, sans verdict automatique.

Documentation des règles, distincte des exemples fictifs

Comparer avec les autres situations et exercices

Référence réelle, affirmation absente

Dans un cas fictif, une page existe mais ne contient pas le chiffre annoncé. Classer la proposition non établie, puis retrouver la table exacte ; ne pas valider au seul vu du domaine.

Une réserve disparaît

Une synthèse illustrative transforme « dans cet échantillon » en « dans tous les cas ». Restaurer population et limite, même si la phrase résultante paraît moins catégorique.

Une progression correcte, une unité incorrecte

Exemple fictif : le document donne une part passant de 20 % à 30 %. La synthèse annonce une hausse de 10 %. Recalculer : la variation vaut 10 points de pourcentage, ou 50 % relativement au niveau initial. Choisir la formulation correspondant à la question, et conserver les deux valeurs sources pour rendre la correction vérifiable.

Deux versions réunies en une affirmation impossible

Dans un dossier illustratif, une version de janvier décrit un objectif et une version de juin constate une réalisation différente. La synthèse attribue la réalisation à janvier en combinant les deux passages. Associer chaque fait à sa version et à sa date ; produire deux propositions datées plutôt qu’une phrase qui ne figure dans aucune pièce.

Exercice corrigé

Une différence observée transformée en effet causal

Exemple fictif : les valeurs et documents servent à apprendre la méthode, sans décrire un organisme réel.

Les groupes ont été choisis différemment. La synthèse attribue leur écart à un effet causal de l’outil.

Si le tableau dépasse l’écran, faites-le défiler horizontalement ; les flèches du clavier fonctionnent lorsque la zone est sélectionnée.

Données de départ
GroupeRéussitesEffectif
Avec l’outil810
Autre groupe610

À vous de vérifier

  1. Recalculer les taux et leur différence.
  2. Lire sélection des groupes et comparabilité.
  3. Séparer observation et interprétation causale.
Lire le corrigé

Corrigé et décision

Les taux observés sont 80 % et 60 %, soit 20 points d’écart. Le dossier fourni n’établit pas que l’outil cause cet écart : sélection et autres différences ne sont pas contrôlées. Corriger la phrase en comparaison descriptive et conserver cette limite.

Si le cas change

Si une méthode permettant une inférence causale est documentée, examiner ses hypothèses au lieu de reprendre automatiquement la conclusion.

Trace à conserver

Garder comptes, sélection, protocole et affirmation corrigée avec son niveau de preuve.

Preuve à conserver

  • Réponse originale et contexte de production
  • Liste d’affirmations et passages sources
  • Calculs repris et versions
  • Écarts, correction, responsable et date
  • Unité des variations, version de chaque passage et historique des formulations corrigées.

Références officielles

Fiches de sources associées

Protocoles connexes

Points à vérifier avant de conclure

  • Chaque fait important a-t-il un passage ?
  • Les nombres ont-ils été recalculés ?
  • Les limites de population sont-elles conservées ?
  • L’inférence est-elle distinguée du document ?

Une matrice affirmation, passage, version et décision, accompagnée du texte corrigé.

Questions fréquentes

Une réponse citant plusieurs liens est-elle automatiquement fiable ?

Non. Chaque lien doit soutenir le passage concerné. Des liens répétés vers une même source ne constituent pas plusieurs confirmations indépendantes.

Que faire si le document source est inaccessible ?

Conserver l’URL, la date et l’état de consultation. Classer l’affirmation non vérifiée dans ce contrôle ; chercher une version accessible sans traiter l’absence d’accès comme une réfutation.

Comment corriger sans effacer la piste de vérification ?

Conserver réponse d’origine, passage problématique, pièce examinée et formulation corrigée. Une affirmation non établie peut être retirée de la synthèse tout en restant dans le journal de contrôle. Documenter le motif sans présenter l’absence de preuve comme une réfutation.

Faut-il vérifier chaque phrase de la synthèse ?

Prioriser les affirmations qui influencent la décision, les chiffres et les propositions sensibles. Une erreur importante peut justifier un contrôle plus large de la synthèse et de sa méthode de production.

OUTILS / REGISTRES

Informations à relever

Une relecture d’un petit corpus ne certifie ni tous les comportements du modèle ni les faits externes aux documents. Ne pas envoyer de pièces confidentielles à un outil tiers pour reproduire un cas sans cadre d’accès approprié.

  • Date de consultation et fuseau
  • URL exacte
  • Affirmation à vérifier
  • Interface / mode / compte
  • Version / révision
  • Passage / valeur observée
  • Limite / incertitude
  • Décision / prochaine action
  • Responsable du contrôle
  • Prochain contrôle

Mettre la méthode à l’épreuve sur des cas précis

Exercice proposé : ce protocole n’est pas un test réalisé du service.

Consigner les observations

REPÈRES DOCUMENTÉS

Citer un passage : distinguer la sélection et l’état de la source

Un repère de texte répond à « quel passage ? ». Un état répond à « quelle représentation de la ressource ? ». Dans un dossier de preuve ou une vérification de synthèse IA, conserver ces deux informations évite d’attribuer une citation à la mauvaise version.

Citer un passage : distinguer la sélection et l’état de la source
RepèreValeur ou formeCe que cela désigne
selectorSpecificResource.selectorLe sélecteur décrit un segment de la source. Il ne fige pas à lui seul une page susceptible de changer.
state / cachedTimeState · cachedTimeState peut indiquer le moment approprié et une copie de la représentation. cached décrit un lien vers cette copie ; il ne certifie pas son intégrité ni sa disponibilité.
sourceDate · W3C example 312015-07-20T13:30:00ZLe W3C exige pour sourceDate une date xsd:dateTime en UTC avec Z. Son exemple 31 utilise 2015-07-20T13:30:00Z : c’est une donnée de cet exemple, pas une date observée sur ce site.
HttpRequestStateAccept · Accept-LanguageHttpRequestState conserve les en-têtes de requête nécessaires à la représentation. Un Accept ou un Accept-Language ne se confond pas avec une date de capture.
Source, état et passage sont trois repères distinctsLa source désigne la ressource ; l’état décrit la représentation à retrouver ; le sélecteur précise le passage. Ce schéma n’exprime pas un ordre chronologique.sourcestateselectorSpecificResource
La source désigne la ressource ; l’état décrit la représentation à retrouver ; le sélecteur précise le passage. Ce schéma n’exprime pas un ordre chronologique.

À retenir pour le dossier

Ni le sélecteur ni l’état ne prouvent une affirmation. Dans votre dossier, relier URL, extrait, version conservée, extraction et contrôle d’intégrité réellement effectué. Une copie traduite doit rester distincte du passage dans la langue source.

Une URL et un horodatage suffisent-ils à retrouver le même texte ?

Non. Le serveur peut ne plus fournir cet état, et la représentation peut dépendre de la langue ou du format demandé. Vérifiez la copie effectivement obtenue ; consignez les transformations de texte avant de recalculer les positions.

Documentation primaire

Documentation consultée le .

APPROFONDISSEMENT / PRATIQUE

Rapprocher une synthèse de ses documents sources

Une synthèse paraît claire mais modifie une réserve ou réunit des chiffres incompatibles. La vérification doit partir des propositions importantes et retrouver les passages qui les soutiennent.

Mis à jour le .

Vérifications prioritaires

Découper la synthèse en affirmations, ouvrir les sources et contrôler périmètre, date, unité et niveau de certitude. Relever les omissions qui changent le sens du document initial.

Pièges d’interprétation

Une référence présente en fin de texte peut ne soutenir qu’une partie du propos. La fluidité de la rédaction ne donne aucune indication sur l’exactitude des rapprochements.

Document de travail à conserver

La matrice de vérification associe affirmation, passage source, concordance et correction. Les éléments non établis sont reformulés ou laissés explicitement en suspens.

Appliquer la démarche sur un premier cas

Commencer par une tâche limitée dont les entrées et les résultats attendus peuvent être examinés. Prévoir des informations incomplètes, une contradiction et une demande hors périmètre. Ces cas montrent comment le dispositif traite les inconnues et à quel moment une personne doit reprendre l’analyse ou autoriser une action.

Restituer le résultat et ses limites

Documenter les erreurs avec l’entrée et la sortie concernées. Avant une nouvelle utilisation, vérifier si la correction porte sur la consigne, les données, les permissions ou le contrôle humain. Une évolution doit être accompagnée d’une nouvelle observation des cas affectés afin de ne pas confondre réglage et amélioration confirmée.