Construire le panel
Choisir des questions par intention : découverte, comparaison, décision, vérification et marque. Conserver leur formulation.
GUIDE / PROTOCOLE
Observatoire des citations IA
Mesurer des réponses observées dans un contexte défini, sans transformer une capture d’écran en promesse de visibilité.
Réponse directe
Comment mesurer une citation IA de façon crédible ?
Avec un panel stable de questions, une date, une interface identifiée, le libellé exact de la réponse et les liens réellement visibles. On compare ensuite exactitude, citation et évolution dans le temps.
01 / Méthode de contrôle
Méthode de contrôle
Capturer le contexte
Noter date, pays, langue, interface, paramètres pertinents et présence éventuelle d’un compte.
Qualifier la réponse
Séparer mention de marque, lien cité, source effectivement utilisée, position dans la réponse et exactitude.
Comparer les séries
Observer les écarts entre moteurs et périodes ; rechercher la page source, les corrections et les causes possibles.
MESURE / SOURCES DE VISIBILITÉ
Impression, citation, visite : trois observations distinctes
Une présence dans une réponse IA et une visite sur votre site se produisent à des étapes différentes. Choisissez le signal qui répond à votre question avant de comparer des périodes.
- Être accessible
Une exploration peut rendre une page disponible à la recherche.
- Être montré ou cité
Un lien peut apparaître dans une réponse sans recevoir de clic.
- Recevoir une visite
Le site observe une arrivée, dans les limites de son dispositif de mesure.
| Source du relevé | Ce qui est mesuré | Limite à conserver |
|---|---|---|
| Google · IA générative dans Search Console Documentation officielle | Impressions des liens dans AI Overviews et AI Mode, ventilables notamment par page, pays et appareil. | Les jours sont en heure du Pacifique (PT). Le total par propriété et la somme des lignes par page peuvent différer par agrégation. |
| Bing Webmaster Tools · AI Performance Documentation officielle | Citations visibles et pages citées dans les expériences IA prises en charge ; les requêtes de grounding sont regroupées. | Une citation ne mesure ni un clic, ni une position, ni l’importance d’une page. Les requêtes regroupées ne restituent pas les prompts individuels. |
| Mesure sur le site | Arrivées et actions enregistrées selon la configuration de votre mesure. | Une visite attribuée ne représente pas toutes les impressions. Un référent absent ou une mesure bloquée limite l’attribution. |
| Panel de questions documenté | Présence et fidélité des citations sur un ensemble de réponses observées. | Le résultat dépend des questions, du mode, de la langue et de la date. Il ne décrit pas l’ensemble des utilisateurs. |
Les impressions du rapport IA de Google font partie du périmètre Web de Search Console : ne les additionnez pas au total Web. Comparez séparément visibilité, citations et visites.
Comparer le périmètre de deux relevésDocumentation consultée le .
ATELIER DE MESURE
Être cité et être correctement cité : deux mesures
Comptez séparément les réponses qui citent le domaine étudié et les références dont le contenu soutient l’affirmation. Une réponse peut contenir plusieurs liens ; les deux taux n’ont donc pas le même dénominateur.
Exemple fictif · aucune mesure du site ou d’un client
| Indicateur | Calcul ou repère | Ce que le résultat permet de dire |
|---|---|---|
| Présence dans les réponses | 12 / 40 × 100 = 30 % | 12 réponses sur 40 citent le domaine : 30 % de présence dans cet échantillon. |
| Soutien parmi les références contrôlées | 15 / 20 × 100 = 75 % | 15 références sur 20 soutiennent l’affirmation : 75 % des références contrôlées. Ce taux ne décrit pas les références non vérifiées. |
Du relevé à la décision
Fixer le panel
Conservez les questions, langue, service, mode, dates et répétitions. Incluez les réponses sans citation.
Ouvrir chaque référence
Reliez le passage exact à l’affirmation ; consignez les liens inaccessibles et les citations qui ne la soutiennent pas.
Comparer à périmètre constant
Une évolution exige le même panel et le même protocole. Publiez aussi les effectifs et les exclusions.
Dix réponses illisibles changent la portée du taux
Sur 30 tentatives du même programme, 20 réponses sont lisibles et 12 de ces réponses citent la cible. Les 10 autres résultats restent non classés.
| Unité observée | Données fictives |
|---|---|
| Tentatives / réponses lisibles / citations | 30 / 20 / 12 |
| Taux sur les réponses lisibles | 12 / 20 = 60 % |
| Bornes sur toutes les tentatives | 12 / 30 = 40 % ; 22 / 30 ≈ 73,33 % |
Les 60 % observés valent-ils pour les 30 tentatives ?
60 % porte sur les 20 réponses lisibles. Pour les 30 tentatives, les affectations possibles des 10 inconnus donnent 40–73,33 % environ. Cette plage est descriptive ; elle ne constitue pas un intervalle de confiance.
Références et méthode
- Google Search Central · AI features
- Google — Generative AI performance report (Search)
- Bing — AI Performance
Documentation consultée le .
02 / Preuves à conserver
Preuves à conserver
Question stable
ID, formulation exacte, intention et fréquence de contrôle.
Réponse datée
Texte, capture, interface, langue et contexte.
Citation vérifiée
URL cliquable, page accessible et relation réelle avec l’affirmation.
Écart documenté
Erreur, absence, confusion d’entité ou variation non interprétable.
POINT DE CONTRÔLE
Avant de conclure
Une erreur de lecture fréquente et la vérification qui permet de l’éviter.
Conclusion trop rapide
Une citation isolée ne démontre ni une visibilité stable ni une préférence du système. Réponses, modèles, langues et interfaces peuvent varier.
Contrôle décisif
Répéter un panel fixe de questions, enregistrer les paramètres et dater les résultats. Séparer présence, exactitude, lien vers la source et effet réellement observable sur le trafic.
APRÈS LE CONTRÔLE
Décider selon le constat
La marque est mentionnée sans lien
Comptez une présence, pas une citation. Conservez la réponse et vérifiez séparément si les faits sont exacts et attribués à la bonne entité.
Une citation apparaît puis disparaît
Rejouez les mêmes questions dans le même contexte et comparez plusieurs moments. Notez la variabilité avant d’attribuer le changement à une page modifiée.
Arbitrage et trace de décision
Arbitrage et trace de décision
Ce que le contrôle doit permettre de décider, et la preuve à conserver pour réexaminer ce choix.
Preuve suffisante
Conserver une série de requêtes identiques, langues, dates, services, réponses complètes et liens cités. Mesurer séparément présence, exactitude et citation vérifiable.
Décision suivante
Corriger les informations maîtrisées lorsqu’elles sont erronées. Répéter l’observation après correction sans présenter une réponse isolée comme une tendance ou une promesse de visibilité.
Cas de contrôle approfondis
Situations types pour préparer un contrôle. Elles ne décrivent pas des missions ou observations réalisées.
Le modèle change pendant la série
Ce qu’il faut examiner
Comparer les identifiants de modèle, modes et interfaces consignés entre deux campagnes.
Décision et action
Séparer les périodes avant et après le changement ; répéter un panel témoin au lieu d’attribuer toute variation au site.
Preuve à conserver
Version affichée, panel témoin et dates de transition.
Une réponse est inaccessible
Ce qu’il faut examiner
Distinguer absence de citation dans une réponse lue, échec de génération et service non accessible.
Décision et action
Compter séparément les observations valides et les essais indisponibles ; ne pas transformer un échec d’accès en citation absente.
Preuve à conserver
Tentatives, réponses consultables et causes d’exclusion.
La référence ne soutient pas la réponse
Ce qu’il faut examiner
Ouvrir la destination citée et retrouver le passage soutenant chaque affirmation étudiée.
Décision et action
Distinguer présence d’une citation et preuve réellement pertinente.
Preuve à conserver
Requête, réponse, URL consultée et correspondance du passage.
Relecture avant décision
Ces questions complètent la méthode. Elles aident à vérifier ce qui est réellement établi, sans effacer les réserves du relevé.
Comparaison reproductible
Les relevés avant et après utilisent-ils le même panel de questions, langue, contexte et protocole de collecte ? Distinguer changement du site et variation du moteur.
Voir une décision commentée
Exemple fictif : l’état concerne uniquement le critère et le périmètre décrits.
- Observation fictive
- Le premier relevé utilise 10 questions en français ; le second 12 questions reformulées en anglais.
- État déclaré
- Écart observé
- Décision et prochain contrôle
- Ne pas attribuer l’écart au site. Rejouer un panel commun et conserver les deux séries comme contextes distincts.
Citation réellement pertinente
Chaque URL citée est-elle accessible et soutient-elle le passage attribué ? Conserver les citations erronées et les réponses sans citation, pas seulement les résultats favorables.
Voir une décision commentée
Exemple fictif : l’état concerne uniquement le critère et le périmètre décrits.
- Observation fictive
- L’assistant cite une page accessible, mais le passage annonce 2023 alors que sa réponse affirme 2024.
- État déclaré
- Écart observé
- Décision et prochain contrôle
- Conserver réponse, URL et passage contradictoire. Une citation présente n’est pas comptée comme citation fidèle.
Inconnus dans le bilan
Les réponses inaccessibles ou illisibles restent-elles séparées des absences de citation ? Publier les effectifs et la règle du dénominateur.
Documentation consultée : NIST · AI Risk Management Framework ·
Voir une décision commentée
Exemple fictif : l’état concerne uniquement le critère et le périmètre décrits.
- Observation fictive
- Sur 10 tentatives : 3 citations, 5 réponses sans citation et 2 réponses inaccessibles sont distinguées.
- État déclaré
- Vérifié dans ce périmètre
- Décision et prochain contrôle
- Présenter 3/10 tentatives ou 3/8 réponses lisibles selon la question, en nommant le dénominateur et les 2 inconnus.
OUTILS / REGISTRES
Informations à relever
Compter les citations seulement dans le panel observé. Conserver le nombre de réponses, les réponses sans citation et les répétitions avant de calculer une proportion.
- Date de consultation et fuseau
- URL exacte
- Requête exacte
- Interface / mode / compte
- Langue / région
- Passage / valeur observée
- Source indépendante
- Décision / prochaine action
- Responsable du contrôle
- Prochain contrôle
03 / FAQ
Questions fréquentes
Un fichier llms.txt garantit-il la citation ?
Non. Google Search ne l’utilise pas, y compris dans ses fonctionnalités génératives. Pour les autres systèmes, vérifiez leur documentation et les usages observés : la présence du fichier ne démontre ni récupération ni citation.
Une mention sans lien compte-t-elle ?
Oui comme présence de marque, mais elle doit être séparée d’une citation vérifiable.
Combien de questions faut-il suivre ?
Assez pour couvrir les intentions décisives, mais un panel stable et qualifié vaut mieux qu’un grand volume non vérifié.
Peut-on comparer deux interfaces avec une seule capture ?
Non. Conserver question exacte, langue, date, interface et contexte, puis répéter avant d’interpréter un écart.
Comment compter une citation erronée ?
Séparer présence du lien et exactitude de l’affirmation. Une citation visible peut soutenir une phrase différente.
04 / Références officielles
Références officielles
05 / Poursuivre la lecture
Poursuivre la lecture
Présenter un contexte
Vérifications complémentaires
APPROFONDISSEMENT / PRATIQUE
Organiser une série d’observations comparable
Des captures sont collectées au fil de l’eau sur différents assistants. Pour en tirer une lecture utile, il faut relier chaque observation à un protocole et à une question identifiable.
Mis à jour le .
Vérifications prioritaires
Attribuer un identifiant aux questions et aux exécutions. Conserver réponse, sources, plateforme, langue et conditions connues, puis utiliser une grille stable pour classer les résultats.
Pièges d’interprétation
Une évolution apparente peut venir d’un changement de question ou de protocole. Une réponse manquante et une absence de citation constituent deux événements distincts.
Document de travail à conserver
Le journal d’observation permet de reconstituer chaque test et de comparer des séries compatibles. Les modifications du protocole sont consignées avec leur date et leur effet sur l’interprétation.
EXEMPLE / LECTURE DES CHIFFRES
Une présence n’est pas toujours une représentation exacte
Données fictives pour expliquer la méthode ; aucun résultat client ni mesure du site.
| Observation | Nombre | Lecture |
|---|---|---|
| Questions du panel | 40 | Base fixe de comparaison. |
| Réponses citant la marque | 12 | 12 / 40 = 30 % du panel. |
| Réponses décrivant correctement l’offre | 8 | 8 / 40 = 20 % du panel ; 8 / 12 ≈ 66,7 % des mentions. |
Afficher la limite d’interprétation
Ce que ces chiffres ne prouvent pas
Ces observations ne mesurent ni la part de marché ni les ventes. Une citation peut être inexacte. Le panel, la date, la langue et les répétitions doivent accompagner le résultat.
CAS PRATIQUE / EXEMPLE PÉDAGOGIQUE
Une citation disparaît entre deux observations
Ce cas pédagogique montre comment qualifier un résultat de recherche ou une réponse générée. Il distingue l’observation ponctuelle, sa vérification et la conclusion que les conditions de test permettent réellement de soutenir.
Contexte de l’exemple
Une source apparaît dans une réponse puis n’est plus citée lors du test suivant. L’équipe hésite entre une perte de visibilité et une variation de la réponse générée.
Démarche proposée
Vérifier question, plateforme, langue et conditions connues. Répéter selon une règle documentée et comparer les propositions ainsi que les sources. Examiner les changements intervenus dans le protocole.
Conclusion et prochaine étape
L’observation est conservée comme variation de la série testée. Une conclusion durable nécessite un ensemble compatible d’exécutions, sans transformer deux réponses différentes en tendance générale.
Questions pour approfondir la pratique
À quelle fréquence répéter les observations ?
Choisir une fréquence liée au besoin et aux changements recherchés. Documenter cette règle et les exceptions permet d’interpréter les séries sans confondre une collecte plus intensive avec une évolution réelle.
ATELIER DÉTAILLÉ / MISE EN APPLICATION
Suivre une série sans changer silencieusement la question
01 / Préparer les informations utiles
Rassembler la liste de questions, les identifiants d’exécution et les conditions connues. Repérer les modifications de formulation ou de plateforme intervenues entre les séries.
02 / Exécuter la démarche
Comparer les questions exactes avant les résultats. Séparer les versions du protocole et conserver les répétitions. Qualifier les écarts de citation avec les sources et propositions associées.
03 / Examiner une situation alternative
Si une nouvelle question améliore le test mais change l’intention, ouvrir une série distincte. L’ancien historique reste utile avec son périmètre et sa formulation initiale.
04 / Décider de la suite
La série est cohérente lorsque les comparaisons indiquent les conditions communes et les différences. Les changements de protocole sont visibles au même titre que les résultats.
05 / Transmettre les éléments de contrôle
Transmettre un journal question, exécution, réponse et jugement. Les identifiants facilitent la révision d’un classement sans perdre la relation aux observations originales.
LIVRABLE COMMENTÉ / GRILLE DE LECTURE
Un journal de séries qui conserve les changements de protocole
Le journal associe question, version, exécution, réponse et jugement. Il permet de suivre les citations tout en distinguant variation observée et modification des conditions de test.
Sur petit écran, faites défiler la grille pour lire les trois colonnes.
| Élément observé | Interprétation permise | Suite à prévoir |
|---|---|---|
| Les questions et conditions sont comparables. | Les observations peuvent être rapprochées selon les catégories définies. | Examiner sources et propositions avant de décrire les écarts. |
| La formulation change entre deux séries. | Une partie de la variation peut provenir du nouveau protocole. | Ouvrir une version distincte et conserver l’ancienne série avec son périmètre. |
| Une réponse isolée est présentée comme une tendance. | L’effectif et la couverture ne soutiennent pas cette généralisation. | Répéter selon une règle explicite et qualifier les inconnues. |
Relecture du livrable
La relecture vérifie les identifiants et les conditions avant les graphiques. Les changements du protocole doivent être visibles au même titre que les changements des résultats pour éviter des comparaisons trompeuses.
RESTITUTION / EXEMPLE DE FORMULATION
Restitution : Organiser une série d’observations comparable
Point à clarifier
Une nouvelle formulation de question peut ouvrir une autre série plutôt que prolonger silencieusement l’ancienne.
Avant de transmettre
Nommer les versions et expliquer les dimensions qui restent comparables.
Exemple de conclusion qualifiée
Les observations comparées utilisent la version indiquée du protocole. Les résultats obtenus après modification de la question sont conservés dans une série distincte.