Guides pratiques approfondis

Mesurer l’incertitude d’un taux de citation IA

Distinguer taux observé, taille de l’échantillon et incertitude statistique pour interpréter un observatoire de réponses IA.

Mise à jour :

Évaluation de réponses d’assistants et de références sur deux écrans.

Illustration générée par IA

Un taux de citation est-il suffisamment précis pour décider ?

Une proportion sans dénominateur masque sa fragilité. Quatre réponses citées sur dix et quarante sur cent donnent le même taux observé, mais pas la même précision sous un modèle binomial. L’intervalle de Wilson permet d’explorer cette différence. Il ne transforme pas un panel choisi en échantillon représentatif des utilisateurs.

  1. Définir le succès et le dénominateur

    Choisissez avant la collecte ce qui compte : présence d’un lien, citation soutenant le fait ou réponse exacte. Comptez une observation binaire selon cette règle. Documentez échecs, exclusions et réponses inaccessibles sans modifier la règle après avoir vu le résultat.

  2. Conserver le protocole

    Fixez langue, interface, pays, modèle ou mode et période. Des relances dans la même conversation peuvent être dépendantes. Séparez les strates lorsque les conditions changent ; multiplier une question ne crée pas une diversité de besoins.

  3. Lire taux et intervalle

    L’intervalle de Wilson à 95 % décrit ici des observations binaires indépendantes à probabilité stable. Il reste calculable sans succès ou avec tous les succès. Le niveau de confiance caractérise la méthode dans des répétitions du protocole, pas la vérité d’une citation ni la représentativité du panel.

  4. Décider sans surinterpréter

    Conservez taux, effectifs, hypothèses et seuil opérationnel. Si l’incertitude empêche la décision, redéfinissez la collecte avant de multiplier les relances. Une comparaison avant/après sur les mêmes questions est appariée et exige une analyse du changement ; deux intervalles isolés ne constituent pas ce test.

Atelier de lecture

Deux annotations indécises ne disparaissent pas du taux

Le lot DEMO contient dix réponses inventées. Le succès signifie ici une citation qui soutient l’affirmation, pas la seule présence d’un lien.

Données et traces fictives pour apprendre : aucun résultat présenté ici ne provient d’un service interrogé en direct.

40 %, 50 % ou une fourchette de classement ?

Quatre réponses sont classées étayées, quatre non étayées et deux restent indécises après lecture. Le panel a été choisi pour l’exercice ; son indépendance et sa représentativité ne sont pas établies.

Si le tableau dépasse l’écran, faites-le défiler horizontalement ; les flèches du clavier fonctionnent lorsque la zone est sélectionnée.

40 %, 50 % ou une fourchette de classement ?
LectureCalculCe que le nombre décritDécision
État des annotations4 étayées ; 4 non étayées ; 2 indécisesDix réponses reçues, pas dix jugements binaires finalisésConserver les cas indécis et leur motif.
Part confirmée sur le lot4 / 10 = 40 %Citabilité déjà confirmée dans le lotNe pas appeler les deux indécises des échecs établis.
Taux sur les seules classées4 / 8 = 50 %Taux conditionnel à une annotation décidéePublier aussi les deux exclusions et le total dix.
Issues possibles de la relecture4 / 10 à 6 / 10 : 40–60 %Fourchette de classement, pas intervalle de confianceRésoudre les annotations avant d’utiliser un modèle binaire.

Que peut-on annoncer sans inventer une précision statistique ?

Ouvrir chaque proposition pour comparer son diagnostic. Plusieurs contrôles peuvent rester nécessaires.

50 % sur dix réponses, sans autre mention

Non. Le dénominateur du 50 % est huit. La phrase efface le changement de population et les deux annotations ouvertes.

40–60 % est l’intervalle de Wilson à 95 %

Non. Ces bornes viennent uniquement des deux issues de classement possibles ; aucune probabilité d’échantillonnage n’a été calculée.

Quatre citations étayées sur dix, deux cas encore indécis

Oui. Ajouter le taux conditionnel si utile et décrire le panel. Une incertitude d’annotation n’est pas une incertitude d’échantillonnage.

Trace fictive d’annotation

Lot : DEMO, dix réponses choisies
Règle : citation soutenant l’affirmation
Décidées : 4 étayées et 4 non étayées
Indécises : 2, passages à revoir
Confirmée : 4/10 ; conditionnelle : 4/8
Issues de classement : 40–60 %, sans niveau de confiance
Suite : arbitrage documenté des deux cas

Cette fourchette ne quantifie ni les comportements futurs du modèle ni le biais du panel. Ne pas remplacer automatiquement dix par huit dans tous les calculs.

Documentation des règles, distincte des exemples fictifs

Comparer avec les autres situations et exercices

Quatre sur dix

Quatre succès sur dix donnent 40 % et un intervalle de Wilson à 95 % d’environ 16,8–68,7 %, sous les hypothèses indiquées. Le taux seul masque cette largeur ; ce résultat ne permet pas un classement universel des services.

Zéro sur dix

Le taux observé vaut zéro, mais la borne supérieure est environ 27,8 %. Aucune citation dans cet échantillon ne démontre pas une impossibilité de citation.

Un bon taux ne franchit pas forcément le seuil

Dix-huit succès sur vingt donnent 90 %. Sous les hypothèses binomiales indiquées, Wilson à 95 % donne environ 69,9–97,2 %. Si la décision exige un taux supérieur à 80 %, la borne basse ne confirme pas ce dépassement. Publiez les effectifs et la règle de décision.

Vingt relances ne représentent pas vingt situations

Cas fictif : la même question est relancée vingt fois dans une conversation, alors qu’un autre panel contient vingt besoins différents. Même avec le même taux brut, diversité et dépendance ne sont pas comparables. Conserver identifiant de question et de session, et décrire les résultats par groupe avant de calculer un indicateur global.

Du constat à la décision

Le même taux observé, une précision très différente

Deux collectes fictives donnent 40 % : 4 succès sur 10 et 40 sur 100. Le calcul suppose des observations binaires indépendantes à probabilité stable. Les intervalles décrivent cette hypothèse, sans certifier la représentativité des questions.

Cas pédagogique fictif : les volumes et les dates illustrent la méthode, sans décrire une mission réelle.

Lire la largeur, pas seulement le taux observé

De gauche à droite : 0 à 100 %. Bande : intervalle de Wilson à 95 % ; trait vertical : taux observé de 40 %.

  • 4 / 1040 % · 16,8–68,7 %
  • 40 / 10040 % · 30,9–49,8 %
Grille de lecture du cas
ObservationContrôle utileSuite à donner
4 succès sur 10Taux : 40 % ; Wilson à 95 % : 16,8–68,7 %.Une largeur d’environ 51,9 points laisse une forte incertitude.
40 succès sur 100Taux : 40 % ; Wilson à 95 % : 30,9–49,8 %.La largeur est d’environ 18,9 points ; le protocole reste à examiner.
Même proportion, bases différentesL’effectif change la précision sous le modèle.Présenter simultanément succès, total, intervalle et hypothèses.
À vous de décider — Cent répétitions de la même question valent-elles cent situations ?

Réponse expliquée

Non. Le nombre de lignes ne prouve ni l’indépendance ni la diversité. Conservez question, session et conditions ; examinez les groupes de réponses dépendantes. Si le protocole ne permet pas une inférence probabiliste, présentez les résultats comme une description du panel.

Méthode : intervalle de Wilson bilatéral à 95 %, avec z ≈ 1,96. Les comptes sont fictifs et les bornes arrondies à un dixième de point. NIST — Confidence intervals for proportions

Exercice corrigé

Quatre réponses illisibles ne sont pas quatre absences de citation

Exemple fictif : les valeurs et documents servent à apprendre la méthode, sans décrire un organisme réel.

Les catégories du panel sont disjointes. Une réponse illisible n’est pas une absence de citation observée.

Si le tableau dépasse l’écran, faites-le défiler horizontalement ; les flèches du clavier fonctionnent lorsque la zone est sélectionnée.

Données de départ
ObservationEffectif
Citation observée12
Lisible sans citation4
Impossible à examiner4

À vous de vérifier

  1. Séparer échec de lecture et absence observée.
  2. Calculer le taux sur les seules réponses lisibles.
  3. Donner les bornes descriptives sur l’ensemble du panel.
Lire le corrigé

Corrigé et décision

Sur les 16 réponses lisibles, le taux vaut 12/16 = 75 %. Sur les 20, le nombre de citations reste entre 12 et 16, soit 60–80 %, selon les quatre inconnues. Ce sont des bornes de données manquantes, pas un intervalle de confiance de Wilson. Aucun traitement ne rend les réponses inconnues observées.

Si le cas change

Après récupération des quatre réponses, remplacer les inconnues par leurs états réels et publier la version du bilan.

Trace à conserver

Garder comptes par état, dénominateurs, motif de non-lecture et règle d’exclusion.

Preuve à conserver

  • Définition du succès, panel de questions, exclusions et contexte de collecte.
  • Nombre de succès k, nombre d’observations n et date de la série.
  • Méthode Wilson, niveau 95 %, hypothèses et seuil de décision.
  • Seuil décidé avant mesure, taux conditionnel éventuel, sessions et échecs d’accès séparés.

Références officielles

Protocoles connexes

Points à vérifier avant de conclure

  • Le succès est-il défini avant le comptage ?
  • Les observations sont-elles indépendantes et le protocole stable ?
  • Le résultat est-il séparé d’un jugement sur l’exactitude des citations ?

Questions fréquentes

95 % signifie-t-il que 95 % des réponses seront citées ?

Non. Le taux est k/n. Le niveau 95 % qualifie la méthode d’intervalle sous les hypothèses indiquées.

Deux intervalles qui se recouvrent prouvent-ils l’absence de différence ?

Non. Le recouvrement n’est pas un test de différence, et des observations appariées nécessitent un traitement adapté.

Comment traiter une réponse techniquement inaccessible ?

Définir cette règle avant la collecte. Un taux conditionnel sur les réponses lisibles doit être accompagné du nombre d’échecs d’accès et du total tenté. Ne pas transformer automatiquement chaque réponse inaccessible en absence de citation ni l’exclure sans le signaler.

Comment traiter un cas difficile à classer ?

Prévoir une catégorie incertaine et décrire le motif. Une seconde lecture peut préciser le jugement ; elle ne doit pas effacer les limites ou imposer une certitude que le cas ne permet pas.

MESURE / SOURCES DE VISIBILITÉ

Impression, citation, visite : trois observations distinctes

Une présence dans une réponse IA et une visite sur votre site se produisent à des étapes différentes. Choisissez le signal qui répond à votre question avant de comparer des périodes.

  1. Être accessible

    Une exploration peut rendre une page disponible à la recherche.

  2. Être montré ou cité

    Un lien peut apparaître dans une réponse sans recevoir de clic.

  3. Recevoir une visite

    Le site observe une arrivée, dans les limites de son dispositif de mesure.

Quel rapport utiliser et que peut-on en conclure ?
Source du relevéCe qui est mesuréLimite à conserver
Google · IA générative dans Search Console
Documentation officielle
Impressions des liens dans AI Overviews et AI Mode, ventilables notamment par page, pays et appareil.Les jours sont en heure du Pacifique (PT). Le total par propriété et la somme des lignes par page peuvent différer par agrégation. Si le rapport n’apparaît pas, Google indique que le site reçoit généralement trop peu d’impressions dans ces fonctionnalités.
Bing Webmaster Tools · AI Performance
Documentation officielle · Annonce de Bing
Citations visibles et pages citées dans les expériences IA prises en charge ; les requêtes de grounding sont regroupées.Une citation ne mesure ni un clic, ni une position, ni l’importance d’une page. Les requêtes regroupées ne restituent pas les prompts individuels. Les requêtes affichées reflètent un échantillon de l’activité de citation.
Mesure sur le siteArrivées et actions enregistrées selon la configuration de votre mesure.Une visite attribuée ne représente pas toutes les impressions. Un référent absent ou une mesure bloquée limite l’attribution.
Panel de questions documentéPrésence et fidélité des citations sur un ensemble de réponses observées.Le résultat dépend des questions, du mode, de la langue et de la date. Il ne décrit pas l’ensemble des utilisateurs.

Les impressions du rapport IA de Google font partie du périmètre Web de Search Console : ne les additionnez pas au total Web. Comparez séparément visibilité, citations et visites.

Comparer le périmètre de deux relevés

Documentation consultée le .

REPÈRES DOCUMENTÉS

Dispersion et incertitude : ne pas échanger écart-type et erreur-type

La dispersion décrit la variation des observations ; l’incertitude d’un estimateur décrit la variabilité de son estimation dans un cadre statistique. Ces deux notions peuvent partager une unité sans répondre à la même question. La documentation R précise le dénominateur de son écart-type, tandis que le NIST présente les hypothèses nécessaires aux intervalles sur une moyenne.

Dispersion et incertitude : ne pas échanger écart-type et erreur-type
RepèreValeur ou formeCe que cela désigne
Sample varianceΣ(xᵢ − mean)² / (n − 1)La variance d’échantillon utilise ici n − 1, avec n le nombre d’observations retenues. Une formule divisant par n n’est pas identique ; préciser le dénominateur avant de comparer les logiciels.
Sample SD√varianceRacine de la variance : elle revient dans l’unité de la variable. La variance, elle, porte le carré de cette unité. Un grand écart-type n’établit pas à lui seul une erreur de collecte.
IQRQ3 − Q1Écart entre troisième et premier quartile, dans l’unité d’origine. Il décrit la partie centrale et dépend de la convention de quartiles ; conserver l’algorithme utilisé.
Rangemax − minÉcart entre maximum et minimum, très sensible aux observations extrêmes. Ne pas l’appeler intervalle de confiance ou probabilité de couverture d’une valeur future.
SE(mean)s / √n · assumptions requiredLa formule simple s/√n pour l’erreur-type d’une moyenne suppose un cadre adapté, notamment l’indépendance des observations. Elle ne suffit pas pour tout sondage pondéré, toute série temporelle ou tout relevé répété.
n < 2R sd(): NALa fonction sd() documentée renvoie NA pour zéro ou une observation. Un résultat absent ne doit pas devenir automatiquement un écart-type de zéro.

À retenir pour le dossier

Un intervalle sur une moyenne exige d’indiquer le modèle, le niveau et la méthode, pas seulement d’ajouter et retrancher un écart-type. Pour des citations d’IA, des réponses produites par le même système ou la même source peuvent être dépendantes. Augmenter le nombre de lignes ne garantit donc pas la même réduction d’incertitude qu’avec autant d’observations indépendantes.

Peut-on comparer deux graphiques si l’un affiche SD et l’autre SE ?

Seulement après avoir identifié ce que les barres représentent. SD décrit la dispersion des observations, SE l’estimation d’une moyenne dans un modèle ; une barre plus courte ne prouve pas à elle seule une population moins dispersée.

Documentation primaire

Documentation consultée le .

REPÈRES DOCUMENTÉS

Proportion observée : donner l’effectif et l’intervalle de Wilson

Cinq observations positives sur vingt donnent 25 %, comme 250 sur 1 000. Sous un modèle binomial adapté, ces deux estimations n’ont pourtant pas la même précision. L’explorateur distingue le taux constaté, le niveau de confiance et les bornes calculées.

Proportion observée : donner l’effectif et l’intervalle de Wilson
RepèreValeur ou formeCe que cela désigne
Observed proportionx / nx compte les cas positifs selon un critère fixé ; n compte tous les cas évaluables. Une réponse absente ou indécidable ne devient pas un négatif : documenter séparément les exclusions.
Wilson scoretwo-sidedWilson est un intervalle de score bilatéral. Son centre n’est généralement pas x/n ; les bornes restent entre 0 et 1. Ce n’est pas l’intervalle de Wald ni l’intervalle binomial exact de Clopper–Pearson.
Confidence level90% · 95% · 99%Les niveaux proposés sont 90 %, 95 % et 99 %, avec le quantile normal correspondant. La confiance décrit la couverture de la procédure lors de répétitions du plan d’échantillonnage ; ce n’est pas une probabilité a posteriori sur ce seul intervalle.
x = 0upper limit > 0Avec x = 0 et n > 0, la borne supérieure reste positive. Aucun événement constaté ne démontre pas que l’événement soit impossible. Avec n = 0, aucun intervalle n’est calculé.
Sampling modelindependent · common probabilityLe modèle suppose des essais indépendants de même probabilité. Des réponses répétées à une même requête, des cas groupés ou un échantillon choisi pour sa facilité ne satisfont pas automatiquement ces conditions.

Explorer une proportion

Exercice pédagogique : aucune observation d’un service réel. Positif et négatif désignent uniquement le critère déclaré.

Conditions du modèle : essais indépendants de même probabilité. Un échantillon choisi et des répétitions dépendantes ne deviennent pas représentatifs grâce à cet intervalle.

Indiquez des entiers avec 1 ≤ n ≤ 1 000 000 et 0 ≤ x ≤ n.

Le calcul reste dans le navigateur ; aucune saisie transmise et aucun fichier créé.

Résultats calculés · x = 5 · n = 20 · 95%

Taux observé (%)
25
Borne inférieure (%)
11,18617
Borne supérieure (%)
46,870088
Largeur (points de pourcentage)
35,683918
Intervalle de Wilson et taux observéLe point indique x/n ; le segment est l’intervalle bilatéral de Wilson. L’axe reste fixé de 0 à 100 %. Les valeurs sont aussi données ci-dessus.0%25%50%75%100%Wilson · 95%
Le point indique x/n ; le segment est l’intervalle bilatéral de Wilson. L’axe reste fixé de 0 à 100 %. Les valeurs sont aussi données ci-dessus.

Formule et convention de calcul

z = {"90":1.6448536269514715,"95":1.9599639845400536,"99":2.5758293035489}
p = x/n; D = 1 + z²/n
center = (p + z²/(2n)) / D
half = z × sqrt(p(1−p)/n + z²/(4n²)) / D
Wilson = [center − half, center + half]

Pour une très petite valeur p, la notation scientifique évite de l’afficher comme zéro. Les autres résultats sont arrondis à six décimales.

Exemples calculés à 95 % : cette table conserve son niveau quand le sélecteur change.
x / nTaux observé (%)Borne inférieure (%)Borne supérieure (%)Largeur (points de pourcentage)
0 / 50043,44824643,448246
1 / 5203,62241162,44653758,824126
5 / 510056,55175410043,448246
5 / 202511,1861746,87008835,683918
25 / 1002517,54521134,30446416,759252
250 / 10002522,4153127,7760285,360718
0 / 100003,699353,69935
100 / 10010096,300651003,69935

Tous les exemples sont construits pour expliquer les calculs, sans données de performance commerciale.

Le niveau de confiance n’est pas la probabilité qu’une affirmation soit vraie. Une valeur p ne mesure pas cette probabilité non plus.

À retenir pour le dossier

Exemples originaux, sans mesure d’un service réel. Wilson a une couverture approximative, pas une garantie de 95 % à tout effectif. L’intervalle ne corrige ni biais de sélection, ni dépendance, ni erreurs d’annotation, et ne prédit pas un changement futur du moteur.

Que faut-il publier avec un taux de citation ?

Donner x et n, la définition du positif, les cas exclus, les requêtes et leur sélection, les versions, les dates, l’unité indépendante et la méthode d’intervalle. Une présence de citation n’est pas une preuve de citation correcte ; ce critère doit être évalué séparément.

Documentation primaire

Documentation consultée le .

APPROFONDISSEMENT / PRATIQUE

Exprimer ce que les résultats permettent d’affirmer

Deux séries de réponses affichent des taux de citation différents. L’enjeu consiste à déterminer si l’écart décrit une variation reproductible ou simplement la composition des questions testées.

Mis à jour le .

Vérifications prioritaires

Examiner les effectifs, les répétitions et les dépendances entre observations. Séparer les résultats par catégorie lorsque les questions portent sur des intentions ou des niveaux de difficulté différents.

Pièges d’interprétation

Un pourcentage précis peut donner une fausse impression de solidité. Un petit échantillon ou une sélection orientée reste limité, même accompagné de décimales et de graphiques.

Document de travail à conserver

Une note d’incertitude présente le nombre de cas, la règle de classement et les variations observées. Elle précise les comparaisons défendables et les observations supplémentaires nécessaires.

EXEMPLE / LECTURE DES CHIFFRES

Une présence n’est pas toujours une représentation exacte

Données fictives pour expliquer la méthode ; aucun résultat client ni mesure du site.

Une présence n’est pas toujours une représentation exacte
ObservationNombreLecture
Questions du panel40Base fixe de comparaison.
Réponses citant la marque1212 / 40 = 30 % du panel.
Réponses décrivant correctement l’offre88 / 40 = 20 % du panel ; 8 / 12 ≈ 66,7 % des mentions.
Afficher la limite d’interprétation

Ce que ces chiffres ne prouvent pas

Ces observations ne mesurent ni la part de marché ni les ventes. Une citation peut être inexacte. Le panel, la date, la langue et les répétitions doivent accompagner le résultat.