Quatre sur dix
Quatre succès sur dix donnent 40 % et un intervalle de Wilson à 95 % d’environ 16,8–68,7 %, sous les hypothèses indiquées. Le taux seul masque cette largeur ; ce résultat ne permet pas un classement universel des services.
Guides pratiques approfondis
Distinguer taux observé, taille de l’échantillon et incertitude statistique pour interpréter un observatoire de réponses IA.
Mise à jour :

Illustration générée par IA
Une proportion sans dénominateur masque sa fragilité. Quatre réponses citées sur dix et quarante sur cent donnent le même taux observé, mais pas la même précision sous un modèle binomial. L’intervalle de Wilson permet d’explorer cette différence. Il ne transforme pas un panel choisi en échantillon représentatif des utilisateurs.
Choisissez avant la collecte ce qui compte : présence d’un lien, citation soutenant le fait ou réponse exacte. Comptez une observation binaire selon cette règle. Documentez échecs, exclusions et réponses inaccessibles sans modifier la règle après avoir vu le résultat.
Fixez langue, interface, pays, modèle ou mode et période. Des relances dans la même conversation peuvent être dépendantes. Séparez les strates lorsque les conditions changent ; multiplier une question ne crée pas une diversité de besoins.
L’intervalle de Wilson à 95 % décrit ici des observations binaires indépendantes à probabilité stable. Il reste calculable sans succès ou avec tous les succès. Le niveau de confiance caractérise la méthode dans des répétitions du protocole, pas la vérité d’une citation ni la représentativité du panel.
Conservez taux, effectifs, hypothèses et seuil opérationnel. Si l’incertitude empêche la décision, redéfinissez la collecte avant de multiplier les relances. Une comparaison avant/après sur les mêmes questions est appariée et exige une analyse du changement ; deux intervalles isolés ne constituent pas ce test.
Atelier de lecture
Le lot DEMO contient dix réponses inventées. Le succès signifie ici une citation qui soutient l’affirmation, pas la seule présence d’un lien.
Données et traces fictives pour apprendre : aucun résultat présenté ici ne provient d’un service interrogé en direct.
Quatre réponses sont classées étayées, quatre non étayées et deux restent indécises après lecture. Le panel a été choisi pour l’exercice ; son indépendance et sa représentativité ne sont pas établies.
Si le tableau dépasse l’écran, faites-le défiler horizontalement ; les flèches du clavier fonctionnent lorsque la zone est sélectionnée.
| Lecture | Calcul | Ce que le nombre décrit | Décision |
|---|---|---|---|
| État des annotations | 4 étayées ; 4 non étayées ; 2 indécises | Dix réponses reçues, pas dix jugements binaires finalisés | Conserver les cas indécis et leur motif. |
| Part confirmée sur le lot | 4 / 10 = 40 % | Citabilité déjà confirmée dans le lot | Ne pas appeler les deux indécises des échecs établis. |
| Taux sur les seules classées | 4 / 8 = 50 % | Taux conditionnel à une annotation décidée | Publier aussi les deux exclusions et le total dix. |
| Issues possibles de la relecture | 4 / 10 à 6 / 10 : 40–60 % | Fourchette de classement, pas intervalle de confiance | Résoudre les annotations avant d’utiliser un modèle binaire. |
Ouvrir chaque proposition pour comparer son diagnostic. Plusieurs contrôles peuvent rester nécessaires.
Non. Le dénominateur du 50 % est huit. La phrase efface le changement de population et les deux annotations ouvertes.
Non. Ces bornes viennent uniquement des deux issues de classement possibles ; aucune probabilité d’échantillonnage n’a été calculée.
Oui. Ajouter le taux conditionnel si utile et décrire le panel. Une incertitude d’annotation n’est pas une incertitude d’échantillonnage.
Lot : DEMO, dix réponses choisies Règle : citation soutenant l’affirmation Décidées : 4 étayées et 4 non étayées Indécises : 2, passages à revoir Confirmée : 4/10 ; conditionnelle : 4/8 Issues de classement : 40–60 %, sans niveau de confiance Suite : arbitrage documenté des deux cas
Cette fourchette ne quantifie ni les comportements futurs du modèle ni le biais du panel. Ne pas remplacer automatiquement dix par huit dans tous les calculs.
Quatre succès sur dix donnent 40 % et un intervalle de Wilson à 95 % d’environ 16,8–68,7 %, sous les hypothèses indiquées. Le taux seul masque cette largeur ; ce résultat ne permet pas un classement universel des services.
Le taux observé vaut zéro, mais la borne supérieure est environ 27,8 %. Aucune citation dans cet échantillon ne démontre pas une impossibilité de citation.
Dix-huit succès sur vingt donnent 90 %. Sous les hypothèses binomiales indiquées, Wilson à 95 % donne environ 69,9–97,2 %. Si la décision exige un taux supérieur à 80 %, la borne basse ne confirme pas ce dépassement. Publiez les effectifs et la règle de décision.
Cas fictif : la même question est relancée vingt fois dans une conversation, alors qu’un autre panel contient vingt besoins différents. Même avec le même taux brut, diversité et dépendance ne sont pas comparables. Conserver identifiant de question et de session, et décrire les résultats par groupe avant de calculer un indicateur global.
Du constat à la décision
Deux collectes fictives donnent 40 % : 4 succès sur 10 et 40 sur 100. Le calcul suppose des observations binaires indépendantes à probabilité stable. Les intervalles décrivent cette hypothèse, sans certifier la représentativité des questions.
Cas pédagogique fictif : les volumes et les dates illustrent la méthode, sans décrire une mission réelle.
De gauche à droite : 0 à 100 %. Bande : intervalle de Wilson à 95 % ; trait vertical : taux observé de 40 %.
| Observation | Contrôle utile | Suite à donner |
|---|---|---|
| 4 succès sur 10 | Taux : 40 % ; Wilson à 95 % : 16,8–68,7 %. | Une largeur d’environ 51,9 points laisse une forte incertitude. |
| 40 succès sur 100 | Taux : 40 % ; Wilson à 95 % : 30,9–49,8 %. | La largeur est d’environ 18,9 points ; le protocole reste à examiner. |
| Même proportion, bases différentes | L’effectif change la précision sous le modèle. | Présenter simultanément succès, total, intervalle et hypothèses. |
Non. Le nombre de lignes ne prouve ni l’indépendance ni la diversité. Conservez question, session et conditions ; examinez les groupes de réponses dépendantes. Si le protocole ne permet pas une inférence probabiliste, présentez les résultats comme une description du panel.
Méthode : intervalle de Wilson bilatéral à 95 %, avec z ≈ 1,96. Les comptes sont fictifs et les bornes arrondies à un dixième de point. NIST — Confidence intervals for proportions
Exercice corrigé
Exemple fictif : les valeurs et documents servent à apprendre la méthode, sans décrire un organisme réel.
Les catégories du panel sont disjointes. Une réponse illisible n’est pas une absence de citation observée.
Si le tableau dépasse l’écran, faites-le défiler horizontalement ; les flèches du clavier fonctionnent lorsque la zone est sélectionnée.
| Observation | Effectif |
|---|---|
| Citation observée | 12 |
| Lisible sans citation | 4 |
| Impossible à examiner | 4 |
Sur les 16 réponses lisibles, le taux vaut 12/16 = 75 %. Sur les 20, le nombre de citations reste entre 12 et 16, soit 60–80 %, selon les quatre inconnues. Ce sont des bornes de données manquantes, pas un intervalle de confiance de Wilson. Aucun traitement ne rend les réponses inconnues observées.
Après récupération des quatre réponses, remplacer les inconnues par leurs états réels et publier la version du bilan.
Garder comptes par état, dénominateurs, motif de non-lecture et règle d’exclusion.
Non. Le taux est k/n. Le niveau 95 % qualifie la méthode d’intervalle sous les hypothèses indiquées.
Non. Le recouvrement n’est pas un test de différence, et des observations appariées nécessitent un traitement adapté.
Définir cette règle avant la collecte. Un taux conditionnel sur les réponses lisibles doit être accompagné du nombre d’échecs d’accès et du total tenté. Ne pas transformer automatiquement chaque réponse inaccessible en absence de citation ni l’exclure sans le signaler.
Prévoir une catégorie incertaine et décrire le motif. Une seconde lecture peut préciser le jugement ; elle ne doit pas effacer les limites ou imposer une certitude que le cas ne permet pas.
MESURE / SOURCES DE VISIBILITÉ
Une présence dans une réponse IA et une visite sur votre site se produisent à des étapes différentes. Choisissez le signal qui répond à votre question avant de comparer des périodes.
Une exploration peut rendre une page disponible à la recherche.
Un lien peut apparaître dans une réponse sans recevoir de clic.
Le site observe une arrivée, dans les limites de son dispositif de mesure.
| Source du relevé | Ce qui est mesuré | Limite à conserver |
|---|---|---|
| Google · IA générative dans Search Console Documentation officielle | Impressions des liens dans AI Overviews et AI Mode, ventilables notamment par page, pays et appareil. | Les jours sont en heure du Pacifique (PT). Le total par propriété et la somme des lignes par page peuvent différer par agrégation. Si le rapport n’apparaît pas, Google indique que le site reçoit généralement trop peu d’impressions dans ces fonctionnalités. |
| Bing Webmaster Tools · AI Performance Documentation officielle · Annonce de Bing | Citations visibles et pages citées dans les expériences IA prises en charge ; les requêtes de grounding sont regroupées. | Une citation ne mesure ni un clic, ni une position, ni l’importance d’une page. Les requêtes regroupées ne restituent pas les prompts individuels. Les requêtes affichées reflètent un échantillon de l’activité de citation. |
| Mesure sur le site | Arrivées et actions enregistrées selon la configuration de votre mesure. | Une visite attribuée ne représente pas toutes les impressions. Un référent absent ou une mesure bloquée limite l’attribution. |
| Panel de questions documenté | Présence et fidélité des citations sur un ensemble de réponses observées. | Le résultat dépend des questions, du mode, de la langue et de la date. Il ne décrit pas l’ensemble des utilisateurs. |
Les impressions du rapport IA de Google font partie du périmètre Web de Search Console : ne les additionnez pas au total Web. Comparez séparément visibilité, citations et visites.
Comparer le périmètre de deux relevésDocumentation consultée le .
REPÈRES DOCUMENTÉS
La dispersion décrit la variation des observations ; l’incertitude d’un estimateur décrit la variabilité de son estimation dans un cadre statistique. Ces deux notions peuvent partager une unité sans répondre à la même question. La documentation R précise le dénominateur de son écart-type, tandis que le NIST présente les hypothèses nécessaires aux intervalles sur une moyenne.
| Repère | Valeur ou forme | Ce que cela désigne |
|---|---|---|
| Sample variance | Σ(xᵢ − mean)² / (n − 1) | La variance d’échantillon utilise ici n − 1, avec n le nombre d’observations retenues. Une formule divisant par n n’est pas identique ; préciser le dénominateur avant de comparer les logiciels. |
| Sample SD | √variance | Racine de la variance : elle revient dans l’unité de la variable. La variance, elle, porte le carré de cette unité. Un grand écart-type n’établit pas à lui seul une erreur de collecte. |
| IQR | Q3 − Q1 | Écart entre troisième et premier quartile, dans l’unité d’origine. Il décrit la partie centrale et dépend de la convention de quartiles ; conserver l’algorithme utilisé. |
| Range | max − min | Écart entre maximum et minimum, très sensible aux observations extrêmes. Ne pas l’appeler intervalle de confiance ou probabilité de couverture d’une valeur future. |
| SE(mean) | s / √n · assumptions required | La formule simple s/√n pour l’erreur-type d’une moyenne suppose un cadre adapté, notamment l’indépendance des observations. Elle ne suffit pas pour tout sondage pondéré, toute série temporelle ou tout relevé répété. |
| n < 2 | R sd(): NA | La fonction sd() documentée renvoie NA pour zéro ou une observation. Un résultat absent ne doit pas devenir automatiquement un écart-type de zéro. |
Un intervalle sur une moyenne exige d’indiquer le modèle, le niveau et la méthode, pas seulement d’ajouter et retrancher un écart-type. Pour des citations d’IA, des réponses produites par le même système ou la même source peuvent être dépendantes. Augmenter le nombre de lignes ne garantit donc pas la même réduction d’incertitude qu’avec autant d’observations indépendantes.
Seulement après avoir identifié ce que les barres représentent. SD décrit la dispersion des observations, SE l’estimation d’une moyenne dans un modèle ; une barre plus courte ne prouve pas à elle seule une population moins dispersée.
Documentation consultée le .
REPÈRES DOCUMENTÉS
Cinq observations positives sur vingt donnent 25 %, comme 250 sur 1 000. Sous un modèle binomial adapté, ces deux estimations n’ont pourtant pas la même précision. L’explorateur distingue le taux constaté, le niveau de confiance et les bornes calculées.
| Repère | Valeur ou forme | Ce que cela désigne |
|---|---|---|
| Observed proportion | x / n | x compte les cas positifs selon un critère fixé ; n compte tous les cas évaluables. Une réponse absente ou indécidable ne devient pas un négatif : documenter séparément les exclusions. |
| Wilson score | two-sided | Wilson est un intervalle de score bilatéral. Son centre n’est généralement pas x/n ; les bornes restent entre 0 et 1. Ce n’est pas l’intervalle de Wald ni l’intervalle binomial exact de Clopper–Pearson. |
| Confidence level | 90% · 95% · 99% | Les niveaux proposés sont 90 %, 95 % et 99 %, avec le quantile normal correspondant. La confiance décrit la couverture de la procédure lors de répétitions du plan d’échantillonnage ; ce n’est pas une probabilité a posteriori sur ce seul intervalle. |
| x = 0 | upper limit > 0 | Avec x = 0 et n > 0, la borne supérieure reste positive. Aucun événement constaté ne démontre pas que l’événement soit impossible. Avec n = 0, aucun intervalle n’est calculé. |
| Sampling model | independent · common probability | Le modèle suppose des essais indépendants de même probabilité. Des réponses répétées à une même requête, des cas groupés ou un échantillon choisi pour sa facilité ne satisfont pas automatiquement ces conditions. |
Exercice pédagogique : aucune observation d’un service réel. Positif et négatif désignent uniquement le critère déclaré.
Conditions du modèle : essais indépendants de même probabilité. Un échantillon choisi et des répétitions dépendantes ne deviennent pas représentatifs grâce à cet intervalle.
Indiquez des entiers avec 1 ≤ n ≤ 1 000 000 et 0 ≤ x ≤ n.
Le calcul reste dans le navigateur ; aucune saisie transmise et aucun fichier créé.
Résultats calculés · x = 5 · n = 20 · 95%
z = {"90":1.6448536269514715,"95":1.9599639845400536,"99":2.5758293035489}
p = x/n; D = 1 + z²/n
center = (p + z²/(2n)) / D
half = z × sqrt(p(1−p)/n + z²/(4n²)) / D
Wilson = [center − half, center + half]Pour une très petite valeur p, la notation scientifique évite de l’afficher comme zéro. Les autres résultats sont arrondis à six décimales.
| x / n | Taux observé (%) | Borne inférieure (%) | Borne supérieure (%) | Largeur (points de pourcentage) |
|---|---|---|---|---|
| 0 / 5 | 0 | 0 | 43,448246 | 43,448246 |
| 1 / 5 | 20 | 3,622411 | 62,446537 | 58,824126 |
| 5 / 5 | 100 | 56,551754 | 100 | 43,448246 |
| 5 / 20 | 25 | 11,18617 | 46,870088 | 35,683918 |
| 25 / 100 | 25 | 17,545211 | 34,304464 | 16,759252 |
| 250 / 1000 | 25 | 22,41531 | 27,776028 | 5,360718 |
| 0 / 100 | 0 | 0 | 3,69935 | 3,69935 |
| 100 / 100 | 100 | 96,30065 | 100 | 3,69935 |
Tous les exemples sont construits pour expliquer les calculs, sans données de performance commerciale.
Le niveau de confiance n’est pas la probabilité qu’une affirmation soit vraie. Une valeur p ne mesure pas cette probabilité non plus.
Exemples originaux, sans mesure d’un service réel. Wilson a une couverture approximative, pas une garantie de 95 % à tout effectif. L’intervalle ne corrige ni biais de sélection, ni dépendance, ni erreurs d’annotation, et ne prédit pas un changement futur du moteur.
Donner x et n, la définition du positif, les cas exclus, les requêtes et leur sélection, les versions, les dates, l’unité indépendante et la méthode d’intervalle. Une présence de citation n’est pas une preuve de citation correcte ; ce critère doit être évalué séparément.
Documentation consultée le .
APPROFONDISSEMENT / PRATIQUE
Deux séries de réponses affichent des taux de citation différents. L’enjeu consiste à déterminer si l’écart décrit une variation reproductible ou simplement la composition des questions testées.
Mis à jour le .
Examiner les effectifs, les répétitions et les dépendances entre observations. Séparer les résultats par catégorie lorsque les questions portent sur des intentions ou des niveaux de difficulté différents.
Un pourcentage précis peut donner une fausse impression de solidité. Un petit échantillon ou une sélection orientée reste limité, même accompagné de décimales et de graphiques.
Une note d’incertitude présente le nombre de cas, la règle de classement et les variations observées. Elle précise les comparaisons défendables et les observations supplémentaires nécessaires.
EXEMPLE / LECTURE DES CHIFFRES
Données fictives pour expliquer la méthode ; aucun résultat client ni mesure du site.
| Observation | Nombre | Lecture |
|---|---|---|
| Questions du panel | 40 | Base fixe de comparaison. |
| Réponses citant la marque | 12 | 12 / 40 = 30 % du panel. |
| Réponses décrivant correctement l’offre | 8 | 8 / 40 = 20 % du panel ; 8 / 12 ≈ 66,7 % des mentions. |
Ces observations ne mesurent ni la part de marché ni les ventes. Une citation peut être inexacte. Le panel, la date, la langue et les répétitions doivent accompagner le résultat.