Guides pratiques approfondis

Documenter un échantillon avant de publier une mesure

Définir population, sélection, répétitions et exclusions pour rendre un résultat de test interprétable.

Mise à jour :

Sélection de fiches et registre de mesure. Scène illustrative.

Illustration générée par IA

À quelles pages ou observations votre résultat s’applique-t-il ?

Un taux calculé sur quelques cas faciles décrit ces cas, pas automatiquement le site entier. NIST traite le plan de mesures ; WCAG-EM organise un échantillon de conformité avec des vues structurées et aléatoires. Leur logique aide à préparer un contrôle, mais les objectifs et règles de chaque méthode restent distincts.

  1. Définir la population

    Écrire quelles URL, langues, dates, requêtes et appareils entrent dans le contrôle. Nommer l’unité : page, parcours, réponse ou session. Conserver la liste de départ et sa version.

  2. Décrire la sélection

    Séparer cas choisis pour leur criticité et cas tirés sans préférence. Couvrir gabarits, fonctions et parcours complets. Documenter mécanisme, ordre de sélection et éventuels remplacements.

  3. Séparer répétitions et nouveaux cas

    Une même question répétée dix fois ne représente pas dix intentions différentes. Garder identifiant du cas, répétition, moment et contexte ; décrire la dépendance avant de calculer une incertitude.

  4. Publier les exclusions

    Enregistrer échecs techniques et cas non testés au lieu de les supprimer du dénominateur sans explication. Présenter résultats par sous-ensemble avant toute agrégation ; préciser pondération et limites.

Du constat à la décision

Un résultat global dépend de la composition du test

Cent parcours ont été choisis pour couvrir également ordinateur et mobile. Un succès signifie ici l’achèvement du parcours selon le même critère ; la sélection n’est pas un tirage représentatif du trafic.

Cas pédagogique fictif : les volumes et les dates illustrent la méthode, sans décrire une mission réelle.

Résultats par contexte de test

Échelle de 0 à 100 % ; 50 parcours sélectionnés par contexte.

  • Ordinateur : 20 / 5040 %
  • Mobile : 35 / 5070 %
Grille de lecture du cas
ObservationContrôle utileSuite à donner
Ordinateur : 20 succès sur 5020 / 50 = 40 %.Présenter le résultat de ce sous-ensemble.
Mobile : 35 succès sur 5035 / 50 = 70 %.Garder visible l’écart entre contextes.
Ensemble des tests : 55 sur 100(20 + 35) / (50 + 50) = 55 %.Décrire les cas testés, sans généraliser à tous les visiteurs.
À vous de décider — Que donnerait une pondération hypothétique 80 % ordinateur, 20 % mobile ?

Réponse expliquée

0,8 × 40 % + 0,2 × 70 % = 46 %. C’est une illustration de sensibilité aux poids, pas une estimation représentative validée par ces seuls tests.

Repère : NIST recommande de définir les objectifs et le plan d’échantillonnage, puis de documenter les exceptions. Les parcours et résultats présentés ici sont fictifs. NIST — Data Collection for PPC

Situations et arbitrages

Situations types pour préparer un contrôle. Elles ne décrivent pas des missions ou observations réalisées.

Seulement les pages faciles

Un audit fictif ne teste que des articles, alors que la décision concerne aussi recherche et formulaires. Ajouter les fonctions et parcours absents avant de généraliser.

Une requête répétée

Dix réponses illustratives à une seule requête mesurent sa variabilité. Elles ne démontrent pas la couverture de dix besoins utilisateurs indépendants.

Exercice corrigé

Douze contrôles ne couvrent pas vingt parcours

Exemple fictif : les valeurs et documents servent à apprendre la méthode, sans décrire un organisme réel.

Deux défauts ont été observés dans le lot choisi. Vérifier aussi quelles familles ne sont pas représentées.

Si le tableau dépasse l’écran, faites-le défiler horizontalement ; les flèches du clavier fonctionnent lorsque la zone est sélectionnée.

Données de départ
ÉlémentInventaireÉléments examinés
Articles88
Fiches64
Formulaires40
Recherches20

À vous de vérifier

  1. Calculer couverture totale et couverture par famille.
  2. Nommer les fonctions totalement absentes.
  3. Définir la portée du taux de défaut observé.
Lire le corrigé

Corrigé et décision

La couverture est 12/20, soit 60 % des éléments inventoriés : 100 % des articles, environ 66,67 % des fiches, 0 % des formulaires et recherches. Le taux 2/12 décrit ce lot choisi, pas automatiquement tout le site. Ajouter les fonctions absentes avant une décision qui les concerne.

Si le cas change

Un tirage aléatoire documenté pose une autre question statistique ; ne pas lui attribuer les mêmes propriétés qu’un lot choisi pour sa facilité.

Trace à conserver

Garder inventaire, sélection, motif de choix, défauts et limites de généralisation.

Preuve à conserver

  • Population et liste initiale
  • Règle de sélection et unités
  • Répétitions, exclusions et contexte
  • Dénominateur, pondération et limites

Références officielles

Protocoles connexes

Points à vérifier avant de conclure

  • La population est-elle définie ?
  • Les unités sont-elles distinctes ?
  • Les exclusions sont-elles visibles ?
  • La conclusion respecte-t-elle le périmètre ?

Un plan de sélection et un registre des observations, avec un dénominateur explicite.

Questions fréquentes

Faut-il mélanger cas critiques et cas aléatoires dans un taux unique ?

Pas sans expliquer leur sélection et leur poids. Les cas critiques servent à trouver des problèmes ; leur proportion ne représente pas automatiquement leur fréquence dans la population.

Peut-on réutiliser le même panel après une refonte ?

Oui pour comparer, à condition de suivre changements de contenu et fonctions. Compléter le panel pour les nouveaux gabarits et déclarer les cas retirés.

Comment choisir des cas représentatifs d’un site ?

Identifier les composants, contenus et actions importants puis sélectionner des cas couvrant leurs variantes. Documenter les critères et exclusions permet de comprendre la portée du contrôle sans prétendre avoir tout testé.

OUTILS / REGISTRES

Informations à relever

Il n’existe pas de taille universelle valable pour tout audit. Un intervalle statistique ne répare pas une population mal définie ou une sélection biaisée. Un contrôle par échantillon ne permet pas d’affirmer que toutes les pages ont été testées.

  • Date de consultation et fuseau
  • URL exacte
  • Échantillon / population
  • Unité de sélection et identifiant du cas
  • Cadre, mécanisme et ordre de sélection
  • Répétitions et dépendance entre observations
  • Cas exclus, non testés et raison
  • Métrique / mesure
  • Limite / incertitude
  • Décision / prochaine action
  • Responsable du contrôle
  • Prochain contrôle

REPÈRES DOCUMENTÉS

Évaluation indépendante : séparer les cas ne suffit pas si le réglage a déjà vu les réponses

Un score peut être optimiste sans erreur de formule. Les pratiques documentées par scikit-learn distinguent apprentissage, choix des réglages et évaluation finale. Pour un agent ou une grille de citations, le même problème apparaît lorsqu’on modifie les instructions après chaque lecture du jeu censé mesurer la généralisation.

TRAINVALIDATETESTfit → select → evaluate
Évaluation indépendante : séparer les cas ne suffit pas si le réglage a déjà vu les réponses
RepèreValeur ou formeCe que cela désigne
HoldoutRéserver les cas avant les ajustementsRéserver les cas d’évaluation avant les ajustements. Un corpus présenté comme indépendant ne le reste pas si ses réponses guident en permanence le choix du système, du prompt ou du seuil.
fit / transformAjuster seulement sur l’apprentissageEstimer les paramètres d’un prétraitement sur l’apprentissage, puis appliquer la transformation au test. Imputation, sélection de variables et normalisation peuvent transmettre de l’information du test si leur ajustement utilise tout le corpus.
Threshold selectionValidation ≠ test finalLe jeu de validation sert au choix du seuil ou des paramètres ; le test final doit garder son rôle d’évaluation. Tester de nombreux seuils puis publier le meilleur score du même test sélectionne aussi le bruit favorable.
GroupKFoldGroupes séparés dans chaque découpageGarder ensemble les observations d’un même groupe quand leur dépendance le justifie. Répartir des versions proches d’un document ou plusieurs traces d’une même source entre apprentissage et test peut rendre la tâche artificiellement facile.
TimeSeriesSplitPassé pour apprendre → futur pour testerRespecter l’ordre chronologique lorsque la question porte sur de futurs cas. Une séparation aléatoire peut exposer des informations ultérieures pendant l’apprentissage. Dans cet outil scikit-learn, gap est un nombre d’observations, pas une durée universelle.
random_stateRépétabilité ≠ représentativitéUne graine fixe aide à répéter une séparation aléatoire donnée. Elle ne garantit ni l’indépendance, ni la couverture des langues et situations, ni la stabilité d’un service distant qui change de version.

À retenir pour le dossier

Décrire unité de séparation, dépendances, exclusions, réglages et versions. Les méthodes de découpage sont des moyens de contrôle, pas des preuves automatiques de représentativité. Pour un système évolutif, conserver aussi la date, les cas exacts et la configuration, et refaire une évaluation indépendante après une modification pertinente.

Peut-on appeler jeu de test un corpus utilisé pour améliorer les instructions ?

Il sert alors au développement ou à la validation. Pour mesurer la généralisation après ces ajustements, réserver d’autres cas qui n’ont pas guidé les choix et publier clairement le rôle de chaque ensemble.

Documentation primaire

Documentation consultée le .

REPÈRES DOCUMENTÉS

Jugements incomplets : conserver l’inconnu et le périmètre

La pertinence se juge pour un besoin d’information donné. Une collection partiellement évaluée ne transforme pas les documents sans jugement en documents inutiles. Ce second exemple distingue couverture des jugements, précision observée et bornes possibles.

Jugements incomplets : conserver l’inconnu et le périmètre
RepèreValeur ou formeCe que cela désigne
Judged / retrieved3 / 5 = 60%Exemple original distinct des calculateurs : cinq résultats, deux pertinents, un non pertinent, deux non évalués. La couverture des jugements est 3/5 = 60 %.
P@5 bounds2 / 5 ≤ P@5 ≤ 4 / 5Si les deux inconnus ne sont pas pertinents, la précision vaut 2/5 = 40 %. S’ils sont tous deux pertinents, elle vaut 4/5 = 80 %. Ce sont des bornes déterministes, pas un intervalle de confiance.
P among judged2 / 3La précision sur les seuls résultats jugés vaut 2/3. Elle répond à une autre question et ne remplace pas la précision sur les cinq positions. Retirer les inconnus change aussi les rangs.
Recall · collection?Sans ensemble des documents pertinents de la collection, le rappel global ne se déduit pas de ces cinq résultats. Documenter le pool, les consignes, l’évaluateur, la version du corpus et la date.
Exemple distinct : cinq résultats et deux jugements manquants
RangStatut du jugement
1Pertinent
2Non évalué
3Non pertinent
4Pertinent
5Non évalué

Un jugement absent ne reçoit pas automatiquement le grade zéro.

judged = 3/5 = 0.6
P@5 ∈ [2/5, 4/5] = [0.4, 0.8]
P(judged) = 2/3 ≈ 0.666667

À retenir pour le dossier

Ces cinq statuts sont une construction pédagogique, pas des observations du site. Le pooling peut laisser des documents pertinents sans jugement. Les métriques hors ligne ne prouvent ni exactitude factuelle d’une réponse générée ni satisfaction de tous les utilisateurs.

Qu’ajouter au protocole avant de comparer deux moteurs ?

Évaluez les mêmes requêtes et documents avec les mêmes consignes, conservez les inconnus et annoncez leur traitement. Distinguez la qualité de récupération des passages, la fidélité d’une réponse aux passages et la validité de ses sources ; un score de classement ne couvre pas ces trois contrôles.

Documentation primaire

Documentation consultée le .

REPÈRES DOCUMENTÉS

Construire le panel : 20 cas structurés, 2 tirés, puis les parcours manquants

WCAG-EM 2.0, note de groupe du 23 juillet 2026, décrit un complément aléatoire égal à 10 % du panel structuré, hors cas déjà sélectionnés. Ce pourcentage porte sur le panel structuré, pas sur toutes les pages du site. La méthode inclut aussi les processus complets ; une URL seule peut manquer les états successifs d’un formulaire.

Panel structuré20S01…S20
Scénario fictif : 20 vues distinctes couvrent les familles de contenu et fonctions retenues. Une même vue peut couvrir plusieurs caractéristiques ; on ne la compte pas deux fois pour cette raison.
Complément aléatoire2R01, R02
Deux vues distinctes sont tirées hors du premier ensemble : 10 % × 20 = 2. Conserver la liste de départ, la méthode et les identifiants tirés. Ce calcul ne fixe pas la taille du panel structuré.
Complément de parcours3P01, P03, P04
Dans ce scénario, R02 est l’étape 2 d’un parcours de quatre vues. Les étapes 1, 3 et 4 ne sont dans aucun des deux ensembles : elles ajoutent trois vues, identifiées P01, P03 et P04.
Total du scénario25S ∪ R ∪ P
Les ensembles sont disjoints dans cet exemple : 20 + 2 + 3 = 25 vues. Un chevauchement aurait changé le total. Le nombre ne mesure ni la couverture de tous les états possibles ni la conformité du produit.

25 vues distinctes, trois raisons d’inclusion

Panel structuré
20
Complément aléatoire
2
Complément de parcours
3
Chaque case représente une vue de ce scénario, pas une page réellement auditée sur ce site. Les lettres gardent la raison de sa première inclusion : S, structurée ; R, aléatoire ; P, complément de parcours.

Une seule adresse, quatre vues à identifier

Dans le service fictif /demande, la navigation conserve la même URL. R02 montre le formulaire rempli à l’étape 2. Tester cette vue seule ne documente ni le début ni la fin du parcours.

  1. P01 · ouvrir le formulaire
  2. R02 · saisir les informations
  3. P03 · relire le récapitulatif
  4. P04 · afficher la confirmation

Si le tableau dépasse l’écran, faites-le défiler horizontalement ; au clavier, sélectionnez la zone puis utilisez les flèches.

Du nombre de vues à une trace reproductible
Vue ou situationTrace à conserverCe qui reste à vérifier
R02 · formulaire rempliURL /demande, étape 2, langue, version, données d’essai fictives et actions nécessaires.Accéder aux autres étapes ; ne pas les déduire de cette capture.
Erreur de saisieMême URL, champ en erreur, message affiché et action qui déclenche cet état.Ajouter cette branche pertinente : elle ne figure pas encore dans les 25 vues.
Autre langueIdentifiant de variante, langue et sens de lecture.Le français observé ne couvre pas automatiquement l’arabe ; sélectionner ses interactions pertinentes.
Vue impossible à ouvrirIdentifiant prévu, tentative, blocage et éventuel remplacement motivé.Garder le non-test visible ; un remplacement facile ne prouve pas le contrôle de la vue bloquée.
Que faire si le tirage révèle un nouveau type de formulaire ?

Revoir la couverture structurée et consigner les ajouts, puis comparer les constats des deux ensembles. Le tirage sert aussi à détecter une exploration incomplète. Dans ce scénario, le total de 25 est un état du plan, pas un plafond à respecter.

Pour reprendre ce cas : conserver une ligne par vue avec identifiant, origine de sélection, contexte, actions, état attendu et statut testé / non testé. Associer les étapes au même parcours ; séparer une observation manquante d’une vérification réussie.

À retenir pour le dossier

Ces nombres et identifiants sont fictifs. Un panel évalué ne suffit pas à lui seul à affirmer la conformité WCAG de tout le produit. Le contrôle vise aussi les branches critiques ; les quatre étapes présentées illustrent seulement le chemin nominal.

Documentation primaire

Documentation consultée le .

REPÈRES DOCUMENTÉS

Lire une série réelle : l’usage d’Internet, 2020–2024

Ces observations permettent de comparer une variation en points et une variation relative sur une série publiée. Les trois pays constituent un choix de lecture, pas un classement de performance numérique.

L’indicateur mesure la part de la population ayant utilisé Internet au cours des trois derniers mois. Il ne mesure ni le temps de connexion, ni la qualité d’un accès, ni l’usage d’un assistant IA.

IT.NET.USER.ZS · Extraction · Dernière mise à jour signalée par l’API .

Part de la population · % · axe de 0 à 100Graphique des trois séries ; toutes les valeurs sont disponibles dans le tableau suivant.025507510020202021202220232024FranceAllemagneEspagne
Part de la population · % · axe de 0 à 100 · FranceAllemagneEspagne
Lire une série réelle : l’usage d’Internet, 2020–2024 · %
Pays20202021202220232024
France84,7186,1085,3386,8488,65
Allemagne89,8191,4391,6392,4893,50
Espagne93,2193,9094,4995,4595,76

France : de 84,71% en 2020 à 88,65% en 2024 ; 3,95 points, soit 4,66% relativement au départ.

Les valeurs du tableau sont arrondies à deux décimales ; les calculs utilisent les valeurs reçues sans cet arrondi. Les révisions de la série et les différences de collecte doivent être examinées avant toute explication causale.

Source : UIT, diffusée par la Banque mondiale. Extrait et graphique réalisés par Alexis Roux ZG. CC BY 4.0

Consulter la série officielle · Définition et méthode

APPROFONDISSEMENT / PRATIQUE

Décrire la sélection avant de présenter un taux

Un audit ne contrôle qu’une partie du corpus. La documentation doit préciser population, unité de sélection, mécanisme de choix et cas non testés avant d’interpréter les résultats.

Mis à jour le .

Vérifications prioritaires

Conserver liste de départ, critères, ordre de sélection et exclusions. Distinguer échantillon orienté, sélection aléatoire et parcours choisis pour couvrir des situations particulières.

Pièges d’interprétation

Un nombre élevé de tests ne corrige pas une couverture incomplète. Des observations répétées sur la même page peuvent donner une impression de diversité trompeuse.

Document de travail à conserver

La fiche d’échantillon indique population, cas retenus, exclusions et portée de la conclusion. Les mesures publient le dénominateur réellement observé.