Construire des requêtes représentatives, vérifier les résultats par langue et améliorer les parcours sans confondre présence d’un moteur et réussite de la recherche.
Mise à jour :
Illustration générée par IA
L’utilisateur peut-il trouver le contenu qui répond à son besoin ?
Une recherche interne sert des intentions différentes : retrouver une fiche connue, explorer un sujet ou comprendre quel outil utiliser. Un résultat techniquement renvoyé ne prouve pas que le contenu utile est visible. L’évaluation doit relier la requête à une tâche et vérifier le titre, l’extrait, la destination et la langue. Un petit ensemble de questions bien documentées vaut mieux qu’un score calculé sur des requêtes sans objectif.
Établir un jeu de tâches
Choisir des contenus importants dans chaque grande famille : guide, fiche, catégorie, outil et dossier. Pour chaque tâche, écrire ce que la personne cherche et les pages qui répondent réellement à ce besoin. Inclure un besoin sans réponse connue pour tester l’absence de résultat.
Varier les formulations pertinentes
Tester le titre exact, une expression usuelle, un terme métier et une formulation plus courte. Ajouter accents, apostrophes, caractères non latins et abréviations effectivement employées. Les variantes doivent représenter des usages plausibles, pas seulement reproduire les mots choisis par l’équipe éditoriale.
Contrôler chaque langue séparément
Effectuer les recherches depuis les six interfaces. Vérifier les intitulés de filtres, les extraits, les messages et la langue du lien final. Lorsque le corpus est localisé, un résultat ne doit pas renvoyer sans explication vers une autre version linguistique.
Évaluer le résultat et la destination
Relever où apparaît la page attendue et si son titre permet de la reconnaître. Ouvrir le résultat puis confirmer que le passage utile existe encore. Un extrait ancien, une fiche supprimée ou une catégorie trop large peuvent tromper même lorsque le classement paraît bon.
Vérifier les états du parcours
Tester requête vide, aucune réponse, filtre actif, plusieurs pages de résultats et retour arrière. Vérifier la conservation de la requête et de la langue. Parcourir le formulaire au clavier et confirmer que son libellé décrit l’action et que les messages restent compréhensibles.
Corriger la cause puis rejouer
Distinguer contenu absent, index périmé, terminologie différente, lien incorrect et classement inadéquat. Choisir la correction correspondant au constat. Rejouer le jeu de tâches après reconstruction de l’index pour vérifier le gain et détecter une régression dans une autre famille.
Définir plusieurs réponses acceptables
Pour une intention large, plusieurs pages peuvent convenir. Avant le test, distinguer réponse directement utile, complément acceptable et résultat hors sujet. Noter aussi si le lecteur veut une explication, une fiche ou un modèle téléchargeable. Cette distinction permet de juger un classement sans exiger artificiellement une seule URL pour chaque formulation.
Atelier de lecture
Lire un classement avec une coupure annoncée
Un jeu fictif de cinq résultats permet de calculer précision, rappel et rang réciproque sans changer de dénominateur en cours de lecture.
Données et traces fictives pour apprendre : aucun résultat présenté ici ne provient d’un service interrogé en direct.
La requête DEMO-Q03 et ses réponses jugées
Le classement est A, B, C, D, E. La référence de pertinence contient C, E et F. On examine seulement les trois premiers résultats : k=3 et m=3 résultats effectivement retenus.
Si le tableau dépasse l’écran, faites-le défiler horizontalement ; les flèches du clavier fonctionnent lorsque la zone est sélectionnée.
La requête DEMO-Q03 et ses réponses jugées
Élément du calcul
Valeur du cas
Lecture
Contrôle à conserver
Résultats jusqu’à la coupure
A, B, C ; m=3
E existe dans le classement, mais reste hors de la coupe.
Fixer la coupe avant le calcul et garder l’ordre original.
Référence pertinente
C, E, F ; trois réponses
F ne figure pas dans les résultats retournés.
Conserver la justification des jugements et la version du corpus.
Intersection à k=3
C seulement ; un résultat pertinent retrouvé
Précision = 1/3 ; rappel = 1/3.
Ici la précision divise par m, le nombre réellement retenu jusqu’à k ; annoncer cette convention.
Premier résultat pertinent
C au rang 3 ; rang réciproque RR = 1/3
Il s’agit d’une seule requête, pas d’une moyenne MRR.
Ne pas présenter ce cas isolé comme la performance générale du moteur.
Évaluer votre classement et votre référence de pertinence
Une requête, des identifiants ASCII exacts (lettres, chiffres, point, tiret, deux-points ou soulignement), 32 caractères maximum. Un identifiant par ligne ; blancs de bordure et lignes vides ignorés. Au plus 20 résultats classés et 100 références pertinentes, sans répétition. Coupure k de 1 à 20.
Résultat du jeu fourni
Coupure demandée k
3
Résultats examinés m
3
Pertinents retrouvés
1
Pertinents de référence
3
Précision sur m résultats (%)
33,33
Rappel dans la référence (%)
33,33
Rang du premier pertinent
3
Rang réciproque, une requête
0,3333
m est le nombre réellement fourni jusqu’à k. Précision = pertinents retrouvés / m ; rappel = pertinents retrouvés / taille de la référence. Un dénominateur nul laisse le taux non défini. Le rang réciproque vaut 1/rang du premier pertinent, ou zéro sans succès.
Positions effectivement examinées
Rang
Identifiant exact
Jugement fourni
1
A
Absent de la référence
2
B
Absent de la référence
3
C
Pertinent dans la référence
Les jugements fournis définissent ce calcul ; les documents absents de la référence sont traités comme non pertinents. Une référence incomplète ne donne pas le rappel global. Aucun moteur n’est interrogé. Ce rang réciproque n’est pas une moyenne MRR ; si m est inférieur à k, la précision utilise m, contrairement à une convention à dénominateur k fixe.
Quel bilan respecte à la fois la coupe et les jugements ?
Ouvrir chaque proposition pour comparer son diagnostic. Plusieurs contrôles peuvent rester nécessaires.
Précision 2/5, car C et E sont pertinents.
Ce calcul utilise les cinq résultats, alors que la coupe annoncée est trois. Il répond à une autre question.
Rappel 1/5, car le classement contient cinq éléments.
Mauvais dénominateur. La référence pertinente contient trois éléments ; à la coupe, un seul a été retrouvé.
À k=3 : précision 1/3, rappel 1/3 et RR 1/3.
C’est le bilan de ce cas avec m=3. Les trois fractions sont égales ici pour des raisons différentes ; elles ne sont pas interchangeables.
Trace fictive du calcul
Requête : DEMO-Q03
Classement : A, B, C, D, E
Référence pertinente : C, E, F
Coupe : k=3 ; réellement retenus : m=3
Intersection : C ; nombre : 1
Précision : 1/3 ; rappel : 1/3
Premier pertinent : rang 3 ; RR : 1/3
A à F sont des identifiants inventés. Les jugements sont posés pour l’exercice et ne proviennent pas d’une évaluation réelle du site.
Documentation des règles, distincte des exemples fictifs
Chercher son titre et vérifier si elle figure dans l’index localisé. Si elle manque, corriger l’inclusion ou l’extraction. Si elle est présente, examiner les termes indexés avant d’ajouter une page qui ferait doublon.
Un filtre produit une impasse
Vérifier si le filtre restreint réellement le type demandé et s’il demeure identifiable dans l’état sans résultat. Proposer sa suppression ou une reformulation utile ; ne pas inventer une liste de résultats pour remplir l’écran.
Un résultat change de langue à l’ouverture
Comparer l’URL du résultat avec celle du contenu équivalent. Corriger le paramètre ou le routage, puis tester pagination et retour. Un titre traduit ne suffit pas si la destination réinitialise la langue.
Un guide et son modèle ont le même titre
Cas illustratif : deux résultats portent le même titre, mais l’un ouvre la méthode et l’autre un document vierge. Tester séparément « comprendre la méthode » et « obtenir le modèle ». Départager selon la tâche et rendre la nature du résultat visible ; un lien techniquement correct peut encore mener au mauvais type de réponse.
Un sigle court produit des correspondances parasites
Exemple de recette : la requête API ne devrait pas retrouver une page seulement parce que « capitale » contient ces trois lettres. Vérifier les mots courts comme unités, puis les sigles présents dans les titres et dans le corps. Conserver un cas réellement pertinent et un cas exclu pour éviter qu’une correction augmente artificiellement le rappel.
Exercice corrigé
Mesurer une recherche par la tâche accomplie
Exemple fictif : les valeurs et documents servent à apprendre la méthode, sans décrire un organisme réel.
Tâche : vérifier une jointure plusieurs-vers-un. Les jugements ci-dessous sont les données de l’exercice.
Si le tableau dépasse l’écran, faites-le défiler horizontalement ; les flèches du clavier fonctionnent lorsque la zone est sélectionnée.
Données de départ
Rang
Résultat fictif
Tâche couverte
1
Article général
Non
2
Guide de contrôle de jointure
Oui
3
Fiche d’entité
Non
4
Cas de jointure corrigé
Oui
5
Contrôles de cardinalité
Oui
À vous de vérifier
Compter les résultats qui satisfont réellement la tâche.
Calculer la précision parmi les cinq résultats.
Relever le rang du premier résultat utile et son inverse.
Lire le corrigé
Corrigé et décision
La précision à cinq résultats est 3/5, soit 60 %. Le premier résultat utile est au rang 2 ; son rang réciproque vaut 1/2. Ces mesures distinguent bruit dans la liste et difficulté d’accès à la première réponse utile.
Si le cas change
Un résultat contenant le mot jointure sans expliquer le contrôle ne satisfait pas cette tâche. Revoir le jugement si son contenu change.
Trace à conserver
Conserver requête, tâche, cinq destinations, jugements de pertinence et date du contrôle.
REPÈRES DOCUMENTÉS
Premiers résultats : distinguer précision, rappel et premier succès
Un classement peut retrouver autant de documents pertinents qu’un autre tout en les plaçant beaucoup plus loin. L’exercice ci-dessous sépare la qualité des k premiers résultats, la couverture du corpus et l’attente avant le premier résultat utile.
Premiers résultats : distinguer précision, rappel et premier succès
Repère
Valeur ou forme
Ce que cela désigne
Corpus
A–H · R = 4
Dans cet exercice original, les huit documents A–H sont tous évalués pour une seule requête. Un grade supérieur à zéro est pertinent : B, C, D et F, soit R = 4.
P@k / Recall@k
hits / k · hits / R
La précision divise les résultats pertinents retrouvés par k. Le rappel utilise les quatre documents pertinents du corpus, y compris ceux qui ne sont pas retournés.
RR@k
1 / first relevant rank
RR@k vaut l’inverse du rang du premier résultat pertinent dans la fenêtre ; zéro si la fenêtre n’en contient aucun. C’est une mesure par requête, pas une moyenne MRR.
AP@k · R denominator
Σ P@i × rel(i) / R
Convention annoncée ici : AP@k = somme des précisions aux rangs pertinents jusqu’à k, divisée par R. Les documents pertinents non retournés contribuent zéro. Certains outils emploient un autre dénominateur.
Explorer le classement
Exercice original : grades fixés pour une seule requête, sans données personnelles ni requête envoyée à un moteur. A = 0, B = 3, C = 1, D = 2, E = 0, F = 3, G = 0, H = 0. Les identifiants ne représentent pas des documents réels.
De 1 à 8 identifiants A–H distincts, séparés par des virgules. Les documents omis restent dans le corpus de référence.
Le calcul reste dans votre navigateur. Les deux explorateurs sont indépendants.
Classement initial A,C,E,B ; k = 4. La référence idéale inclut aussi D et F, absents de la liste retournée.
Exemple pédagogique, sans mesure d’un moteur réel. La liste impose des identifiants uniques et un ordre total ; aucun traitement implicite des ex æquo. Les résultats sont arrondis à six décimales, les calculs utilisent les valeurs non arrondies.
Pourquoi deux listes à précision égale peuvent-elles avoir un RR différent ?
A,C,E,B et B,A,E,C ont chacune deux documents pertinents parmi quatre. Leur précision et leur rappel valent 0,5, mais le premier succès est au rang 2 dans la première liste et au rang 1 dans la seconde : RR@4 vaut donc 0,5 ou 1.
Le jeu de requêtes couvre-t-il aussi une recherche sans résultat, un homonyme et une expression présente seulement dans le corps du texte ?
Les liens des résultats ouvrent-ils la bonne rubrique et conservent-ils la langue, les paramètres et l’ancre utile ?
Les résultats attendus et les échecs observés sont-ils conservés avec la version du corpus utilisée pour la recette ?
Le classement distingue-t-il explication et modèle sans masquer les autres réponses utiles ?
Questions fréquentes
Combien de requêtes faut-il tester ?
Couvrir les principales familles et intentions, puis les cas qui posent réellement problème. Ajouter des requêtes lorsqu’elles révèlent une lacune distincte. Le nombre seul ne prouve pas que le jeu représente les usages.
Faut-il des résultats pour toute requête ?
Non. Une absence honnête avec filtres visibles et pistes pertinentes est préférable à un résultat sans rapport. Examiner ensuite si le besoin justifie un nouveau contenu utile.
Comment mesurer une amélioration ?
Rejouer les mêmes tâches et comparer la réussite, la position de la page utile et les étapes nécessaires. Conserver l’environnement et la version du corpus ; une hausse du nombre de résultats peut masquer une baisse de pertinence.
L’index doit-il tout conserver ?
Indexer les contenus qui servent la recherche et garder les paramètres nécessaires à leur identité. Exclure les erreurs, contenus périmés et états techniques sans valeur documentaire. Vérifier que les mises à jour du corpus déclenchent la reconstruction prévue.
Comment choisir les requêtes de test ?
Utiliser les questions du public, les opérations décrites par les guides et quelques synonymes utiles. Ajouter des cas sans réponse attendue permet aussi de vérifier la compréhension des résultats vides.
Vérifier que la recherche retrouve les contenus utiles
Une page existe mais les requêtes naturelles ne la font pas apparaître. Le contrôle doit tester les mots du lecteur, les variantes et les filtres avec des attentes explicites.
Mis à jour le .
Vérifications prioritaires
Construire des requêtes de navigation, de sujet et de méthode. Vérifier présence du résultat attendu, pertinence de la description, destination et comportement des filtres.
Pièges d’interprétation
Une recherche peut sembler efficace sur des titres exacts mais échouer sur les formulations habituelles. Un index ancien peut ignorer un contenu récemment ajouté.
Document de travail à conserver
Le cahier de recherche associe requête, intention, résultat attendu et résultat observé. Les mises à jour du corpus déclenchent une vérification des nouvelles formulations utiles.