Guides pratiques approfondis

Tester la pertinence d’une recherche interne

Construire des requêtes représentatives, vérifier les résultats par langue et améliorer les parcours sans confondre présence d’un moteur et réussite de la recherche.

Mise à jour :

Vérification d’une interface sur ordinateur, tablette et téléphone.

Illustration générée par IA

L’utilisateur peut-il trouver le contenu qui répond à son besoin ?

Une recherche interne sert des intentions différentes : retrouver une fiche connue, explorer un sujet ou comprendre quel outil utiliser. Un résultat techniquement renvoyé ne prouve pas que le contenu utile est visible. L’évaluation doit relier la requête à une tâche et vérifier le titre, l’extrait, la destination et la langue. Un petit ensemble de questions bien documentées vaut mieux qu’un score calculé sur des requêtes sans objectif.

  1. Établir un jeu de tâches

    Choisir des contenus importants dans chaque grande famille : guide, fiche, catégorie, outil et dossier. Pour chaque tâche, écrire ce que la personne cherche et les pages qui répondent réellement à ce besoin. Inclure un besoin sans réponse connue pour tester l’absence de résultat.

  2. Varier les formulations pertinentes

    Tester le titre exact, une expression usuelle, un terme métier et une formulation plus courte. Ajouter accents, apostrophes, caractères non latins et abréviations effectivement employées. Les variantes doivent représenter des usages plausibles, pas seulement reproduire les mots choisis par l’équipe éditoriale.

  3. Contrôler chaque langue séparément

    Effectuer les recherches depuis les six interfaces. Vérifier les intitulés de filtres, les extraits, les messages et la langue du lien final. Lorsque le corpus est localisé, un résultat ne doit pas renvoyer sans explication vers une autre version linguistique.

  4. Évaluer le résultat et la destination

    Relever où apparaît la page attendue et si son titre permet de la reconnaître. Ouvrir le résultat puis confirmer que le passage utile existe encore. Un extrait ancien, une fiche supprimée ou une catégorie trop large peuvent tromper même lorsque le classement paraît bon.

  5. Vérifier les états du parcours

    Tester requête vide, aucune réponse, filtre actif, plusieurs pages de résultats et retour arrière. Vérifier la conservation de la requête et de la langue. Parcourir le formulaire au clavier et confirmer que son libellé décrit l’action et que les messages restent compréhensibles.

  6. Corriger la cause puis rejouer

    Distinguer contenu absent, index périmé, terminologie différente, lien incorrect et classement inadéquat. Choisir la correction correspondant au constat. Rejouer le jeu de tâches après reconstruction de l’index pour vérifier le gain et détecter une régression dans une autre famille.

  7. Définir plusieurs réponses acceptables

    Pour une intention large, plusieurs pages peuvent convenir. Avant le test, distinguer réponse directement utile, complément acceptable et résultat hors sujet. Noter aussi si le lecteur veut une explication, une fiche ou un modèle téléchargeable. Cette distinction permet de juger un classement sans exiger artificiellement une seule URL pour chaque formulation.

Atelier de lecture

Lire un classement avec une coupure annoncée

Un jeu fictif de cinq résultats permet de calculer précision, rappel et rang réciproque sans changer de dénominateur en cours de lecture.

Données et traces fictives pour apprendre : aucun résultat présenté ici ne provient d’un service interrogé en direct.

La requête DEMO-Q03 et ses réponses jugées

Le classement est A, B, C, D, E. La référence de pertinence contient C, E et F. On examine seulement les trois premiers résultats : k=3 et m=3 résultats effectivement retenus.

Si le tableau dépasse l’écran, faites-le défiler horizontalement ; les flèches du clavier fonctionnent lorsque la zone est sélectionnée.

La requête DEMO-Q03 et ses réponses jugées
Élément du calculValeur du casLectureContrôle à conserver
Résultats jusqu’à la coupureA, B, C ; m=3E existe dans le classement, mais reste hors de la coupe.Fixer la coupe avant le calcul et garder l’ordre original.
Référence pertinenteC, E, F ; trois réponsesF ne figure pas dans les résultats retournés.Conserver la justification des jugements et la version du corpus.
Intersection à k=3C seulement ; un résultat pertinent retrouvéPrécision = 1/3 ; rappel = 1/3.Ici la précision divise par m, le nombre réellement retenu jusqu’à k ; annoncer cette convention.
Premier résultat pertinentC au rang 3 ; rang réciproque RR = 1/3Il s’agit d’une seule requête, pas d’une moyenne MRR.Ne pas présenter ce cas isolé comme la performance générale du moteur.

Évaluer votre classement et votre référence de pertinence

Une requête, des identifiants ASCII exacts (lettres, chiffres, point, tiret, deux-points ou soulignement), 32 caractères maximum. Un identifiant par ligne ; blancs de bordure et lignes vides ignorés. Au plus 20 résultats classés et 100 références pertinentes, sans répétition. Coupure k de 1 à 20.

Résultat du jeu fourni

Coupure demandée k
3
Résultats examinés m
3
Pertinents retrouvés
1
Pertinents de référence
3
Précision sur m résultats (%)
33,33
Rappel dans la référence (%)
33,33
Rang du premier pertinent
3
Rang réciproque, une requête
0,3333

m est le nombre réellement fourni jusqu’à k. Précision = pertinents retrouvés / m ; rappel = pertinents retrouvés / taille de la référence. Un dénominateur nul laisse le taux non défini. Le rang réciproque vaut 1/rang du premier pertinent, ou zéro sans succès.

Positions effectivement examinées
RangIdentifiant exactJugement fourni
1AAbsent de la référence
2BAbsent de la référence
3CPertinent dans la référence

Les jugements fournis définissent ce calcul ; les documents absents de la référence sont traités comme non pertinents. Une référence incomplète ne donne pas le rappel global. Aucun moteur n’est interrogé. Ce rang réciproque n’est pas une moyenne MRR ; si m est inférieur à k, la précision utilise m, contrairement à une convention à dénominateur k fixe.

Quel bilan respecte à la fois la coupe et les jugements ?

Ouvrir chaque proposition pour comparer son diagnostic. Plusieurs contrôles peuvent rester nécessaires.

Précision 2/5, car C et E sont pertinents.

Ce calcul utilise les cinq résultats, alors que la coupe annoncée est trois. Il répond à une autre question.

Rappel 1/5, car le classement contient cinq éléments.

Mauvais dénominateur. La référence pertinente contient trois éléments ; à la coupe, un seul a été retrouvé.

À k=3 : précision 1/3, rappel 1/3 et RR 1/3.

C’est le bilan de ce cas avec m=3. Les trois fractions sont égales ici pour des raisons différentes ; elles ne sont pas interchangeables.

Trace fictive du calcul

Requête : DEMO-Q03
Classement : A, B, C, D, E
Référence pertinente : C, E, F
Coupe : k=3 ; réellement retenus : m=3
Intersection : C ; nombre : 1
Précision : 1/3 ; rappel : 1/3
Premier pertinent : rang 3 ; RR : 1/3

A à F sont des identifiants inventés. Les jugements sont posés pour l’exercice et ne proviennent pas d’une évaluation réelle du site.

Documentation des règles, distincte des exemples fictifs

Comparer avec les autres situations et exercices

La page existe mais n’apparaît pas

Chercher son titre et vérifier si elle figure dans l’index localisé. Si elle manque, corriger l’inclusion ou l’extraction. Si elle est présente, examiner les termes indexés avant d’ajouter une page qui ferait doublon.

Un filtre produit une impasse

Vérifier si le filtre restreint réellement le type demandé et s’il demeure identifiable dans l’état sans résultat. Proposer sa suppression ou une reformulation utile ; ne pas inventer une liste de résultats pour remplir l’écran.

Un résultat change de langue à l’ouverture

Comparer l’URL du résultat avec celle du contenu équivalent. Corriger le paramètre ou le routage, puis tester pagination et retour. Un titre traduit ne suffit pas si la destination réinitialise la langue.

Un guide et son modèle ont le même titre

Cas illustratif : deux résultats portent le même titre, mais l’un ouvre la méthode et l’autre un document vierge. Tester séparément « comprendre la méthode » et « obtenir le modèle ». Départager selon la tâche et rendre la nature du résultat visible ; un lien techniquement correct peut encore mener au mauvais type de réponse.

Un sigle court produit des correspondances parasites

Exemple de recette : la requête API ne devrait pas retrouver une page seulement parce que « capitale » contient ces trois lettres. Vérifier les mots courts comme unités, puis les sigles présents dans les titres et dans le corps. Conserver un cas réellement pertinent et un cas exclu pour éviter qu’une correction augmente artificiellement le rappel.

Exercice corrigé

Mesurer une recherche par la tâche accomplie

Exemple fictif : les valeurs et documents servent à apprendre la méthode, sans décrire un organisme réel.

Tâche : vérifier une jointure plusieurs-vers-un. Les jugements ci-dessous sont les données de l’exercice.

Si le tableau dépasse l’écran, faites-le défiler horizontalement ; les flèches du clavier fonctionnent lorsque la zone est sélectionnée.

Données de départ
RangRésultat fictifTâche couverte
1Article généralNon
2Guide de contrôle de jointureOui
3Fiche d’entitéNon
4Cas de jointure corrigéOui
5Contrôles de cardinalitéOui

À vous de vérifier

  1. Compter les résultats qui satisfont réellement la tâche.
  2. Calculer la précision parmi les cinq résultats.
  3. Relever le rang du premier résultat utile et son inverse.
Lire le corrigé

Corrigé et décision

La précision à cinq résultats est 3/5, soit 60 %. Le premier résultat utile est au rang 2 ; son rang réciproque vaut 1/2. Ces mesures distinguent bruit dans la liste et difficulté d’accès à la première réponse utile.

Si le cas change

Un résultat contenant le mot jointure sans expliquer le contrôle ne satisfait pas cette tâche. Revoir le jugement si son contenu change.

Trace à conserver

Conserver requête, tâche, cinq destinations, jugements de pertinence et date du contrôle.

REPÈRES DOCUMENTÉS

Premiers résultats : distinguer précision, rappel et premier succès

Un classement peut retrouver autant de documents pertinents qu’un autre tout en les plaçant beaucoup plus loin. L’exercice ci-dessous sépare la qualité des k premiers résultats, la couverture du corpus et l’attente avant le premier résultat utile.

Premiers résultats : distinguer précision, rappel et premier succès
RepèreValeur ou formeCe que cela désigne
CorpusA–H · R = 4Dans cet exercice original, les huit documents A–H sont tous évalués pour une seule requête. Un grade supérieur à zéro est pertinent : B, C, D et F, soit R = 4.
P@k / Recall@khits / k · hits / RLa précision divise les résultats pertinents retrouvés par k. Le rappel utilise les quatre documents pertinents du corpus, y compris ceux qui ne sont pas retournés.
RR@k1 / first relevant rankRR@k vaut l’inverse du rang du premier résultat pertinent dans la fenêtre ; zéro si la fenêtre n’en contient aucun. C’est une mesure par requête, pas une moyenne MRR.
AP@k · R denominatorΣ P@i × rel(i) / RConvention annoncée ici : AP@k = somme des précisions aux rangs pertinents jusqu’à k, divisée par R. Les documents pertinents non retournés contribuent zéro. Certains outils emploient un autre dénominateur.

Explorer le classement

Exercice original : grades fixés pour une seule requête, sans données personnelles ni requête envoyée à un moteur. A = 0, B = 3, C = 1, D = 2, E = 0, F = 3, G = 0, H = 0. Les identifiants ne représentent pas des documents réels.

De 1 à 8 identifiants A–H distincts, séparés par des virgules. Les documents omis restent dans le corpus de référence.

Le calcul reste dans votre navigateur. Les deux explorateurs sont indépendants.

Classement initial A,C,E,B ; k = 4. La référence idéale inclut aussi D et F, absents de la liste retournée.

Résultats pour une requête

Précision P@k
0,5
Rappel Recall@k
0,5
Premier succès RR@k
0,5
AP@k, dénominateur R = 4
0,25
P@k = hits/k ; Recall@k = hits/4 ; RR@k = 1/premier rang pertinent (sinon 0) ; AP@k = Σ[rel(i) × P@i]/4
Détail des premiers rangs
RangDocumentGradeDocuments pertinents cumulésPrécision au rangContribution AP
1A0000
2C110,50,125
3E010,3333330
4B320,50,125
Corpus de référence entièrement évalué
DocumentGradePertinent si grade > 0
A0Non
B3Oui
C1Oui
D2Oui
E0Non
F3Oui
G0Non
H0Non

À retenir pour le dossier

Exemple pédagogique, sans mesure d’un moteur réel. La liste impose des identifiants uniques et un ordre total ; aucun traitement implicite des ex æquo. Les résultats sont arrondis à six décimales, les calculs utilisent les valeurs non arrondies.

Pourquoi deux listes à précision égale peuvent-elles avoir un RR différent ?

A,C,E,B et B,A,E,C ont chacune deux documents pertinents parmi quatre. Leur précision et leur rappel valent 0,5, mais le premier succès est au rang 2 dans la première liste et au rang 1 dans la seconde : RR@4 vaut donc 0,5 ou 1.

Documentation primaire

Documentation consultée le .

Preuve à conserver

  • Tâche, requête exacte, langue, filtres et pages attendues avec justification.
  • Position observée, extrait, URL ouverte et présence du contenu utile.
  • État sans résultat, parcours clavier et comportement de pagination.
  • Version de l’index, cause identifiée, correction et résultat du nouveau contrôle.
  • Intention, types de réponse acceptables et exemples exclus avec leur justification.

Références officielles

Protocoles connexes

Points à vérifier avant de conclure

  • Le jeu de requêtes couvre-t-il aussi une recherche sans résultat, un homonyme et une expression présente seulement dans le corps du texte ?
  • Les liens des résultats ouvrent-ils la bonne rubrique et conservent-ils la langue, les paramètres et l’ancre utile ?
  • Les résultats attendus et les échecs observés sont-ils conservés avec la version du corpus utilisée pour la recette ?
  • Le classement distingue-t-il explication et modèle sans masquer les autres réponses utiles ?

Questions fréquentes

Combien de requêtes faut-il tester ?

Couvrir les principales familles et intentions, puis les cas qui posent réellement problème. Ajouter des requêtes lorsqu’elles révèlent une lacune distincte. Le nombre seul ne prouve pas que le jeu représente les usages.

Faut-il des résultats pour toute requête ?

Non. Une absence honnête avec filtres visibles et pistes pertinentes est préférable à un résultat sans rapport. Examiner ensuite si le besoin justifie un nouveau contenu utile.

Comment mesurer une amélioration ?

Rejouer les mêmes tâches et comparer la réussite, la position de la page utile et les étapes nécessaires. Conserver l’environnement et la version du corpus ; une hausse du nombre de résultats peut masquer une baisse de pertinence.

L’index doit-il tout conserver ?

Indexer les contenus qui servent la recherche et garder les paramètres nécessaires à leur identité. Exclure les erreurs, contenus périmés et états techniques sans valeur documentaire. Vérifier que les mises à jour du corpus déclenchent la reconstruction prévue.

Comment choisir les requêtes de test ?

Utiliser les questions du public, les opérations décrites par les guides et quelques synonymes utiles. Ajouter des cas sans réponse attendue permet aussi de vérifier la compréhension des résultats vides.

APPROFONDISSEMENT / PRATIQUE

Vérifier que la recherche retrouve les contenus utiles

Une page existe mais les requêtes naturelles ne la font pas apparaître. Le contrôle doit tester les mots du lecteur, les variantes et les filtres avec des attentes explicites.

Mis à jour le .

Vérifications prioritaires

Construire des requêtes de navigation, de sujet et de méthode. Vérifier présence du résultat attendu, pertinence de la description, destination et comportement des filtres.

Pièges d’interprétation

Une recherche peut sembler efficace sur des titres exacts mais échouer sur les formulations habituelles. Un index ancien peut ignorer un contenu récemment ajouté.

Document de travail à conserver

Le cahier de recherche associe requête, intention, résultat attendu et résultat observé. Les mises à jour du corpus déclenchent une vérification des nouvelles formulations utiles.