Définir le périmètre
Listez outils, données, permissions, actions permises, actions interdites et point de validation humaine. Associez chaque droit à une tâche.
GUIDE / PROTOCOLE
Évaluer un agent IA avant sa mise en service
Évaluer un agent exige de tester ses actions, ses limites et ses échecs, pas seulement la fluidité de ses réponses.
Réponse directe
Comment savoir si un agent IA est prêt pour un usage réel ?
Définissez la tâche autorisée, les résultats attendus et les dommages à éviter. Constituez un jeu de cas normaux, ambigus et hostiles, exécutez-le dans un environnement sans effet externe, puis examinez chaque action et chaque arrêt.
01 / Méthode de contrôle
Méthode de contrôle
Construire le jeu d’essais
Incluez demandes courantes, données incomplètes, instructions trompeuses dans les sources, échecs d’outil, doublons et tentatives de sortir du mandat.
Observer les traces
Pour chaque cas, comparez résultat, sources consultées, appels d’outil, refus, délai, coût et intervention humaine aux critères prévus.
Décider du déploiement
Bloquez les échecs critiques, réduisez les droits si nécessaire et rejouez le même jeu après modification. Préparez arrêt, reprise manuelle et retrait.
02 / Preuves à conserver
Preuves à conserver
Fiche de cas
Entrée, résultat attendu, risque, gravité et critère de réussite.
Journal d’exécution
Version du système, outils appelés, données exposées, sorties et décision humaine.
Registre des écarts
Erreur, conséquence, cause probable, correctif et résultat du nouvel essai.
Décision de mise en service
Responsable, périmètre autorisé, seuil d’arrêt, repli et date de révision.
03 / FAQ
Questions fréquentes
Un agent qui répond juste est-il sûr ?
Pas nécessairement. Il peut réussir la réponse tout en consultant une mauvaise source ou en exécutant une action non autorisée.
Faut-il tester l’injection de prompt ?
Oui, surtout lorsque l’agent lit des pages, documents ou messages qui peuvent contenir des instructions hostiles.
Quand exiger un humain ?
Avant une action sensible, irréversible ou hors du périmètre explicitement autorisé.
Que faire après un échec critique ?
Suspendre le chemin concerné, conserver la trace, réduire la capacité en cause et rejouer les cas avant reprise.
04 / Références officielles