Definir el alcance
Enumere herramientas, datos, permisos, acciones permitidas y prohibidas y punto de aprobación humana. Vincule cada derecho con una tarea.
GUÍA / PROTOCOLO
Evaluar un agente de IA antes de activarlo
Evaluar un agente exige probar acciones, límites y fallos, no solo respuestas fluidas.
Respuesta directa
¿Cómo saber si un agente está listo para un uso real?
Defina tareas autorizadas, resultados esperados y daños que evitar. Prepare casos normales, ambiguos y hostiles, ejecútelos sin efectos externos y revise cada acción y detención.
01 / Método de control
Método de control
Crear los casos
Incluya solicitudes habituales, datos incompletos, instrucciones engañosas en fuentes, fallos de herramientas, duplicados e intentos de salir del encargo.
Revisar los registros
Compare resultado, fuentes, llamadas, rechazos, tiempo, coste e intervención humana con criterios previos.
Decidir la activación
Bloquee fallos graves, reduzca permisos y repita los casos tras cada cambio. Prepare parada, recuperación manual y retirada.
02 / Pruebas que conservar
Pruebas que conservar
Ficha de caso
Entrada, resultado esperado, riesgo, gravedad y criterio de éxito.
Registro de ejecución
Versión, herramientas, datos expuestos, salidas y decisión humana.
Registro de fallos
Error, consecuencia, causa probable, corrección y nueva prueba.
Decisión de activación
Responsable, alcance aprobado, umbral de parada, alternativa y fecha de revisión.
03 / FAQ
Preguntas frecuentes
¿Es seguro si responde bien?
No necesariamente. Puede acertar usando una fuente indebida o una acción no autorizada.
¿Hay que probar inyección de instrucciones?
Sí, sobre todo si lee páginas, documentos o mensajes con instrucciones hostiles.
¿Cuándo debe intervenir una persona?
Antes de una acción sensible, irreversible o ajena al alcance autorizado.
¿Qué hacer ante un fallo grave?
Suspenda esa vía, conserve el registro, limite la capacidad y repita pruebas antes de reanudar.
04 / Referencias oficiales