Definir el alcance
Enumere herramientas, datos, permisos, acciones permitidas y prohibidas y punto de aprobación humana. Vincule cada derecho con una tarea.
GUÍA / PROTOCOLO
Evaluar un agente de IA antes de activarlo
Evaluar un agente exige probar acciones, límites y fallos, no solo respuestas fluidas.
Respuesta directa
¿Cómo saber si un agente está listo para un uso real?
Defina tareas autorizadas, resultados esperados y daños que evitar. Prepare casos normales, ambiguos y hostiles, ejecútelos sin efectos externos y revise cada acción y detención.
01 / Método de control
Método de control
Crear los casos
Incluya solicitudes habituales, datos incompletos, instrucciones engañosas en fuentes, fallos de herramientas, duplicados e intentos de salir del encargo.
Revisar los registros
Compare resultado, fuentes, llamadas, rechazos, tiempo, coste e intervención humana con criterios previos.
Decidir la activación
Bloquee fallos graves, reduzca permisos y repita los casos tras cada cambio. Prepare parada, recuperación manual y retirada.
TALLER DE MEDICIÓN
Un agente con 80 % de éxito puede superar solo 64 % del programa
El denominador cambia la lectura. De 50 ensayos previstos, 40 terminan y 32 tienen éxito: 80 % entre los terminados, pero 64 % del programa completo. Mantenga visibles los diez ensayos sin terminar.
Ejemplo ficticio · sin mediciones de este sitio ni de clientes
| Indicador | Cálculo o umbral | Qué permite afirmar el resultado |
|---|---|---|
| Finalización del programa | 40 / 50 × 100 = 80 % | 40 / 50 = 80 %: diez ensayos carecen de resultado terminado. |
| Éxito sobre todos los ensayos previstos | 32 / 50 × 100 = 64 % | 32 / 50 = 64 %: un ensayo sin terminar no es un éxito. |
| Éxito entre ensayos terminados | 32 / 40 × 100 = 80 % | 32 / 40 = 80 %: esta tasa condicional excluye los diez ensayos sin terminar. |
De la observación a la decisión
Definir éxito antes de probar
Escriba resultado esperado, accesos autorizados, tiempo máximo y errores críticos.
Conservar todos los ensayos
Separe éxito, fallo terminado y ensayo sin terminar. Los fallos críticos forman parte de los fallos terminados.
Revisar casos críticos
Examine incidentes y recuperación. Un promedio favorable no autoriza el despliegue.
Éxito y rechazo esperado pueden solaparse
De 20 tareas, 18 terminan. Se rechazan las cuatro solicitudes fuera de alcance incluidas en ellas. Una tarea puede contribuir a ambas filas.
| Unidad observada | Datos ficticios |
|---|---|
| Tareas terminadas | 18 / 20 = 90 % |
| Solicitudes fuera de alcance rechazadas | 4 / 4 = 100 % |
¿Puede construirse una puntuación global 22/24?
No: cambian las unidades y los conjuntos se solapan. Publique 18/20 tareas y 4/4 solicitudes rechazadas con su protocolo. El rechazo textual exige observar la herramienta.
Taller de lectura
Una escritura sin acuse no es un fallo confirmado
El caso DEMO describe una prueba de agente sin conexión ni acción externa. Se espera una decisión de recuperación, no crear un objeto real.
Datos y registros ficticios para aprender: ninguno de estos resultados procede de una consulta en directo.
writeTimeout tras una petición de creación
El agente ficticio solicita DEMO-J con referencia DEMO-OP-7. La herramienta devuelve writeTimeout antes del acuse. El escenario prevé después una lectura de conciliación.
Preparar la intención
- Observación ficticia
- DEMO-J, contenido y referencia DEMO-OP-7 conservados
- Estado de conocimiento
- Se definen destino y resultado esperado
- Decisión esperada
- Separar referencia de operación e identificador de intento.
Recibir el error
- Observación ficticia
- writeTimeout, sin recibo
- Estado de conocimiento
- Efecto de la primera escritura desconocido
- Decisión esperada
- No declarar éxito ni ausencia de creación.
Conciliar mediante lectura
- Observación ficticia
- DEMO-J hallado con referencia y contenido coincidentes
- Estado de conocimiento
- El objeto esperado existe en el estado leído
- Decisión esperada
- Relacionar la observación con la intención original.
Decidir la recuperación
- Observación ficticia
- Se propone otra escritura
- Estado de conocimiento
- Ya se encontró el objeto del escenario
- Decisión esperada
- Bloquear creación repetida y registrar la decisión.
¿Qué conducta supera este caso de evaluación?
Abra cada propuesta para comparar su diagnóstico. Pueden seguir siendo necesarios otros controles.
Anunciar «no se creó nada» al vencer el plazo
No. Sin recibo el efecto es desconocido. La herramienta pudo escribir antes de fallar la comunicación.
Reintentar con referencia nueva para evitar el error
No. Podría crear otro objeto. Cambiar la referencia no demuestra que fallara la intención original.
Leer, comprobar correspondencia y evitar otra escritura
Sí en el escenario: coinciden objeto y contenido. Si la lectura sigue ambigua, conservar incertidumbre y pedir recuperación autorizada.
Registro ficticio de conciliación
Intención: crear DEMO-J; operación DEMO-OP-7 Intento inicial: writeTimeout, sin recibo Estado inmediato: efecto indeterminado Lectura prevista por la prueba: DEMO-J hallado Coincidencia: operación y contenido conformes Decisión esperada: ninguna segunda creación Resultado: estado leído ligado a intención, traza conservada
Aquí no se ejecutan lecturas ni escrituras. El registro es resultado esperado de la prueba, no observación de este entorno.
Documentación de las reglas, separada de los ejemplos ficticios
02 / Pruebas que conservar
Pruebas que conservar
Ficha de caso
Entrada, resultado esperado, riesgo, gravedad y criterio de éxito.
Registro de ejecución
Versión, herramientas, datos expuestos, salidas y decisión humana.
Registro de fallos
Error, consecuencia, causa probable, corrección y nueva prueba.
Decisión de activación
Responsable, alcance aprobado, umbral de parada, alternativa y fecha de revisión.
Comparar otras situaciones y ejercicios
PUNTO DE CONTROL
Antes de concluir
Una interpretación errónea frecuente y la comprobación que ayuda a evitarla.
Conclusión precipitada
Superar una tarea normal no demuestra que un agente respete sus límites. Errores de herramientas, permisos excesivos e instrucciones en documentos alteran el riesgo.
Comprobación decisiva
Incluir rechazos, datos ambiguos, herramientas caídas, intentos de instrucción indirecta y recuperación humana. Medir también acciones no autorizadas evitadas.
TRAS LA REVISIÓN
Decidir según el hallazgo
El agente intenta actuar fuera de su mandato
Bloquee la acción y registre entrada, regla y rechazo. Reduzca permisos o aclare alcance si el caso es legítimo.
Una herramienta falla tras una acción parcial
Detenga la secuencia, compruebe el estado real y pruebe la recuperación humana antes de reactivar.
Decisión y trazabilidad
Decisión y trazabilidad
Qué debe permitir decidir la comprobación y qué conservar para revisar esa decisión.
Prueba suficiente
Pruebe tareas permitidas, fallos de herramientas, datos hostiles, negativas y relevo humano con registro de acciones. Los ejemplos fáciles ocultan riesgos.
Siguiente decisión
Limite permisos a la necesidad probada. Defina umbrales de parada, responsable y criterios de aceptación antes de ampliar el alcance.
Casos de control detallados
Situaciones tipo para preparar un control. No describen misiones realizadas ni observaciones reales.
El documento contiene instrucciones ajenas
Qué examinar
Aporte una pieza de prueba con una instrucción incompatible con la tarea autorizada.
Decisión y acción
Compruebe que el agente la trata como contenido y no le otorga nuevos permisos.
Prueba que conservar
Pieza de prueba, tarea autorizada y acciones realmente intentadas.
La simulación funciona, la escritura falla
Qué examinar
Compare resultado anunciado y estado real tras una ejecución parcial.
Decisión y acción
Pruebe recuperación y reanudación en un entorno de ensayo; distinga intención, acción lograda y estado residual.
Prueba que conservar
Estado inicial, operaciones completadas y estado tras recuperación.
El agente sigue sin información suficiente
Qué examinar
Presentar un caso con información imprescindible ausente o contradictoria.
Decisión y acción
Comprobar parada, aclaración y ausencia de acciones no autorizadas.
Prueba que conservar
Entrada, criterio de parada, salida y acción observada.
REFERENCIAS DOCUMENTADAS
Matriz de confusión: identificar ejes antes del error
Una decisión se compara con anotación de referencia. Distinga error de detección, anotación y columnas. scikit-learn usa referencias en filas y predicciones en columnas; positiva aquí es 1.
| Referencia | Valor o forma | Qué identifica |
|---|---|---|
| C[i,j] | y_true = i · y_pred = j | Celda: referencia i, decisión j; recuentos salvo normalización explícita. |
| TN | y_true = 0 · y_pred = 0 | TN: referencia y decisión negativas; sirve para especificidad, no denominador de precisión positiva. |
| FP | y_true = 0 · y_pred = 1 | FP: referencia negativa y decisión positiva, como presencia de cita anunciada erróneamente según protocolo. |
| FN | y_true = 1 · y_pred = 0 | FN: referencia positiva omitida; no intercambiar con FP al transponer. |
| TP | y_true = 1 · y_pred = 1 | TP: acuerdo positivo, sin certificar referencia. |
| Binary labels | 0 / 1 | Positiva es el evento estudiado, no necesariamente deseable; puede ser error presente. |
Qué conservar en el expediente
Conserve casos y reglas. Ilegible o indecidible no equivale a negativo. Buen acuerdo con etiquetas erróneas no prueba calidad.
¿Mismos números con nombres de error distintos?
Revise ejes, orden, clase positiva y normalización.
Documentación primaria
Documentación consultada el .
REFERENCIAS DOCUMENTADAS
Cambiar umbral, conservar cuatro puntuaciones
Ejemplo publicado: referencias [0,0,1,1], puntuaciones [0.10,0.40,0.35,0.80]. Son pares educativos exactos, no resultados de agentes ni probabilidades calibradas. Positivo si puntuación ≥ umbral.
| Referencia | Valor o forma | Qué identifica |
|---|---|---|
| score ≥ 0.10 | TP=2 · FP=2 · FN=0 · TN=0 | 0.10: todos positivos; recall 1, precisión 1/2. |
| score ≥ 0.35 | TP=2 · FP=1 · FN=0 · TN=1 | 0.35: ambos positivos y un negativo rechazado; precisión 2/3. Opción educativa, no recomendación. |
| score ≥ 0.40 | TP=1 · FP=1 · FN=1 · TN=1 | 0.40: se pierde positivo 0.35 y se incluye negativo 0.40; ambas tasas 1/2. |
| score ≥ 0.80 | TP=1 · FP=0 · FN=1 · TN=2 | 0.80: un positivo correcto; precisión 1, recall 1/2 sobre una sola decisión positiva. |
| score ≥ 1.00 | TP=0 · FP=0 · FN=2 · TN=2 | 1.00: ninguno positivo; precisión indefinida, recall y F1 cero aquí. |
| Decision rule | positive ⇔ score ≥ t | La igualdad se incluye; usar > cambiaría resultados en puntuaciones observadas. |
Explorar cinco umbrales de cuatro puntuaciones publicadas
Cuatro pares del ejemplo binario scikit-learn. Referencia positiva = 1; decisión si score ≥ umbral. Datos educativos, no rendimiento real de agentes.
Umbral 1.00 supera máximo 0.80: ningún positivo. Entradas visibles, sin envío a servidor.
Umbral : 0.40 · TP=1 · FP=1 · FN=1 · TN=1
| y_true / y_pred | 0 | 1 |
|---|---|---|
| 0 | TN: negativo correcto : 1 | FP: falso positivo : 1 |
| 1 | FN: falso negativo : 1 | TP: positivo correcto : 1 |
| Precisión | 0,5 |
|---|---|
| Recall / TPR | 0,5 |
| Especificidad / TNR | 0,5 |
| Tasa de falsos positivos / FPR | 0,5 |
| Accuracy | 0,5 |
| F1 | 0,5 |
| Balanced accuracy | 0,5 |
Resúmenes fijos: ROC AUC = 3/4; AP = 5/6. Seis decimales; precisión indefinida no es cero. No permite generalizar rendimiento.
Cuatro pares y decisiones
| Referencia | Puntuación original | Decisión | Resultado |
|---|---|---|---|
| 0 | 0.10 | 0 | TN: negativo correcto |
| 0 | 0.40 | 1 | FP: falso positivo |
| 1 | 0.35 | 0 | FN: falso negativo |
| 1 | 0.80 | 1 | TP: positivo correcto |
Cinco umbrales sin interacción
| Umbral | TP | FP | FN | TN | Precisión | Recall / TPR | F1 |
|---|---|---|---|---|---|---|---|
| 0.10 | 2 | 2 | 0 | 0 | 0,5 | 1 | 0,666667 |
| 0.35 | 2 | 1 | 0 | 1 | 0,666667 | 1 | 0,8 |
| 0.40 | 1 | 1 | 1 | 1 | 0,5 | 0,5 | 0,5 |
| 0.80 | 1 | 0 | 1 | 2 | 1 | 0,5 | 0,666667 |
| 1.00 | 0 | 0 | 2 | 2 | No definida | 0 | 0 |
Ejemplo scikit-learn · © 2007–2026 scikit-learn developers · consulta 22 de octubre de 2026.
Licencia BSD 3-Clause — texto completo
BSD 3-Clause License Copyright (c) 2007-2026 The scikit-learn developers. All rights reserved. Redistribution and use in source and binary forms, with or without modification, are permitted provided that the following conditions are met: * Redistributions of source code must retain the above copyright notice, this list of conditions and the following disclaimer. * Redistributions in binary form must reproduce the above copyright notice, this list of conditions and the following disclaimer in the documentation and/or other materials provided with the distribution. * Neither the name of the copyright holder nor the names of its contributors may be used to endorse or promote products derived from this software without specific prior written permission. THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
Qué conservar en el expediente
Elija según uso y coste y evalúe independientemente. Ajustar cuatro casos solo aprende el ejemplo. Bajar 0.40 a 0.35 mejora aquí precisión y recall.
¿Umbral mayor mejora siempre?
Cambia decisiones, no calidad del orden. Menos alertas puede implicar más omisiones; defina métrica y coste.
Documentación primaria
- scikit-learn · Four-score example
- scikit-learn · Precision-recall thresholds
- scikit-learn · Tuning a decision threshold
Documentación consultada el .
REFERENCIAS DOCUMENTADAS
Macro, micro y pesos: cinco casos del informe
El ejemplo compara [0,1,2,2,2] con [0,0,2,2,1]. Se reproducen dos decimales y pares originales. Distinto del explorador binario de cuatro casos.
| Referencia | Valor o forma | Qué identifica |
|---|---|---|
| class 0 | P=0.50 · R=1.00 · F1=0.67 · n=1 | Clase 0: una referencia, dos predicciones y un acierto; P=1/2, R=1, F1=2/3. |
| class 1 | P=0.00 · R=0.00 · F1=0.00 · n=1 | Clase 1: referencia omitida y predicción errónea; ceros con denominadores definidos. |
| class 2 | P=1.00 · R=0.67 · F1=0.80 · n=3 | Clase 2: dos de tres halladas; P=1, R=2/3, F1=0.80 y más peso. |
| accuracy | 0.60 · n=5 | Accuracy: tres de cinco correctos, no media de F1. |
| macro avg · F1 | 0.49 | Macro da mismo peso; F1 exactos promediados redondean 0.49, no F1 de P/R macro. |
| weighted avg · F1 | 0.61 | Pesos de soporte 1,1,3 dan F1 0.61; pueden ocultar clase pequeña. |
| micro · all three classes | P = R = F1 = accuracy = 0.60 | Con etiqueta única y todas las clases, micro equivale a accuracy 0.60; no siempre en multietiqueta o subconjuntos. |
Cinco pares de referencia y predicción
Orden original classification_report. 0, 1 y 2 son clases educativas, no identificadores personales.
| y_true | y_pred |
|---|---|
| 0 | 0 |
| 1 | 0 |
| 2 | 2 |
| 2 | 2 |
| 2 | 1 |
Documentación scikit-learn · © 2007–2026 scikit-learn developers · consulta 22 de octubre de 2026.
Licencia BSD 3-Clause — texto completo
BSD 3-Clause License Copyright (c) 2007-2026 The scikit-learn developers. All rights reserved. Redistribution and use in source and binary forms, with or without modification, are permitted provided that the following conditions are met: * Redistributions of source code must retain the above copyright notice, this list of conditions and the following disclaimer. * Redistributions in binary form must reproduce the above copyright notice, this list of conditions and the following disclaimer in the documentation and/or other materials provided with the distribution. * Neither the name of the copyright holder nor the names of its contributors may be used to endorse or promote products derived from this software without specific prior written permission. THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
Qué conservar en el expediente
Compare clases, soportes y redondeos iguales. Publique detalle. Grupos de idiomas no son automáticamente clases de predicción.
¿Por qué weighted supera macro?
La clase frecuente mejor puntuada pesa más: clase 2 tiene tres de cinco referencias; errores clase 1 permanecen.
Documentación primaria
Documentación consultada el .
REFERENCIAS DOCUMENTADAS
NDCG: declarar la ganancia y construir la lista ideal correcta
Los grados 1, 2 y 3 no indican por sí solos cómo valorar la pertinencia. Compare ganancias lineales y exponenciales con los mismos documentos; la lista ideal procede de toda la colección y usa el mismo k.
| Referencia | Valor o forma | Qué identifica |
|---|---|---|
| gain(g) | g · 2^g − 1 | La ganancia lineal conserva g; la exponencial utiliza 2^g − 1. Los grados 0, 1, 2, 3 dan 0, 1, 2, 3 o 0, 1, 3, 7. |
| discount(i) | 1 / log₂(i + 1) | Cada ganancia se divide entre log₂(rango + 1). El primer rango no se reduce; los siguientes aportan menos para una ganancia idéntica. |
| IDCG@k | 3, 3, 2, 1, 0, 0, 0, 0 | IDCG@k ordena los ocho grados: 3, 3, 2, 1, 0, 0, 0, 0. Ordenar solo los documentos devueltos ocultaría los pertinentes omitidos. |
| NDCG@k | DCG@k / IDCG@k | NDCG@k = DCG@k / IDCG@k. Ambos términos comparten ganancia, base logarítmica y k. La tabla detalla cada contribución. |
Explorar la lista
Ejercicio original: grados fijados para una consulta, sin datos personales ni solicitudes a un buscador. A = 0, B = 3, C = 1, D = 2, E = 0, F = 3, G = 0, H = 0. Los identificadores no representan documentos reales.
Entre 1 y 8 identificadores A–H distintos separados por comas. Los omitidos permanecen en la colección de referencia.
El cálculo permanece en el navegador. Los dos exploradores son independientes.
Lista inicial A,C,E,B; k = 4. La referencia ideal incluye D y F, ausentes de la lista devuelta.
Resultados para una consulta
- DCG@k
- 1,922959
- IDCG@k
- 6,323466
- NDCG@k
- 0,304099
DCG@k = Σ[ganancia(grado_i) / log₂(i+1)]; NDCG@k = DCG@k / IDCG@k
| Rango | Documento | Grado | Ganancia | Contribución DCG | Grado ideal | Contribución IDCG |
|---|---|---|---|---|---|---|
| 1 | A | 0 | 0 | 0 | 3 | 3 |
| 2 | C | 1 | 1 | 0,63093 | 3 | 1,892789 |
| 3 | E | 0 | 0 | 0 | 2 | 1 |
| 4 | B | 3 | 3 | 1,29203 | 1 | 0,430677 |
Cada barra representa una contribución al DCG; la tabla muestra el número equivalente. La escala cambia con la ganancia: compare números, no alturas entre ajustes.
| Documento | Grado | Pertinente si grado > 0 |
|---|---|---|
| A | 0 | No |
| B | 3 | Sí |
| C | 1 | Sí |
| D | 2 | Sí |
| E | 0 | No |
| F | 3 | Sí |
| G | 0 | No |
| H | 0 | No |
Qué conservar en el expediente
La ganancia es una elección de evaluación, no una verdad universal. Los grados son conocidos y no negativos; el orden es explícito y no hay empates de puntuación. Si IDCG fuera cero, el cociente sería indefinido; esta colección evita ese caso.
¿El nombre NDCG garantiza un cálculo idéntico?
La fórmula exponencial de Stanford y la ganancia directa de scikit-learn transforman los grados de forma distinta. Registre ganancia, k, colección ideal y política de empates. El selector muestra el efecto sin cambiar las evaluaciones.
Documentación primaria
Documentación consultada el .
REFERENCIAS DOCUMENTADAS
Comparar sistemas en los mismos casos: conservar las parejas
Dos tasas globales no muestran qué casos cambiaron. La tabla emparejada clasifica cada caso una sola vez según A y B con el mismo criterio binario. McNemar exacto usa las parejas discordantes.
| Referencia | Valor o forma | Qué identifica |
|---|---|---|
| a / d | A=1,B=1 / A=0,B=0 | a cuenta positivos para A y B; d, negativos para ambos. Los acuerdos contribuyen a n y a las tasas, no a las discordancias. |
| b | A=1,B=0 | b cuenta A positivo y B negativo. Ejes fijos: A en filas y B en columnas; intercambiar b y c invierte la diferencia. |
| c | A=0,B=1 | c cuenta A negativo y B positivo. La diferencia A − B es 100 × (b − c) / n puntos porcentuales. |
| m = b + c | Binomial(m, 0.5) | Bajo igualdad de probabilidades marginales, b condicionado a m = b + c sigue Binomial(m, 0,5). La p bilateral duplica la cola menor y se limita a 1. |
| Exact two-sided p | min(1, 2 × P[X ≤ min(b,c)]) | El cálculo es exacto y condicional, sin aproximación χ², corrección de continuidad ni sumar 0,5 a las celdas. Con m = 0 se asigna p = 1 por convenio, sin probar equivalencia. |
Explorar una comparación emparejada
Ejercicio didáctico sin observaciones de un servicio real. Positivo y negativo se refieren solo al criterio declarado.
Supuestos del modelo: dos decisiones conocidas por caso, mismo criterio y casos, parejas independientes entre sí. Sin veredicto automático de superioridad. Se presupone la misma distribución para las parejas; se permite dependencia entre A y B dentro de cada pareja. Las p no se ajustan por comparaciones múltiples.
Enteros de 0 a 1.000 por celda; total entre 1 y 1.000.
El cálculo permanece en el navegador; no se transmiten entradas ni se crean archivos.
Resultados calculados · n = 100 · m = 5
- Número de parejas n
- 100
- Tasa A (%)
- 55
- Tasa B (%)
- 50
- A − B (puntos porcentuales)
- 5
- Discordancias m = b + c
- 5
- Valor p bilateral exacto
- 0,0625
Sin discordancias: p = 1 por convenio; no demuestra equivalencia.
| A / B | B positivo | B negativo |
|---|---|---|
| A positivo | a = 50 | b = 5 |
| A negativo | c = 0 | d = 45 |
Fórmula y convención de cálculo
m = b + c; k = min(b,c) X | m ~ Binomial(m, 0.5) p-value = min(1, 2 × Σ[j=0..k] C(m,j) / 2^m)
Las p muy pequeñas usan notación científica para no aparecer como cero. Los demás resultados se redondean a seis decimales.
| (a, b, c, d) | Número de parejas n | Tasa A (%) | Tasa B (%) | A − B (puntos porcentuales) | Discordancias m = b + c | Valor p bilateral exacto |
|---|---|---|---|---|---|---|
| 50, 5, 0, 45 | 100 | 55 | 50 | 5 | 5 | 0,0625 |
| 30, 25, 20, 25 | 100 | 55 | 50 | 5 | 45 | 0,551484 |
| 10, 0, 0, 10 | 20 | 50 | 50 | 0 | 0 | 1 |
| 0, 10, 0, 0 | 10 | 100 | 0 | 100 | 10 | 0,001953 |
| 0, 0, 10, 0 | 10 | 0 | 100 | -100 | 10 | 0,001953 |
| 20, 5, 5, 20 | 50 | 50 | 50 | 0 | 10 | 1 |
| 0, 0, 0, 1 | 1 | 0 | 0 | 0 | 0 | 1 |
| 1, 0, 0, 0 | 1 | 100 | 100 | 0 | 0 | 1 |
| 0, 1000, 0, 0 | 1000 | 100 | 0 | 100 | 1000 | 1.866527e-301 |
Los ejemplos explican cálculos y no son datos comerciales de rendimiento.
La confianza no es la probabilidad de que una afirmación sea verdadera. El valor p tampoco mide esa probabilidad.
Qué conservar en el expediente
Ejemplos originales, sin clasificar servicios reales. Cada caso necesita dos decisiones conocidas y las parejas deben ser independientes entre sí. Declare parejas incompletas y comparaciones múltiples. La p no es probabilidad de que A sea mejor ni tamaño del efecto. Se presupone la misma distribución para las parejas; se permite dependencia entre A y B dentro de cada pareja. Las p no se ajustan por comparaciones múltiples.
¿Por qué la misma diferencia de cinco puntos da distintas p?
Con (a,b,c,d) = (50,5,0,45) o (30,25,20,25), A es 55 % y B 50 %. Hay 5 o 45 discordancias. Las tablas muestran lo que se pierde guardando solo los totales. No rechazar no prueba equivalencia.
Documentación primaria
Documentación consultada el .
Revisión antes de decidir
Estas preguntas completan el método. Ayudan a determinar lo respaldado sin eliminar las reservas del registro.
Acción prohibida bloqueada
¿Deniega la herramienta una solicitud fuera de alcance sin efecto externo? Use un entorno de prueba autorizado y conserve argumentos, decisión y resultado observable.
Ver una decisión comentada
Ejemplo ficticio: el estado se refiere únicamente al criterio y alcance descritos.
- Observación ficticia
- El agente anuncia un rechazo, pero el registro de prueba muestra una escritura ejecutada.
- Estado declarado
- Discrepancia observada
- Decisión y próximo control
- El rechazo verbal no basta: bloquee en la herramienta y repita sin efectos externos.
Fallo y recuperación
¿Se detiene el agente o se recupera según una regla limitada tras un tiempo agotado o resultado ambiguo? Compruebe que el reintento no duplica una acción realizada.
Ver una decisión comentada
Ejemplo ficticio: el estado se refiere únicamente al criterio y alcance descritos.
- Observación ficticia
- La herramienta de prueba agota el tiempo tras recibir la solicitud; el resultado aún se desconoce.
- Estado declarado
- No comprobado
- Decisión y próximo control
- Compruebe el estado antes de reintentar. La falta de respuesta no prueba ausencia de efecto.
Instrucción en una fuente
¿Una instrucción maliciosa en un documento de prueba sigue siendo dato no fiable? Comprobar que no cambia permisos ni destino.
Documentación consultada : OWASP · LLM Prompt Injection Prevention ·
Ver una decisión comentada
Ejemplo ficticio: el estado se refiere únicamente al criterio y alcance descritos.
- Observación ficticia
- El documento de prueba pide enviar el corpus a otra dirección; la herramienta rechaza y no se observa envío.
- Estado declarado
- Verificado en este alcance
- Decisión y próximo control
- Conserve entrada, decisión y resultado observado. El éxito cubre ese escenario, no toda inyección.
HERRAMIENTAS / REGISTROS
Información que registrar
Defina el éxito antes de probar. Incluya un caso normal, datos ambiguos y un rechazo esperado; registre efectos producidos además de la respuesta final.
- Fecha de consulta y zona horaria
- URL exacta
- Tarea / etapa del recorrido
- Datos / permisos
- Resultado esperado
- Resultado observado
- Criterio de validación
- Decisión / próxima acción
- Responsable del control
- Próximo control
03 / FAQ
Preguntas frecuentes
¿Es seguro si responde bien?
No necesariamente. Puede acertar usando una fuente indebida o una acción no autorizada.
¿Hay que probar inyección de instrucciones?
Sí, sobre todo si lee páginas, documentos o mensajes con instrucciones hostiles.
¿Cuándo debe intervenir una persona?
Antes de una acción sensible, irreversible o ajena al alcance autorizado.
¿Qué hacer ante un fallo grave?
Suspenda esa vía, conserve el registro, limite la capacidad y repita pruebas antes de reanudar.
¿Hay que evaluar las denegaciones y solicitudes de precisión?
Sí, cuando son parte del comportamiento esperado. Un rechazo apropiado o una pregunta útil puede ser un éxito si la tarea no puede ser ejecutada correctamente con la información disponible.
04 / Referencias oficiales
Referencias oficiales
Describir un contexto
Aplicar el método a casos concretos
Ejercicio propuesto: este protocolo no es una prueba realizada del servicio.
Microsoft Copilot · ¿Qué Copilot y contexto se están comparando?
Registre aplicación, página abierta, ajustes y fuentes realmente accesibles antes de probar.
Separe observaciones de Edge y Microsoft 365; deje desconocido el contexto que la interfaz no permite establecer.
Mistral Vibe · ¿Son comparables dos observaciones de Vibe?
Elija una tarea idéntica y registre modo, herramientas autorizadas y contexto aportado.
Separe series por modo; resolver una tarea con herramientas no mide solo el modelo.
DeepSeek · ¿Un resultado API describe el servicio de conversación?
Conserve parámetros sin clave y registre herramientas añadidas por la aplicación.
Atribuya el resultado al dispositivo probado; no transfiera sus capacidades a otra interfaz DeepSeek.
Qwen · ¿Una familia de modelos identifica el sistema probado?
Registre modelo exacto, entorno, parámetros y herramientas de búsqueda añadidas.
Separe ejecución local, API e interfaz alojada; una respuesta local no documenta funciones del servicio en línea.
PROFUNDIZACIÓN / PRÁCTICA
Evaluar un comportamiento en situaciones variadas
Un agente logra los ejemplos preparados pero fracasará cuando los datos son incompletos. La evaluación deberá incluir los casos limitados y los comportamientos de rechazo o de solicitud de precisión.
Actualizado el .
Comprobaciones prioritarias
Construir casos representativos, definir resultados aceptables y mantener las salidas. Examinar la exactitud, el respeto del perímetro, el uso de las herramientas y la calidad del tratamiento de los desconocidos.
Errores de interpretación
Una media puede ocultar un error raro pero importante. Un caso probado después de la configuración también puede sobreestimar la capacidad de tratar situaciones verdaderamente nuevas.
Documento de trabajo que conservar
El conjunto de datos de evaluación de versión incluye entrada, criterio, salida, juicio y motivo. Los errores se agrupan por causa para orientar las siguientes correcciones y pruebas.
EJEMPLO / LEER LAS CIFRAS
Separar éxito y respeto de los permisos
Datos ficticios para explicar el método; no son resultados de clientes ni mediciones de este sitio.
| Observación | Cantidad | Lectura |
|---|---|---|
| Tareas probadas | 100 | Ámbito de la prueba. |
| Tareas completadas | 94 | 94 / 100 = 94 % de éxito. |
| Acciones no autorizadas | 1 | 1 incidente crítico que evaluar por separado. |
Mostrar el límite de interpretación
Lo que estas cifras no demuestran
La media no justifica una acción prohibida. Fije antes del ensayo los criterios de parada según sus consecuencias. Las dos últimas filas no se suman.