Guías prácticas detalladas

Medir la incertidumbre de una tasa de citas de IA

Distinguir tasa observada, tamaño muestral e incertidumbre estadística en un observatorio de respuestas de IA.

Actualización :

Evaluación de respuestas de asistentes y referencias en dos pantallas.

Ilustración generada por IA

¿La tasa es suficientemente precisa para decidir?

Una proporción sin denominador oculta fragilidad. Cuatro respuestas citadas de diez y cuarenta de cien dan la misma tasa, con distinta precisión bajo un modelo binomial. Wilson explora la diferencia, pero no convierte un panel elegido en una muestra representativa de usuarios.

  1. Definir éxito y denominador

    Elija antes de recopilar qué cuenta: enlace, cita que respalda el dato o respuesta correcta. Puntúe observaciones binarias con esa regla. Documente fallos, exclusiones e inaccesibilidad sin cambiar la regla tras ver resultados.

  2. Conservar protocolo

    Fije idioma, interfaz, país, modelo o modo y periodo. Repeticiones en una conversación pueden ser dependientes. Separe estratos cuando cambien condiciones; repetir una pregunta no crea diversidad.

  3. Leer tasa e intervalo

    El intervalo de Wilson al 95 % supone observaciones binarias independientes con probabilidad estable. Puede calcularse con cero o todos los éxitos. La confianza describe el método bajo muestreo repetido, no la verdad de una cita ni la representatividad del panel.

  4. Decidir con rigor

    Conserve tasa, recuentos, hipótesis y umbral. Si la incertidumbre impide decidir, revise la recogida antes de repetir. Un antes/después con las mismas preguntas es emparejado y exige analizar el cambio; dos intervalos aislados no son esa prueba.

Taller de lectura

Dos etiquetas indecisas no desaparecen de la tasa

El lote DEMO contiene diez respuestas inventadas. Éxito significa cita que respalda la afirmación, no mera presencia de un enlace.

Datos y registros ficticios para aprender: ninguno de estos resultados procede de una consulta en directo.

¿40 %, 50 % o intervalo de clasificación?

Cuatro respuestas están respaldadas, cuatro no respaldadas y dos siguen indecisas tras la lectura. El panel fue elegido para el ejercicio; no se establece independencia ni representatividad.

Si la tabla supera la pantalla, desplácela horizontalmente; las flechas funcionan cuando la zona tiene el foco.

¿40 %, 50 % o intervalo de clasificación?
LecturaCálculoQué describe el númeroDecisión
Estado de anotación4 respaldadas; 4 no respaldadas; 2 indecisasDiez respuestas recibidas, no diez etiquetas binarias definitivasConservar los casos indecisos y sus motivos.
Proporción confirmada del lote4 / 10 = 40 %Respaldo ya confirmado en el loteNo llamar fallos demostrados a los dos casos indecisos.
Tasa entre las clasificadas4 / 8 = 50 %Tasa condicionada a una etiqueta decididaPublicar ambas exclusiones y el total diez.
Posibles resultados de revisión4 / 10 a 6 / 10: 40–60 %Intervalo de clasificación, no de confianzaResolver etiquetas antes de usar un modelo binario.

¿Qué puede anunciarse sin inventar precisión estadística?

Abra cada propuesta para comparar su diagnóstico. Pueden seguir siendo necesarios otros controles.

50 % sobre diez respuestas, sin más

No. El denominador de 50 % es ocho. Se ocultan el cambio de población y las dos etiquetas abiertas.

40–60 % es Wilson al 95 %

No. Los límites derivan solo de los posibles resultados de clasificación; no se calculó probabilidad de muestreo.

Cuatro citas respaldadas de diez, con dos casos aún indecisos

Sí. Añadir la tasa condicional si sirve y describir el panel. Incertidumbre de anotación no es incertidumbre muestral.

Registro ficticio de anotación

Lote: DEMO, diez respuestas elegidas
Regla: cita que respalda la afirmación
Decididas: 4 respaldadas y 4 no respaldadas
Indecisas: 2, pasajes por revisar
Confirmada: 4/10; condicional: 4/8
Clasificación posible: 40–60 %, sin nivel de confianza
Siguiente: resolución documentada de ambos casos

El intervalo no cuantifica comportamiento futuro del modelo ni sesgo del panel. No sustituya automáticamente diez por ocho en todo cálculo.

Documentación de las reglas, separada de los ejemplos ficticios

Comparar otras situaciones y ejercicios

Cuatro de diez

Cuatro éxitos de diez dan 40 % y un intervalo de Wilson al 95 % de aproximadamente 16,8–68,7 %, bajo las hipótesis indicadas. La tasa oculta la amplitud y no permite una clasificación universal.

Cero de diez

La tasa es cero, pero la cota superior ronda 27,8 %. Ninguna cita en la muestra no demuestra imposibilidad de cita.

Una tasa alta puede no superar el umbral

Dieciocho éxitos de veinte dan 90 %. Bajo las hipótesis binomiales indicadas, Wilson al 95 % da 69,9–97,2 %. Si se exige superar 80 %, el límite inferior no lo confirma. Publique recuentos y regla de decisión.

Veinte repeticiones no son veinte situaciones

Caso ficticio: una pregunta se repite veinte veces en una conversación, mientras otro panel incluye veinte necesidades distintas. Tasas iguales no hacen comparables diversidad y dependencia. Conserve identificadores de pregunta y sesión y describa grupos antes de calcular un indicador global.

De la observación a la decisión

La misma tasa observada, precisión muy distinta

Dos recogidas ficticias dan 40 %: 4 éxitos de 10 y 40 de 100. El cálculo supone observaciones binarias independientes con probabilidad estable. Los intervalos no demuestran representatividad de preguntas.

Caso didáctico ficticio: las cantidades y las fechas ilustran el método, sin describir una misión real.

Leer la amplitud además del punto

De izquierda a derecha: 0 a 100 %. Banda: Wilson al 95 %; marca vertical: tasa observada del 40 %.

  • 4 / 1040 % · 16,8–68,7 %
  • 40 / 10040 % · 30,9–49,8 %
Tabla de lectura del caso
ObservaciónComprobación útilSiguiente acción
4 éxitos de 10Tasa: 40 %; Wilson al 95 %: 16,8–68,7 %.La amplitud de unos 51,9 puntos deja gran incertidumbre.
40 éxitos de 100Tasa: 40 %; Wilson al 95 %: 30,9–49,8 %.La amplitud es de unos 18,9 puntos; debe revisarse el protocolo.
Misma proporción, bases distintasEl tamaño cambia la precisión bajo el modelo.Publique éxitos, total, intervalo e hipótesis juntos.
Decida usted — ¿Cien repeticiones equivalen a cien situaciones?

Respuesta explicada

No. Las filas no prueban independencia ni diversidad. Conserve pregunta, sesión y condiciones; revise grupos dependientes. Si el protocolo no admite inferencia probabilística, presente una descripción del panel.

Método: intervalo bilateral de Wilson al 95 %, z ≈ 1,96. Recuentos ficticios y límites redondeados a una décima de punto. NIST — Confidence intervals for proportions

Ejercicio resuelto

Cuatro respuestas ilegibles no son cuatro ausencias de cita

Ejemplo ficticio: los valores y documentos permiten aprender el método y no describen una organización real.

Las categorías son disjuntas. Una respuesta ilegible no equivale a ausencia observada de cita.

Si la tabla supera la pantalla, desplácela horizontalmente; las flechas funcionan cuando la zona tiene el foco.

Datos iniciales
ObservaciónRecuento
Cita observada12
Legible sin cita4
Imposible de examinar4

Comprobaciones

  1. Separar fallo de lectura y ausencia observada.
  2. Calcular tasa sobre respuestas legibles.
  3. Dar límites descriptivos del panel completo.
Leer la solución

Solución y decisión

Entre 16 legibles, 12/16 = 75 %. Entre 20, hay de 12 a 16 citas, o 60–80 %, según las desconocidas. Son límites por datos ausentes, no intervalo de confianza de Wilson. Procesar no convierte desconocidas en observadas.

Si cambia el caso

Al recuperar las cuatro, sustituir desconocidas por estados reales y publicar versión revisada.

Registro que conservar

Guardar recuentos por estado, denominadores, motivo de no lectura y exclusión.

Prueba que conservar

  • Definición del éxito, panel, exclusiones y contexto.
  • Éxitos k, observaciones n y fecha.
  • Wilson, nivel 95 %, supuestos y umbral.
  • Umbral previo, posibles tasas condicionadas, sesiones y fallos de acceso registrados por separado.

Referencias oficiales

Protocolos relacionados

Comprobaciones antes de concluir

  • ¿Se definió éxito antes de contar?
  • ¿Son independientes las observaciones y estable el protocolo?
  • ¿Se separa el resultado de la exactitud de citas?

Preguntas frecuentes

¿95 % significa que se citará el 95 % de respuestas?

No. La tasa es k/n. El 95 % califica el método de intervalo bajo los supuestos.

¿El solapamiento de intervalos demuestra ausencia de diferencia?

No. No es una prueba de diferencia; las observaciones emparejadas necesitan tratamiento adecuado.

¿Cómo contar una respuesta técnicamente inaccesible?

Defina la regla antes de recoger datos. Una tasa condicionada a respuestas legibles requiere el número de fallos de acceso y el total de intentos. No convierta automáticamente lo inaccesible en ausencia de cita ni lo excluya sin indicarlo.

¿Cómo tratar un caso difícil de clasificar?

Presentar una categoría incerta y describir el motivo. Una segunda lectura puede precisar el juicio; no debe borrar los límites ni imponer una certeza que el caso no permite.

MEDICIÓN / FUENTES DE VISIBILIDAD

Impresión, cita, visita: tres observaciones distintas

Aparecer en una respuesta de IA y recibir una visita ocurren en etapas diferentes. Elija la señal que responde a su pregunta antes de comparar períodos.

  1. Ser accesible

    El rastreo puede hacer que una página esté disponible para la búsqueda.

  2. Aparecer o ser citado

    Un enlace puede aparecer en una respuesta sin recibir clics.

  3. Recibir una visita

    El sitio registra una llegada dentro de los límites de su medición.

¿Qué informe utilizar y qué permite concluir?
Fuente del registroQué se mideLímite de interpretación
Google · IA generativa en Search Console
Documentación oficial
Impresiones de enlaces en AI Overviews y AI Mode, con dimensiones como página, país y dispositivo.Los días usan la hora del Pacífico (PT). El total de propiedad y la suma de páginas pueden diferir por agregación. Si no aparece el informe, Google indica que normalmente el sitio recibe muy pocas impresiones en estas funciones.
Bing Webmaster Tools · AI Performance
Documentación oficial · Anuncio de Bing
Citas visibles y páginas citadas en experiencias de IA compatibles; las consultas de grounding se agrupan.Una cita no es un clic, una posición ni una medida de importancia. Las consultas agrupadas no reproducen los prompts individuales. Las consultas mostradas proceden de una muestra de la actividad de citación.
Medición en el sitioLlegadas y acciones registradas según su configuración de medición.Una visita atribuida no representa todas las impresiones. La ausencia de referente o el bloqueo de la medición limitan la atribución.
Panel de preguntas documentadoPresencia y fidelidad de citas en un conjunto de respuestas observadas.El resultado depende de preguntas, modo, idioma y fecha. No describe a todos los usuarios.

Las impresiones del informe de IA de Google forman parte del ámbito Web de Search Console: no las sume al total Web. Compare visibilidad, citas y visitas por separado.

Comparar el ámbito de dos registros

Documentación consultada el .

REFERENCIAS DOCUMENTADAS

Dispersión e incertidumbre: distinguir SD y SE

La dispersión describe observaciones; la incertidumbre, variabilidad de una estimación bajo modelo. Compartir unidad no las hace intercambiables.

Dispersión e incertidumbre: distinguir SD y SE
ReferenciaValor o formaQué identifica
Sample varianceΣ(xᵢ − mean)² / (n − 1)Varianza muestral dividida por n − 1. Dividir por n difiere: registre denominador.
Sample SD√varianceRaíz de varianza, en unidad original; varianza usa unidad al cuadrado. SD grande no prueba error.
IQRQ3 − Q1Q3 menos Q1 describe centro y depende de convención: guarde algoritmo.
Rangemax − minMáximo menos mínimo, sensible a extremos; no es intervalo de confianza.
SE(mean)s / √n · assumptions requireds/√n necesita marco e independencia; no basta para todo sondeo ponderado, serie o repetición.
n < 2R sd(): NAR sd() devuelve NA con cero o una observación. No lo convierta en cero.

Qué conservar en el expediente

Intervalos requieren modelo, nivel y método. Citas de IA y respuestas repetidas pueden depender entre sí; más filas no garantizan reducción como observaciones independientes.

¿Comparo barras SD y SE?

Solo identificando su sentido. SD describe dispersión; SE estima media bajo modelo. Menor barra no prueba menor dispersión poblacional.

Documentación primaria

Documentación consultada el .

REFERENCIAS DOCUMENTADAS

Proporción observada: publicar recuentos e intervalo de Wilson

Cinco positivos entre veinte dan un 25 %, como 250 entre 1.000. Bajo un modelo binomial adecuado, las estimaciones no tienen la misma precisión. El explorador separa tasa observada, nivel de confianza y límites.

Proporción observada: publicar recuentos e intervalo de Wilson
ReferenciaValor o formaQué identifica
Observed proportionx / nx cuenta los positivos según un criterio fijado; n, todos los casos evaluables. Una respuesta ausente o indecidible no es negativa: documente las exclusiones.
Wilson scoretwo-sidedWilson es un intervalo de puntuación bilateral. Su centro suele diferir de x/n y sus límites permanecen entre 0 y 1. No es Wald ni el intervalo binomial exacto de Clopper–Pearson.
Confidence level90% · 95% · 99%Se ofrecen 90 %, 95 % y 99 % con el cuantil normal correspondiente. La confianza describe cobertura en muestreos repetidos, no una probabilidad posterior para este intervalo concreto.
x = 0upper limit > 0Con x = 0 y n > 0, el límite superior sigue siendo positivo. Ningún evento observado no demuestra imposibilidad. No se calcula intervalo con n = 0.
Sampling modelindependent · common probabilitySe presuponen ensayos independientes con igual probabilidad. Repetir una consulta, agrupar casos o seleccionar una muestra por conveniencia no garantiza esas condiciones.

Explorar una proporción

Ejercicio didáctico sin observaciones de un servicio real. Positivo y negativo se refieren solo al criterio declarado.

Supuestos del modelo: ensayos independientes con igual probabilidad. Una muestra seleccionada y repeticiones dependientes no se vuelven representativas mediante el intervalo.

Introduzca enteros con 1 ≤ n ≤ 1.000.000 y 0 ≤ x ≤ n.

El cálculo permanece en el navegador; no se transmiten entradas ni se crean archivos.

Resultados calculados · x = 5 · n = 20 · 95%

Tasa observada (%)
25
Límite inferior (%)
11,18617
Límite superior (%)
46,870088
Anchura (puntos porcentuales)
35,683918
Intervalo de Wilson y tasa observadaEl punto indica x/n y el segmento, el intervalo bilateral de Wilson. El eje permanece en 0–100 %. Los valores figuran arriba.0%25%50%75%100%Wilson · 95%
El punto indica x/n y el segmento, el intervalo bilateral de Wilson. El eje permanece en 0–100 %. Los valores figuran arriba.

Fórmula y convención de cálculo

z = {"90":1.6448536269514715,"95":1.9599639845400536,"99":2.5758293035489}
p = x/n; D = 1 + z²/n
center = (p + z²/(2n)) / D
half = z × sqrt(p(1−p)/n + z²/(4n²)) / D
Wilson = [center − half, center + half]

Las p muy pequeñas usan notación científica para no aparecer como cero. Los demás resultados se redondean a seis decimales.

Ejemplos calculados al 95 %: la tabla mantiene ese nivel al cambiar el selector.
x / nTasa observada (%)Límite inferior (%)Límite superior (%)Anchura (puntos porcentuales)
0 / 50043,44824643,448246
1 / 5203,62241162,44653758,824126
5 / 510056,55175410043,448246
5 / 202511,1861746,87008835,683918
25 / 1002517,54521134,30446416,759252
250 / 10002522,4153127,7760285,360718
0 / 100003,699353,69935
100 / 10010096,300651003,69935

Los ejemplos explican cálculos y no son datos comerciales de rendimiento.

La confianza no es la probabilidad de que una afirmación sea verdadera. El valor p tampoco mide esa probabilidad.

Qué conservar en el expediente

Ejemplos originales, sin medición de un servicio real. La cobertura de Wilson es aproximada y no garantiza el 95 % para todo tamaño. No corrige sesgo de selección, dependencia o errores de evaluación ni predice cambios futuros del motor.

¿Qué publicar junto a una tasa de citas?

Incluya x y n, criterio positivo, exclusiones, consultas y selección, versiones, fechas, unidad independiente y método. La presencia de una cita no prueba que sea correcta; evalúe esa dimensión aparte.

Documentación primaria

Documentación consultada el .

PROFUNDIZACIÓN / PRÁCTICA

Expresar lo que los resultados permiten afirmar

Dos series de respuestas muestran tasas de cita diferentes. El problema consiste en determinar si la distancia describe una variación reproductible o simplemente la composición de las preguntas probadas.

Actualizado el .

Comprobaciones prioritarias

Examinar los personal, las repeticiones y las dependencias entre las observaciones. Separar los resultados por categoría cuando las preguntas se refieren a intenciones o niveles de dificultad diferentes.

Errores de interpretación

Un porcentaje preciso puede dar una impresión falsa de solidez. Una pequeña muestra o una selección orientada permanece limitada, incluso acompañada de decimales y gráficos.

Documento de trabajo que conservar

Una nota de incertidumbre muestra el número de casos, la regla de clasificación y las variaciones observadas. Se especifican las comparaciones defendibles y las observaciones adicionales necesarias.

EJEMPLO / LEER LAS CIFRAS

Presencia no siempre significa representación exacta

Datos ficticios para explicar el método; no son resultados de clientes ni mediciones de este sitio.

Presencia no siempre significa representación exacta
ObservaciónCantidadLectura
Preguntas del panel40Base fija de comparación.
Respuestas que citan la marca1212 / 40 = 30 % del panel.
Respuestas que describen bien la oferta88 / 40 = 20 % del panel; 8 / 12 ≈ 66,7 % de las menciones.
Mostrar el límite de interpretación

Lo que estas cifras no demuestran

No mide cuota de mercado ni ventas. Una mención puede ser incorrecta. Indique panel, fecha, idioma y repeticiones.