Inventariar superficies
Separe páginas públicas, recursos necesarios para mostrar el contenido, zonas privadas y variantes sin valor propio.
GUÍA / PROTOCOLO
Controlar el acceso de robots de IA
Una política clara parte del uso previsto para cada página pública, no de una lista de nombres de robots.
Respuesta directa
¿Cómo controlar los robots relacionados con IA?
Defina qué páginas pueden descubrirse, cuáles pueden aparecer en búsquedas y cuáles deben excluirse de un uso determinado. Exprese estas decisiones en robots.txt, directivas de página y respuestas del servidor; después compruebe el acceso real.
01 / Método de control
Método de control
Decidir por uso
Determine el acceso para búsqueda clásica, búsqueda con IA y recopilación para entrenamiento según los agentes documentados por cada operador.
Comprobar la respuesta
Revise estado HTTP, robots.txt, redirecciones, meta robots o X-Robots-Tag y HTML servido, también en cada idioma.
Observar con cautela
Compare registros del servidor, herramientas para webmasters y tráfico referido. Una visita no demuestra indexación ni cita.
02 / Pruebas que conservar
Pruebas que conservar
Regla fechada
Conserve versión, fecha y motivo de cada directiva.
URL comprobada
Anote página exacta, estado, canonical y reglas de página.
Agente identificado
Distinga agentes declarados para búsqueda, vistas previas y entrenamiento.
Resultado observado
Documente lo accesible y lo que aparece en las herramientas disponibles.
PUNTO DE CONTROL
Antes de concluir
Una interpretación errónea frecuente y la comprobación que ayuda a evitarla.
Conclusión precipitada
Bloquear un robot no elimina automáticamente una URL conocida del índice ni controla copias alojadas en otros lugares. Las reglas dependen del robot y su uso.
Comprobación decisiva
Leer las directivas servidas en el dominio correcto, identificar categorías de robots y probar URLs representativas. Distinguir rastreo, indexación y entrenamiento antes de cambiar una regla.
TRAS LA REVISIÓN
Decidir según el hallazgo
Un robot está bloqueado pero la página sigue accesible
Distinga rechazo de ese robot, indexación por otros y reutilización de copias. Compruebe la respuesta servida y documente el alcance real.
Una regla bloquea un recurso necesario
Pruebe recorridos y robots afectados, restaure el acceso previsto y conserve un plan de vuelta atrás. Revise registros tras publicar.
Decisión y trazabilidad
Decisión y trazabilidad
Qué debe permitir decidir la comprobación y qué conservar para revisar esa decisión.
Prueba suficiente
Lea el robots.txt realmente servido, grupos de agentes, respuestas HTTP y directivas de página. Pruebe el robot pertinente, no otro de nombre parecido.
Siguiente decisión
Documente el objetivo de rastreo y ajuste la regla más limitada. Vuelva a probar la URL publicada y vigile cambios de configuración.
Casos de control detallados
Situaciones tipo para preparar un control. No describen misiones realizadas ni observaciones reales.
Un resultado sigue tras el bloqueo
Qué examinar
Compare fecha del cambio, accesos recientes y resultado aún mostrado.
Decisión y acción
Distinga restricción de nuevos accesos y retirada de contenido ya procesado; documente cada mecanismo.
Prueba que conservar
Regla fechada, registros disponibles y resultado observado.
El nombre del robot no basta
Qué examinar
Examine agente declarado e información de validación publicada por el proveedor.
Decisión y acción
No atribuya acceso solo por User-Agent; clasifique aparte las peticiones no verificadas.
Prueba que conservar
Hora, ruta, agente declarado y resultado de validación.
Una regla cubre demasiadas rutas
Qué examinar
Probar rutas exactas previstas y cercanas después de cambiar robots.
Decisión y acción
Ajustar la intención; no tratar robots como control de acceso.
Prueba que conservar
Agente, rutas, regla y respuesta servida.
Revisión antes de decidir
Estas preguntas completan el método. Ayudan a determinar lo respaldado sin eliminar las reservas del registro.
Regla y alcance
¿Apunta la regla al agente y rutas correctos? Distinga declaración de rastreo, control de acceso y observación real en los registros disponibles.
Ver una decisión comentada
Ejemplo ficticio: el estado se refiere únicamente al criterio y alcance descritos.
- Observación ficticia
- Una regla Disallow afecta a Robot-A en /privado/; ningún registro permite observar ese robot.
- Estado declarado
- No comprobado
- Decisión y próximo control
- Documente la regla publicada; deje desconocido el comportamiento real. No la presente como barrera de acceso.
Controles opuestos
¿Se compararon una ruta permitida y otra excluida sin modificar accesos? Revise las reglas si el operador cambia agentes o documentación.
Ver una decisión comentada
Ejemplo ficticio: el estado se refiere únicamente al criterio y alcance descritos.
- Observación ficticia
- En el conjunto de prueba, /public/ está permitido y /private/ excluido para el mismo agente; se verifican ambos.
- Estado declarado
- Verificado en este alcance
- Decisión y próximo control
- El control cubre esas reglas y rutas. Repita los testigos si cambia el agente o la regla.
Recurso sensible
¿Un recurso privado exige autenticación independiente de robots.txt? Una instrucción de rastreo no protege el acceso.
Documentación consultada : IETF · Robots Exclusion Protocol ·
Ver una decisión comentada
Ejemplo ficticio: el estado se refiere únicamente al criterio y alcance descritos.
- Observación ficticia
- El recurso de prueba /private/ figura en robots.txt pero se lee sin autenticación.
- Estado declarado
- Discrepancia observada
- Decisión y próximo control
- Registre la protección ausente y corrija el acceso. No publique contenido sensible para probarlo.
HERRAMIENTAS / REGISTROS
Información que registrar
Conserve el nombre exacto del robot y la ruta probada. La regla publicada y la respuesta HTTP observada son pruebas distintas; compruebe ambas tras cada cambio.
- Fecha de consulta y zona horaria
- URL exacta
- Interfaz / modo / cuenta
- Directivas de robots observadas
- Estado HTTP / redirección
- Decisión / próxima acción
- Responsable del control
- Próximo control
03 / FAQ
Preguntas frecuentes
¿Autorizar OAI-SearchBot garantiza una cita?
No. Permite el acceso necesario para una posible aparición en la búsqueda de ChatGPT, sin garantizarla.
¿Se pueden separar búsqueda y entrenamiento?
Sí, cuando el operador documenta agentes distintos. Compruebe nombres y comportamiento en la documentación oficial.
¿Protege robots.txt una página privada?
No. Use controles de acceso adecuados; robots.txt se dirige a robots que respetan la regla.
¿Hay que bloquear las imágenes aparte?
Revise el uso previsto y los recursos necesarios para mostrar la página; el bloqueo puede dificultar su comprensión.
¿Cómo comprobar un cambio?
Pruebe el archivo servido, el grupo de agente, varias URL representativas y los registros tras publicar.
04 / Referencias oficiales
Referencias oficiales
Describir un contexto
REFERENCIAS DOCUMENTADAS
Qué describe realmente robots.txt
Separe la regla publicada de la respuesta recibida por el robot. Para una ruta importante, conserve el archivo consultado y la comprobación de la URL.
| Referencia | Valor o forma | Qué identifica |
|---|---|---|
| User-agent | group | Grupo de robots destinatario. |
| Allow | path | Ruta permitida. |
| Disallow | path | Ruta excluida del rastreo. |
Qué conservar en el expediente
El protocolo no es un mecanismo de autorización de acceso. No proteja un secreto solo con Disallow. Compruebe por separado los agentes y políticas documentados por cada plataforma.
Documentación primaria
Documentación consultada el .
PROFUNDIZACIÓN / PRÁCTICA
Leer una regla de acceso en su contexto
Un equipo quiere entender qué robots pueden consultar ciertos recursos. El examen debe referirse a las reglas publicadas y su perímetro, y luego a las observaciones de solicitudes disponibles.
Actualizado el .
Comprobaciones prioritarias
Leer los grupos de directivas, los caminos relevantes y las diferencias entre los agentes declarados. Verificar si las reglas corresponden a las URL realmente servidas y mantener su versión.
Errores de interpretación
Una directiva publicada no demuestra que un visitante la respete. El nombre de un agente en una solicitud tampoco es suficiente para establecer la identidad de su operador.
Documento de trabajo que conservar
El informe describe la regla, el camino, el agente declarado y el efecto esperado. Las observaciones de logs permanecen separadas de la intención expresada en el archivo de directivas.
CASO PRÁCTICO / EJEMPLO DIDÁCTICO
Una regla no cubre las URL realmente servidas
El ejemplo es una situación pedagógica de control web. Se relaciona el defecto con un camino concreto y describe una manera de comprobar la corrección, en lugar de considerar la única publicación del cambio como una prueba de resolución.
Contexto del ejemplo
Un archivo de directrices está dirigido a un viejo camino, mientras que los contenidos están disponibles bajo una nueva estructura. La intención publicada ya no corresponde al perímetro actual.
Método propuesto
Comparar reglas y caminos eficaces. Examinar los grupos de agentes, las variantes de URL y las observaciones disponibles. Conservar la versión antes de la corrección para explicar el cambio.
Conclusión y próximo paso
El informe describe la diferencia entre la regla y los recursos. El control distingue el alcance previsto de las directivas y el comportamiento de las solicitudes observadas después de su modificación.
Preguntas para profundizar en la práctica
¿Se puede extraer el cumplimiento de las reglas desde el archivo solo?
No no. El archivo describe una intención de acceso. Las observaciones de las consultas y su atribución requieren una lectura distinta, con los límites de los identificadores declarados por los visitantes.
TALLER DETALLADO / APLICACIÓN
Contrastar las directivas de acceso con las rutas actuales
01 / Preparar la información necesaria
Preparar archivo de directivas, grupos de agentes y estructura de URLs. Identificar los recursos y las variantes que pueden cambiar el perímetro de acceso descrito.
02 / Aplicar el método
Comparar cada regla con los caminos efectivamente servidos. Reducir las excepciones y conservar la versión del archivo. Examinar por separado las solicitudes observadas y los límites de su asignación.
03 / Examinar una situación alternativa
Si una regla describe bien la intención pero las solicitudes persisten, no confunda publicación y respeto. El comportamiento observado requiere una análisis distinta de los identificadores y recursos solicitados.
04 / Decidir el siguiente paso
El control de las directivas se cierra cuando el perímetro publicado corresponda a la intención documentada. La verificación de los visitantes y de su comportamiento permanece calificada por separado.
05 / Transmitir los registros de comprobación
Transmitir reglas, caminos, observaciones y reservas. Un cambio de arborescencia debe dar lugar a una revisión de las directivas que dependen de las antiguas ubicaciones.
DOCUMENTO COMENTADO / MATRIZ DE REVISIÓN
Un informe de las directivas y su perímetro efectivo
El informe combina agente declarado, regla, camino y intención. Conserva la versión publicada y las observaciones de las solicitudes en una lectura distinta del cumplimiento de las directivas.
En una pantalla pequeña, desplace la matriz horizontalmente para leer las tres columnas.
| Elemento observado | Interpretación fundamentada | Próximo paso |
|---|---|---|
| La regla se refiere a los caminos actualmente servidos. | El perímetro publicado corresponde a la intención documentada. | Conservar la versión y comprobar las variantes de URL importantes. |
| Una regla sólo se refiere a una antigua ubicación. | La publicación no cubre necesariamente los recursos actuales. | Revisar los caminos y luego ver los grupos y las excepciones. |
| Las demandas persisten a pesar de una directiva. | El archivo solo no permite concluir sobre la identidad o el comportamiento del visitante. | Examinar las observaciones y sus límites de asignación separadamente. |
Revisión del documento de trabajo
La persona encargada de la verificación verifica que la declaración describe una intención de acceso o un hecho observado. Los dos no deben confundirse, incluso cuando el nombre de un agente parece corresponder a una regla.
RESULTADOS / EJEMPLO DE REDACCIÓN
Presentación de resultados: Leer una regla de acceso en su contexto
Punto que aclarar
Una directiva expresa un perímetro previsto sin demostrar el comportamiento de los visitantes.
Antes de transmitir
Verificar que la formulación distingue la intención publicada y la observación de la solicitud.
Ejemplo de conclusión fundamentada
El archivo publicado describe las reglas y caminos indicados. Las solicitudes observadas se analizan con sus límites de asignación y no se extraen del archivo solo.