AI Crawl Policy Auditor
Pega tu robots.txt y descubre, de un vistazo, si estás cediendo tu
contenido al entrenamiento de IA sin contrapartida, si te estás auto-excluyendo de
las citas de AI-search, y si tus capas de defensa se contradicen.
Audita la configuración declarada, no el comportamiento real.
Esta herramienta lee lo que dice tu
robots.txt; no comprueba si cada bot
lo obedece. Todo el análisis ocurre en tu navegador: no se envía ni se guarda nada.
Fuera de alcance: logs de servidor · verificación de obediencia real ·
detección de spoofing por IP · medición de referral de IA. Eso requiere datos de tráfico
y un backend.
1 · Tu configuración
Pega tu archivo y, opcionalmente, describe tu capa CDN/WAF. Nada sale de este navegador.
2 · Postura global
Tres ejes independientes. No un único número que esconda los matices.
3 · Matriz bot a bot
Cada tarjeta separa dos cosas: en gris, lo que el bot es (su categoría y si te devuelve tráfico); en color, lo que tu configuración le hace y si eso te conviene.
4 · Hallazgos
Ordenados por severidad. Despliega cada uno para entender el concepto.
5 · robots.txt recomendado
Elige un perfil de medio. El archivo se genera con comentarios explicativos.