La política no es evidencia de tráfico.
El verificador evalúa la política de robots públicos. Solo los registros de servidor, CDN, perimetral, WAF o rastreadores compatibles pueden demostrar que se produjo una solicitud.
Pruebe el rastreador de IA exacto y la ruta de la página.
Vea la regla de los robots implementados, separe los propósitos del rastreador y mantenga la política distinta del tráfico observado.
Corrija una regla de acceso no deseada, implemente y repita la misma verificación de ruta.
Abra el espacio de trabajo de IA
Quick Answer
Un verificador de rastreadores de IA o LLM debe recuperar el archivo robots.txt publicado, identificar el grupo aplicable al rastreador indicado, evaluar rutas públicas representativas y mostrar las reglas allow/disallow coincidentes. Analice por separado los rastreadores de búsqueda, entrenamiento y recuperación activada por el usuario. El resultado describe la política publicada; se necesitan registros del servidor para demostrar el tráfico, mientras que las citas y referencias requieren evidencias diferentes.
AI Summary
Este verificador separa el propósito y la evidencia de cada rastreador. OpenAI ofrece controles independientes para los rastreadores de búsqueda y mejora de modelos; Anthropic documenta por separado las reglas de ClaudeBot; y Perplexity distingue su rastreador automatizado de la recuperación activada por el usuario. El resultado muestra la política implementada y el siguiente paso de verificación, sin tratar todos los bots de IA como si fueran equivalentes.
El propósito del rastreador cambia la decisión.
Los agentes de búsqueda, capacitación y activados por el usuario pueden tener diferentes identidades y controles. Evalúe el agente nombrado en lugar de aplicar un resultado genérico de AI-bot.
One focused workspace
Stop jumping between tools.
Stop jumping between tools.
Keep the workflow in one place.
Audit, AI visibility, research, content optimization, and reporting-organized around the website you are improving.
ReplacesWhat you getOther tools
TruboRankAI
TruboRankAIEverything above vs TruboRankAI - one subscription$755+/mo$19.99/moSave ~97%
Third-party names and logos are trademarks of their owners and are shown for comparison. Other-tool prices are illustrative monthly benchmarks; exact plans and costs may vary.
Evidencia de acceso del rastreador de IA
Inspeccionar las reglas de los robots por identidad y ruta
Resuelva la recuperación y la evidencia de reglas antes de investigar el tráfico real o la visibilidad descendente.
Comprobador de acceso de rastreadores de IA y LLM
Un verificador de robots debe buscar el archivo canónico `/robots.txt`, registrar su estado y URL final y luego evaluar el grupo de agente de usuario aplicable más específico. Las reglas globales, las reglas específicas de los bots, las directivas de permiso, las rutas de acceso no permitidas y las referencias de mapas del sitio pueden interactuar. El informe debe mostrar las líneas coincidentes para que el propietario pueda verificar la conclusión.
Un verificador GPTBot necesita una calificación importante: GPTBot no es el mismo control que OAI-SearchBot. OpenAI documentos GPTBot para posibles mejoras del modelo y OAI-SearchBot para mostrar sitios en ChatGPT búsqueda; La configuración de cada robot es independiente. Permitir uno y bloquear el otro puede ser una política deliberada más que un error.
Un verificador ClaudeBot evalúa los nombres actuales de los rastreadores Anthropic y la guía de robots publicada. Anthropic afirma que sus bots respetan robots.txt y los documentos ClaudeBot por separado. Debido a que las políticas del proveedor pueden cambiar, el resultado debe vincularse a la documentación oficial y registrar la fecha de verificación en lugar de incorporar una lista de rastreadores sin fecha.
Un verificador de PerplexityBot debe distinguir PerplexityBot de Perplexity-User. Perplexity documenta el primero como un rastreador de búsqueda y el segundo como un recuperador activado por el usuario con un comportamiento diferente. Para verificar el tráfico, Perplexity publica listas de IP y recomienda combinar el agente de usuario con la evidencia de IP en lugar de confiar únicamente en la cadena.
El acceso es solo la primera capa. Para confirmar la actividad, inspeccione los registros del servidor, la CDN, el perímetro o un sistema de seguimiento compatible y verifique la URL, la hora, el estado, el agente de usuario y la evidencia de identidad disponible. Mantenga estas solicitudes automatizadas separadas de los informes de referencias humanas. Un resultado favorable en robots.txt significa que la política permite el acceso; no demuestra que se haya producido una visita.
Frequently asked questions
¿Debería permitir todos los robots de IA?
No siempre. Permita el acceso solo cuando sea compatible con su contenido y estrategia de privacidad.
¿Puede robots.txt obligar a las plataformas de IA a citarme?
No. Solo controla las señales de acceso de rastreo.
¿El verificador de GPTBot es gratuito?
La verificación de acceso público puede inspeccionar las reglas básicas robots.txt sin demostrar una visita del rastreador o una cita posterior. Un seguimiento y recomendaciones más profundos dependen del flujo de trabajo y el plan TruboRankAI disponibles.
¿Son iguales GPTBot y OAI-SearchBot?
El No. OpenAI los documenta como controles independientes con diferentes propósitos, así que pruebe y decida cada política por separado.
¿Se pueden verificar ClaudeBot y PerplexityBot solo desde el agente de usuario?
No. Las cadenas de agente de usuario se pueden copiar. Utilice evidencia de verificación respaldada por el proveedor cuando esté disponible e identifique claramente las solicitudes no verificadas.