Acceso de Bots IA
robots.txt para IAs: el mínimo que deberías tener
Publicada el minutosPor el equipo de Eris
Un robots.txt que permita explícitamente a los rastreadores que deciden si te pueden citar — GPTBot, ChatGPT-User y OAI-SearchBot de OpenAI, ClaudeBot y PerplexityBot — es el requisito previo a cualquier otra optimización para IA. Sin acceso no hay lectura, y sin lectura no hay cita.
Por qué importa
El robots.txt es el primer archivo que consulta cualquier rastreador serio antes de leer nada más de tu web. Si no existe o da error, algunos bots asumen la postura más conservadora y reducen o evitan el rastreo — justo lo contrario de lo que quieres.
Cómo se arregla
- 1Comprueba que tudominio.es/robots.txt responde con estado 200 (no 404 ni error del servidor).
- 2Si no tienes uno, crea el archivo más simple posible en la raíz del dominio, permitiendo explícitamente a los bots de IA.
Código
robots.txt mínimo permitiendo los principales bots de IA
# Rastreadores que deciden si te pueden citar
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /