robots.txt
Archivo que les dice a los rastreadores (Google, GPTBot, ClaudeBot) qué pueden obtener.
Why this matters
Muchos sitios bloquean accidentalmente ChatGPT o Perplexity aquí, y pierden todas las citas de IA.
Archivo que les dice a los rastreadores (Google, GPTBot, ClaudeBot) qué pueden obtener.
Muchos sitios bloquean accidentalmente ChatGPT o Perplexity aquí, y pierden todas las citas de IA.