robots.txt
Ficheiro que indica aos "crawlers" (rastreadores) (Google, GPTBot, ClaudeBot) o que podem aceder.
Why this matters
Muitos sites bloqueiam acidentalmente o ChatGPT ou Perplexity aqui — e perdem todas as citações de IA.
Ficheiro que indica aos "crawlers" (rastreadores) (Google, GPTBot, ClaudeBot) o que podem aceder.
Muitos sites bloqueiam acidentalmente o ChatGPT ou Perplexity aqui — e perdem todas as citações de IA.