robots.txt
Fichier qui indique aux crawlers (Google, GPTBot, ClaudeBot) ce qu'ils peuvent récupérer.
Why this matters
De nombreux sites bloquent accidentellement ChatGPT ou Perplexity ici — et perdent toutes les citations IA.
Fichier qui indique aux crawlers (Google, GPTBot, ClaudeBot) ce qu'ils peuvent récupérer.
De nombreux sites bloquent accidentellement ChatGPT ou Perplexity ici — et perdent toutes les citations IA.