robots.txt
Bestand dat crawlers (Google, GPTBot, ClaudeBot) vertelt wat ze mogen ophalen.
Why this matters
Veel sites blokkeren hier per ongeluk ChatGPT of Perplexity — en verliezen zo elke AI-vermelding.
Bestand dat crawlers (Google, GPTBot, ClaudeBot) vertelt wat ze mogen ophalen.
Veel sites blokkeren hier per ongeluk ChatGPT of Perplexity — en verliezen zo elke AI-vermelding.