Technical

    robots.txt

    Bestand dat crawlers (Google, GPTBot, ClaudeBot) vertelt wat ze mogen ophalen.

    Why this matters

    Veel sites blokkeren hier per ongeluk ChatGPT of Perplexity — en verliezen zo elke AI-vermelding.

    Related terms