robots.txt

Fil som forteller crawlere (Google, GPTBot, ClaudeBot) hva de kan hente.

Why this matters

Mange nettsteder blokkerer ved et uhell ChatGPT eller Perplexity her – og mister alle AI-siteringer.