robots.txt

Fil der fortæller crawlere (Google, GPTBot, ClaudeBot), hvad de må hente.

Why this matters

Mange sider blokerer ved et uheld ChatGPT eller Perplexity her – og mister alle AI-citater.