robots.txt
Fil som talar om för crawlare (Google, GPTBot, ClaudeBot) vad de får hämta.
Why this matters
Många webbplatser blockerar av misstag ChatGPT eller Perplexity här – och förlorar alla AI-citat.
Fil som talar om för crawlare (Google, GPTBot, ClaudeBot) vad de får hämta.
Många webbplatser blockerar av misstag ChatGPT eller Perplexity här – och förlorar alla AI-citat.