robots.txt
Soubor, který říká crawlerům (Google, GPTBot, ClaudeBot), co mohou načíst.
Why this matters
Mnoho webů zde omylem blokuje ChatGPT nebo Perplexity — a ztrácí tak každou AI citaci.
Soubor, který říká crawlerům (Google, GPTBot, ClaudeBot), co mohou načíst.
Mnoho webů zde omylem blokuje ChatGPT nebo Perplexity — a ztrácí tak každou AI citaci.