robots.txt
Súbor, ktorý hovorí crawlerom (Google, GPTBot, ClaudeBot), čo môžu načítať.
Why this matters
Mnohé stránky tu náhodne blokujú ChatGPT alebo Perplexity — a strácajú každú citáciu AI.
Súbor, ktorý hovorí crawlerom (Google, GPTBot, ClaudeBot), čo môžu načítať.
Mnohé stránky tu náhodne blokujú ChatGPT alebo Perplexity — a strácajú každú citáciu AI.