robots.txt
Datoteka koja "crawlerima" (Google, GPTBot, ClaudeBot) govori što smiju preuzeti.
Why this matters
Mnoge stranice ovdje slučajno blokiraju ChatGPT ili Perplexity — i gube svaki AI citat.
Datoteka koja "crawlerima" (Google, GPTBot, ClaudeBot) govori što smiju preuzeti.
Mnoge stranice ovdje slučajno blokiraju ChatGPT ili Perplexity — i gube svaki AI citat.