robots.txt

Fail, mis ütleb roomikutele (Google, GPTBot, ClaudeBot), mida nad võivad hankida.

Why this matters

Paljud saidid blokeerivad siin kogemata ChatGPT või Perplexity – ja kaotavad kõik AI viited.