robots.txt

Fails, kas indeksētājiem (Google, GPTBot, ClaudeBot) norāda, ko tie drīkst ielādēt.

Why this matters

Daudzas vietnes nejauši bloķē ChatGPT vai Perplexity, izmantojot šo failu — un zaudē visas AI citācijas.