robots.txt
Failas, nurodantis vikšrams (crawlers) (Google, GPTBot, ClaudeBot), ką jie gali nuskaityti.
Why this matters
Daugelis svetainių netyčia blokuoja „ChatGPT“ ar „Perplexity“ čia – ir praranda visas AI citatas.
Failas, nurodantis vikšrams (crawlers) (Google, GPTBot, ClaudeBot), ką jie gali nuskaityti.
Daugelis svetainių netyčia blokuoja „ChatGPT“ ar „Perplexity“ čia – ir praranda visas AI citatas.