robots.txt
Αρχείο που λέει στους ανιχνευτές (crawlers) (Google, GPTBot, ClaudeBot) τι μπορούν να ανακτήσουν.
Why this matters
Πολλές ιστοσελίδες μπλοκάρουν κατά λάθος το ChatGPT ή το Perplexity εδώ — και χάνουν κάθε αναφορά AI.
Αρχείο που λέει στους ανιχνευτές (crawlers) (Google, GPTBot, ClaudeBot) τι μπορούν να ανακτήσουν.
Πολλές ιστοσελίδες μπλοκάρουν κατά λάθος το ChatGPT ή το Perplexity εδώ — και χάνουν κάθε αναφορά AI.