robots.txt

Tiedosto, joka kertoo indeksoijille (Google, GPTBot, ClaudeBot), mitä ne saavat hakea.

Why this matters

Monet sivustot estävät vahingossa ChatGPT:n tai Perplexityn täällä – ja menettävät kaikki tekoälyviittaukset.