robots.txt

Fájl, amely megmondja a crawlereknek (Google, GPTBot, ClaudeBot), mit fetchelhetnek.

Miért számít

Sok oldal véletlenül blokkolja itt a ChatGPT-t vagy Perplexityt — és minden AI-idézést elveszít.