robots.txt

Fajl li jgħid lill-crawlers (Google, GPTBot, ClaudeBot) x'jistgħu jieħdu.

Why this matters

Ħafna siti aċċidentalment jimblokkaw lil ChatGPT jew Perplexity hawn – u jitilfu kull kwotazzjoni mill-AI.