robots.txt
File che indica ai `crawler` (Google, GPTBot, ClaudeBot) cosa possono recuperare.
Why this matters
Molti siti bloccano accidentalmente ChatGPT o Perplexity qui — e perdono ogni citazione AI.
File che indica ai `crawler` (Google, GPTBot, ClaudeBot) cosa possono recuperare.
Molti siti bloccano accidentalmente ChatGPT o Perplexity qui — e perdono ogni citazione AI.