Technical

    robots.txt

    File che indica ai `crawler` (Google, GPTBot, ClaudeBot) cosa possono recuperare.

    Why this matters

    Molti siti bloccano accidentalmente ChatGPT o Perplexity qui — e perdono ogni citazione AI.

    Related terms