robots.txt

Datei, die Crawlern (Google, GPTBot, ClaudeBot) mitteilt, was sie abrufen dürfen.

Why this matters

Viele Websites blockieren hier versehentlich ChatGPT oder Perplexity – und verlieren jede KI-Zitierung.