Retirez les règles robots.txt qui bloquent les robots dont les moteurs IA se servent pour lire vos pages au moment de répondre. Les robots d'entraînement des modèles relèvent d'un autre choix et peuvent rester tels quels.
Impact élevéRapide (< 15 min)1 page
Pourquoi
Crawlers IA bloqués : GPTBot, ClaudeBot, CCBot
User-agent: * Allow: / # AI crawlers — allow citation User-agent: GPTBot Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: ClaudeBot Allow: / User-agent: PerplexityBot Allow: / User-agent: CCBot Allow: / User-agent: anthropic-ai Allow: / Sitemap: https://www.streetpress.com/sitemap.xml