Google-Extended : définition

Google-Extended est un token User-Agent distinct de Googlebot, introduit par Google en 2023, qui permet aux propriétaires de sites de contrôler indépendamment l'accès de Google à leur contenu pour l'entraînement et le grounding de ses systèmes d'IA générative — notamment Gemini et les services Vertex AI — sans affecter le crawl SEO classique effectué par Googlebot.

Pourquoi c'est important pour la visibilité IA

La distinction entre Googlebot et Google-Extended est l'une des décisions les plus structurantes qu'un site puisse prendre vis-à-vis de sa visibilité dans les produits IA de Google.

Bloquer Googlebot dans robots.txt exclut le site de l'index Google classique — une décision radicale qui affecte la visibilité SEO dans son ensemble. Bloquer Google-Extended est une décision plus ciblée : elle préserve le classement SEO classique tout en excluant le contenu des usages IA déclarés par Google pour ce token (entraînement Gemini, grounding Vertex AI).

Google a documenté Google-Extended comme un moyen pour les éditeurs de contenu de gérer leur relation avec les produits IA de Google séparément de leur référencement classique. Ce token est reconnu et respecté par les systèmes de Google depuis son introduction.

La décision de bloquer ou autoriser Google-Extended dépend de la stratégie du site :

• Autoriser (ou ne rien spécifier) : le contenu reste accessible aux systèmes Google qui utilisent ce token pour l'entraînement et le grounding génératif. C'est le comportement par défaut.
• Bloquer : le contenu reste indexé et classé normalement en SEO classique, mais n'est pas accessible aux usages IA documentés pour ce token. Certains éditeurs (médias, agences) font ce choix pour des raisons de droits d'auteur ou de politique éditoriale.

Un point important à garder en tête : la relation entre Google-Extended et AI Overviews n'est pas documentée de façon claire et publique par Google. AI Overviews peut s'appuyer sur l'index existant construit par Googlebot, sur le grounding en temps réel, ou sur une combinaison des deux. Bloquer Google-Extended ne signifie pas nécessairement être exclu d'AI Overviews, et l'autoriser ne garantit pas d'y être cité. Il est prudent de ne pas présenter ces deux effets comme équivalents.

Exemple concret

Un journal en ligne souhaite que ses articles restent accessibles à Google pour le classement SEO, mais refuse que ses contenus soient utilisés pour entraîner les modèles Gemini. La configuration robots.txt correspondante :

User-agent: Googlebot
Allow: /

User-agent: Google-Extended
Disallow: /

Cette configuration permet à Googlebot de crawler et d'indexer toutes les pages pour le classement organique, tout en bloquant Google-Extended pour les usages IA.

À l'inverse, un site qui veut s'assurer que son contenu reste accessible aux systèmes IA de Google laisse Google-Extended autorisé (ou simplement absent de toute directive Disallow), en complément d'une structure de contenu extractible et de données JSON-LD bien formées.

Pour le contexte complet, voir le guide complet du GEO.