Quels robots d'IA explorent mon site et faut-il les bloquer ?

OpenAI, Anthropic et Perplexity séparent trois usages : la recherche, la visite demandée par un utilisateur, et l'entraînement des modèles. Google et Bing fonctionnent autrement.

• ▸OpenAI : OAI-SearchBot fait apparaître les sites dans la recherche de ChatGPT ; ChatGPT-User visite une page à la demande d'un utilisateur ; GPTBot collecte des pages pour l'entraînement des modèles (OpenAI).
• ▸Anthropic : Claude-SearchBot sert à la qualité des résultats de recherche de Claude ; Claude-User visite une page quand un utilisateur pose une question ; ClaudeBot collecte du contenu qui peut servir à l'entraînement (Anthropic).
• ▸Perplexity : PerplexityBot fait apparaître et lie les sites dans les résultats, et Perplexity précise qu'il ne sert pas à entraîner des modèles ; Perplexity-User visite une page à la demande d'un utilisateur (Perplexity).
• ▸Google : pas de robot dédié. Google-Extended est un simple jeton du robots.txt. Il contrôle l'usage de vos pages pour entraîner les modèles Gemini et pour l'ancrage des réponses de Gemini ; il n'a aucun effet sur l'inclusion ni le classement dans Google Search (Google).
• ▸Bing : Bingbot explore pour Bing, et donc pour Copilot (Bing).

Pas les robots de recherche, si vous voulez être cité. OpenAI l'écrit sans détour : un site qui bloque OAI-SearchBot n'apparaît pas dans les réponses de recherche de ChatGPT, sauf sous forme de simple lien de navigation (OpenAI).

Pour les robots d'entraînement, c'est un choix, et il n'engage pas votre visibilité dans la recherche. OpenAI précise que chaque réglage est indépendant : vous pouvez autoriser OAI-SearchBot et refuser GPTBot (OpenAI).

Deux nuances. Bloquer Google-Extended retire aussi vos pages de l'ancrage des réponses de Gemini, pas seulement de l'entraînement (Google). Et chez Bing, le réglage passe par des balises : NOCACHE limite l'usage à l'URL, au titre et à l'extrait ; NOARCHIVE retire la page des réponses de chat et de l'entraînement (Bing).

Mon conseil pour un site d'entreprise qui cherche des clients : tout autoriser. Votre contenu est public, et vous voulez que les IA vous connaissent.

Dans le fichier robots.txt, à la racine du site, robot par robot. Exemple qui autorise la recherche et bloque l'entraînement :

# Robots de recherche des IA : autorisés
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

# Robots d'entraînement : bloqués (si c'est votre choix)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

Trois limites à connaître. Les robots qui agissent pour un utilisateur ne suivent pas toujours le robots.txt : OpenAI indique que ses règles « peuvent ne pas s'appliquer » à ChatGPT-User, et Perplexity que Perplexity-User les ignore en général (OpenAI, Perplexity). Anthropic prévient que le blocage par adresse IP peut ne pas fonctionner de façon fiable (Anthropic). Enfin, vérifiez le pare-feu de votre hébergeur : ce que j'observe sur les sites que je suis, c'est qu'une protection anti-robots peut bloquer ces visiteurs sans que le robots.txt y soit pour rien.