Les Crawlers IA : OAI-SearchBot, GPTBot, ClaudeBot et PerplexityBot

Que sont les crawlers IA ?

Les crawlers IA sont des bots automatises operes par des entreprises d'IA qui visitent les sites web pour collecter des informations. Ces informations sont utilisees pour construire des index de recherche, generer des reponses ou entrainer des modeles IA.

Les principaux crawlers IA

GPTBot (OpenAI)

Agent utilisateur : GPTBot

Objectif : Collecte des donnees pour les modeles et produits OpenAI

Documentation : https://platform.openai.com/docs/gptbot

OAI-SearchBot (OpenAI)

Agent utilisateur : OAI-SearchBot

Objectif : Alimente la fonction de recherche de ChatGPT

Note : Separe de GPTBot ; specifiquement pour la recherche en temps reel

ChatGPT-User (OpenAI)

Agent utilisateur : ChatGPT-User

Objectif : Utilise quand ChatGPT navigue sur le web en temps reel pendant une conversation

ClaudeBot (Anthropic)

Agent utilisateur : ClaudeBot

Objectif : Collecte des donnees pour les modeles Claude d'Anthropic

PerplexityBot (Perplexity)

Agent utilisateur : PerplexityBot

Objectif : Indexe le contenu pour le moteur de recherche IA de Perplexity

Google-Extended (Google)

Agent utilisateur : Google-Extended

Objectif : Utilise pour Gemini et d'autres produits IA de Google (separe de Googlebot)

Bingbot (Microsoft)

Agent utilisateur : Bingbot

Objectif : Alimente la recherche Bing et Microsoft Copilot

Comment configurer l'acces

Dans votre fichier robots.txt, vous pouvez autoriser ou bloquer des crawlers specifiques :

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

Recommandation

Si vous voulez que les moteurs IA trouvent et citent votre entreprise, autorisez leurs crawlers. Ne bloquez que les pages privees ou sensibles (admin, dashboard, endpoints API).

Sources

Documentation OpenAI GPTBot

Documentation Anthropic ClaudeBot

Documentation developpeur Perplexity

Documentation crawlers IA Google