L'accès des robots d'IA aux sites français
Ce que les sites .fr répondent aux robots d'IA dans leur robots.txt, agent par agent.
Au relevé du 07/09/2026, 2,3 % des sites .fr dont la politique est établie nomment au moins un robot d'IA et lui refusent l'accès.
Refusent au moins un robot d'IA
2,3 %
Nomment au moins un robot d'IA
3,1 %
Publient un robots.txt
85,2 %
Agent par agent
Chaque robot d'IA a son propre groupe dans un robots.txt : un site répond à OpenAI, à Google et à Common Crawl séparément, et c'est ce que l'indice suit.
| Robot | Opéré par | Sites qui le refusent |
|---|---|---|
| CCBot | Common Crawl | 2,0 % |
| GPTBot | OpenAI | 2,0 % |
| Bytespider | ByteDance | 1,8 % |
| ClaudeBot | Anthropic | 1,8 % |
| Google-Extended | 1,8 % | |
| Meta-ExternalAgent | Meta | 1,8 % |
| Applebot-Extended | Apple | 1,7 % |
| ChatGPT-User | OpenAI | 0,3 % |
| PerplexityBot | Perplexity | 0,1 % |
| OAI-SearchBot | OpenAI | 0,1 % |
À part, 3,0 % des sites ferment la racine à tous les robots d'un coup, moteurs de recherche compris. Cette consigne porte sur le crawl en général, et elle est comptée séparément des chiffres ci-dessus.
L'évolution semaine après semaine
Voir les chiffres en tableau
| Date | Refusent au moins un robot d'IA |
|---|---|
| 2026-09-07 | 2,3 % |
| 2026-09-04 | 2,2 % |
| 2026-09-03 | 2,2 % |
La méthode
- Le panier
- Le même panier que l'indice de retard de correctif : 15 000 domaines tirés au sort dans le fichier open data de l'Afnic, qui recense les 4 590 553 domaines .fr actifs. Le tirage classe chaque domaine par l'empreinte sha256 de son nom, et la graine publiée suffit à le rebâtir.
- La cadence
- Le robots.txt est lu chaque lundi, dans le passage qui ouvre déjà chaque domaine du panier. Le panier reste le même d'une semaine à l'autre : un mouvement de la série est un changement d'avis du parc.
- La lecture
- Un robot compte comme refusé quand son propre groupe interdit la racine du site. Un groupe joker qui interdit tout est relevé à part, puisqu'il porte sur le crawl en général.
- La base
- Les chiffres portent sur les sites dont la politique est établie : ceux qui servent un robots.txt, et ceux qui répondent qu'ils n'en ont pas, ce qui autorise tout. Soit 98 % des sites du panier qui servent une page.
- Les agents suivis
- 10 robots d'IA, du modèle qui s'entraîne au moteur qui répond. La liste est figée avec la version de l'indice, puisqu'elle décide de ce que « au moins un » compte.
- L'API
GET https://api.stileex.xyz/v1/series/fr/ai-crawler-blocked-share/latest
Mesuré sur le même panier, dans le même passage hebdomadaire : Le retard de correctif WordPress en France