Cloudflare évalue la préparation de votre site à l’ère des agents d’IA grâce au Score de préparation aux agents.

Les points essentiels à retenir :

• Cloudflare a lancé isitagentready.com, un outil gratuit qui évalue l’optimisation des sites web pour leur compatibilité avec les agents IA selon quatre critères : découvrabilité, contenu, contrôle d’accès, et capacités.
• Un constat alarmant : seuls 4 % des 200 000 sites analysés indiquent leurs préférences d’utilisation par les IA, et moins de 15 sites ont adopté les standards récents tels que MCP Server Cards ou API Catalogs.
• L’initiative repose sur un ensemble de standards en construction, exposant les utilisateurs précoces à un risque de fragmentation ou d’obsolescence rapide.
• Cloudflare joue un double rôle en étant à la fois l’évaluateur et le fournisseur de solutions pour améliorer ce score, une position qui mérite d’être examinée.

Un outil de notation pour un enjeu concret

Cloudflare part d’une observation pertinente. Lorsqu’un agent IA comme Claude, Cursor ou OpenCode cherche à accéder à un site web pour consulter une documentation, acheter un produit ou interagir avec une API, il se heurte à une infrastructure conçue pour les humains : HTML complexe, formulaires, sessions de navigation, captchas. Cela en résulte par des agents lents, coûteux en tokens et souvent inexactes.

Pour évaluer l’ampleur de ce problème, Cloudflare a analysé les 200 000 sites les plus visités, en excluant les redirecteurs, serveurs publicitaires et services de tunneling pour se concentrer sur les sites pertinents pour les agents. Le bilan est frappant : 78 % des sites contiennent un fichier robots.txt, mais presque tous sont conçus pour les crawlers traditionnels des moteurs de recherche, et non pour des agents IA. Seulement 3,9 % des sites servent du contenu en Markdown sur demande.

Cloudflare propose avec isitagentready.com un score basé sur quatre axes :

• Découvrabilité : Vérification de la présence et de la qualité du robots.txt, d’un sitemap.xml, et des Link Headers.
• Contenu : Évaluation de la capacité du site à fournir une version Markdown sur demande.
• Contrôle d’accès : Vérification des préférences du site concernant l’utilisation de son contenu par les IA.
• Capacités : Présence de standards avancés comme les MCP Server Cards, API Catalogs, ou la découverte OAuth pour l’authentification des agents.

Standards émergents et adoption limitée

L’enthousiasme de Cloudflare doit être nuancé. Plusieurs standards évoqués sont soit en cours de rédaction, soit des propositions informelles sans adoption généralisée garantie. L’API Catalog (RFC 9727), les MCP Server Cards ou le Web Bot Auth sont des standards récents, certains n’ayant même pas atteint le statut de RFC définitive.

Adopter aujourd’hui un standard qui pourrait être modifié ou abandonné est risqué, surtout pour les équipes réduites. Par exemple, le fichier llms.txt proposé en septembre 2024 n’est qu’une option dans le score de Cloudflare car il est encore sujet à débat. Cela montre que même Cloudflare ne sait pas sur quels standards parier.

La négociation de contenu en Markdown

Un aspect concret de l’initiative est la capacité des serveurs à répondre en Markdown lorsque demandé par un agent. Cloudflare a mesuré une réduction de 80 % du nombre de tokens nécessaires pour lire une page Markdown par rapport à sa version HTML. Cela est dû à l’élimination du « bruit » souvent présent dans les pages HTML.

Cloudflare a testé cette approche sur son propre site de documentation et a constaté une réduction de 31 % des tokens consommés et des réponses 66 % plus rapides. Bien que ces chiffres proviennent de tests internes non audités, ils reflètent l’efficacité du Markdown sur le HTML.

Mise en œuvre technique sur Cloudflare Docs

L’approche de Cloudflare pour remanier sa documentation est instructive. Seuls trois outils sur sept envoient automatiquement le header Accept: text/markdown. Pour les autres, Cloudflare a mis en place une solution qui utilise deux règles :

• Réécriture d’URL transformant une requête vers /r2/get-started/index.md en requête vers /r2/get-started/.
• Transformation de header ajoutant automatiquement Accept: text/markdown aux requêtes réécrites.

Cette approche permet à tout agent d’accéder à la version Markdown d’une page en ajoutant simplement /index.md à l’URL. Cloudflare a également opté pour une granularité soignée en excluant environ 450 pages de type répertoire du llms.txt, car elles n’apportent pas de valeur sémantique.

Cloudflare : Arbitre et fournisseur

La position de Cloudflare en tant qu’arbitre du score « agent readiness » et fournisseur d’outils pour l’améliorer soulève des questions. Bien que cela ne soit pas forcément problématique, la situation pourrait influencer les critères du score selon les intérêts commerciaux de l’entreprise autant que les besoins réels des agents.

Cloudflare pousse également des standards liés aux paiements agentiques (x402, Universal Commerce Protocol) en partenariat avec des acteurs comme Coinbase. Bien qu’ils ne soient pas encore inclus dans le score, leur présence dans l’outil indique une direction.

Actions concrètes pour les développeurs

Plusieurs actions offrent un retour sur investissement immédiat, indépendamment des évolutions des standards :

• Servir du Markdown à la demande est simple techniquement, réduit les coûts des API pour les consommateurs et améliore la qualité des réponses des agents.
• Améliorer le robots.txt pour les agents IA (en ajoutant des directives pour GPTBot, ClaudeBot, etc.) est une bonne pratique sans coût.
• Structurer un llms.txt par section pour les sites avec beaucoup de contenu est utile tant pour les agents que pour les utilisateurs humains.

En revanche, implémenter des MCP Server Cards ou API Catalogs sans API publique déjà existante peut être prématuré.

Adoption comme indicateur de marché

La véritable valeur de l’initiative de Cloudflare réside peut-être dans le dataset Radar qu’elle introduit : un suivi hebdomadaire de l’adoption des standards par les 200 000 sites les plus visités. Ces données permettront de déterminer si les standards s’imposent réellement ou si la plupart des sites attendent que les agents s’adaptent à eux.

Cette dynamique montrera l’équilibre de pouvoir entre éditeurs de sites et développeurs d’agents. L’avenir du web pourrait dépendre de la capacité des agents à intégrer le parsing HTML ou de l’avantage concurrentiel des sites optimisés.