Microsoft confirme que Reddit a bloqué Bing Search
Ce qui s’est passé
Le 1er juillet 2024, Reddit a modifié son fichier robots.txt pour empêcher plusieurs moteurs de recherche et outils d’IA d’explorer le site. Contrairement à ce que certains ont pu penser au début du mois, Google n’a pas été empêché d’explorer le site par cette mise à jour. Cependant, la plupart des autres crawlers ont été bloqués.
Ce matin-là, Mark Williams-Cook m’a informé que les résultats Reddit disparaissaient progressivement de l’index Bing Search. Ensuite, plusieurs médias ont commencé à couvrir cette nouvelle. J’ai voulu confirmer que les crawlers de Bing étaient effectivement bloqués car Reddit utilisait la détection IP pour montrer une version différente du fichier robots.txt aux moteurs de recherche et aux humains – comme je l’avais expliqué précédemment ce mois-ci.
En conséquence, Bing ne crawl plus les nouveaux contenus sur Reddit. C’est pourquoi lorsque vous filtrez les résultats Reddit dans Bing Search pour la dernière semaine, vous ne voyez rien.
Confirmation par Microsoft
« Microsoft respecte la norme robots.txt et nous honorons les directives fournies par les sites Web qui ne souhaitent pas que le contenu sur leurs pages soit utilisé avec nos modèles d’IA générative. Bing a cessé d’explorer Reddit après qu’ils aient implémenté leur fichier robots.txt mis à jour le 1er juillet. »
Déclaration officielle par Reddit
« Cela n’a aucun lien avec notre récent partenariat avec Google. Nous avons eu des discussions avec plusieurs moteurs de recherche mais nous n’avons pas pu parvenir à des accords avec tous car certains sont incapables ou réticents à faire des promesses exécutoires concernant l’utilisation du contenu redditien y compris son utilisation pour l’IA. » – Tim Rathschmidt, porte-parole chez Reddit
Pourquoi cela nous intéresse-t-il ?
Avec l’accord obtenu entre Google et Reddit concernant la licence du contenu AI, il semble que Reddit puisse jouer dur avec d’autres moteurs et outils AI en bloquant ainsi leur accès au contenu redditien.
Pendant ce temps-là, Google génère un trafic énorme vers Reddit ces jours-ci, incluant même des tests pour un traitement spécial dans ses résultats (comme mentionné ici : https://searchengineland.com/google-is-testing-special-snippet-treatment-for-reddit-search-results-440729).
On peut se demander si d’autres grands sites web pourraient suivre cette voie et quelles conséquences cela pourrait avoir sur les petits éditeurs et producteurs de contenus.
En attendant donc peu probable voir beaucoup nouveau contenu provenant Reddit apparaître prochainement sur Bing.
