Etude Qwanturank : l'analyse des logs d'indexation Bing et Qwant contredit toutes les théories
- Qwanturank étudie les logs d'indexation de Bing et Qwant
- Qwant a un accord avec Microsoft pour utiliser les données de Bing
- Les robots d'indexation passent rarement sur le site étudié
- Qwant scrappe le web avant de demander à Bing des données supplémentaires
Depuis plus d'un mois je logue les passages des robots d'indexation de Google de Bing et surtout de Qwant sur Qwanturank.news, car avant d'affiner toute stratégie il est important de savoir si Qwant sera tenu au courant des optimisations SEO offsite et onsite effectuées sur le présent site.
Rapidement un premier constat assez inquiétant s'est imposé : si le robot de Google passe assez souvent, les robots de Bing et Qwant se font rares, voire très rares.
Qwant a signé un partenariat avec Microsoft pour exploiter les données d'indexation de Bing
Il est important d'analyser les 2 passages de bots conjoints, car Qwant a passé il y a quelques mois un accord avec Microsoft lui permettant d'exploiter les données scrappées par Bing. Une opération vraiment très smart selon nous, car notre petite pépite française n'a pas les moyens financiers et techniques d'indexer le web à l'échelle de ce que fait Google.
Les robots d'indexation de Bing et de Qwant passent très rarement
La semaine dernière je me suis penché sur un peu de data visualisation pour permettre de mieux interpréter ces données. Les résultats de cette analyse sont développés ici et en résumé ni Qwant ni Bing ne passent régulièrement sur Qwanturank.news, ce qui n'empêche pas le site de se déplacer dans la SERP Qwanturank.
Il est dès lors assez difficile de comprendre comment Qwant procède pour mettre à jour ses SERPs, même si on devine qu'il y a du machine learning dans cette histoire ce qui explique en partie les fréquentes périodes d'immobilisme des résultats.
Sur la SERP Qwanturank, Qwantify scrappe le web et demande ensuite à BingBot de procéder à des scraps complémentaires
En regardant à nouveau la mise en forme visuelle des logs ce matin, sont apparues plusieurs évidences assez troublantes.
Les dates et volumes de passage des robots d'indexation de Bing et de Qwant sont quasiment identiques. ce qui vient contredire une idée reçue au sujet de l'accord entre les 2 moteurs.
En effet, tous les référenceurs s'accordaient jusqu'alors sur une même hypothèse selon laquelle Bing scrappait le web et transmettait ses données à Qwant, lequel repassait si nécessaire sur certaines pages. Or les graphiques ci-dessus viennent contredire très clairement cela.
Pire, une analyse détaillée des logs montre que c'est plutôt le contraire qui se passe !
En effet si vous vous rendez sur cette page où j'historise les passages de robots, deux éléments apparaissent clairement :
- Quand les deux robots passent, Qwantify passe avant BingBot
- mais surtout Qwantify et BingBot passent alors chacun sur des pages différentes
Autrement dit, à moins que mon analyse de log soit foireuse (ce qui reconnaissons le est tout à fait possible vu que je ne suis pas développeur) il semble que sur la SERP Qwanturank, Qwant scrappe le web et demande ensuite à Bing de procéder à des scraps complémentaires.
Si certains d'entre vous ont également historisé les passage de robots d'indexation sur leurs sites, n'hésitez pas à partager vos analyses à ce sujet dans les commentaires de cet article.
Je viens de d'inserer le script comme indiqué dans ton tuto + création du fichier de log, y a plus qu a attendre