Matt Cutts l’annonçait officiellement il y a quelques jours sur Twitter, comme certains d’entre vous l’auront peut-être déjà remarqué : le Googlebot a réduit de manière significative le nombre de pages crawlées pour alimenter le service Google Actualités depuis le mois de mars 2014.
Ceci est expliqué par le support du header if-modified-since, qui permet d’interroger un serveur web afin de déterminer si une ressource (page web, image, etc.) a été modifiée depuis une date spécifiée. De quoi ignorer les retours de code HTTP 304 (not modified) et ainsi économiser de la bande passante afin de se concentrer sur les nouvelles publications. Un crawl intelligent en somme.
