Fichiers robots.txt : avantage Google

manujay · Administrateur Inscrit le: 06 Juil 2007 Messages: 420

Une étude menée par la Pennsylvania State University, et nommée "Determining Bias to Search Engines from Robots.txt", sur les fichiers "robots.txt" de 7 500 sites web montre que les webmasters avantagent aujourd'hui fortement les spiders de Google. Ses robots (Googlebot) sont en effet listés bien plus souvent dans ces fichiers que ceux de ses concurrents.

Selon cette étude, 93,8% des fichiers robots.txt inspectés contiennent une "règle de conduite" pour tous les robots, quels qu'ils soient. 72,4% en mentionnent aumoins une pour un spider particulier, avec une forte prédominence pour Google, puis viennent Yahoo!, Live Search/Msn et Altavista

http://www.personal.psu.edu/users/y/u/yus115/docs/sun_robotstxtbias.pdf

Source : Pennsylvania State University">Pennsylvania State University et Abondance
_________________
Lisez la charte du forum
Moteur de recherche
Passer une annonce gratuite
Echange de lien webmasters

Sujets		Réponses	Auteur	Vus	Derniers Messages
Autres sujet dans la même thématique:
	Google lance la 'Local PlusBox' dans ses liens sponsorisés	0	manujay	1103	Ven Déc 07, 2007 7:53 pm manujay
	Google Custom Search disponible dans le monde entier	0	manujay	1221	Mer Nov 21, 2007 1:03 am manujay
	Connaissez-vous Google ?	0	manujay	1382	Jeu Sep 27, 2007 2:02 am manujay
	85,8% du trafic pour Google en France selon Comscore	0	manujay	1233	Mer Sep 26, 2007 1:00 pm manujay
	Google Trends est mis à jour tous les jours	0	manujay	1395	Mer Sep 26, 2007 12:56 pm manujay

	Forum webmasters T-net Index du Forum -> Actualités des moteurs	Toutes les heures sont au format GMT + 2 Heures
Page 1 sur 1