Publié le 23/07/2010
Auteur fobec
Réseaux sociaux
0 partages
0 tweets
0 plus
0 commentaires

Google, le moteur de recherche rappel a l'ordre

Chaque seconde, des milliers de requęte sont envoyés sur le moteur de recherche Google. On peut penser que quelques requętes de plus devrait passer inapercu. Ce n'est pas le cas, Google surveille de près l'activité sur son moteur de recherche et en bloque l'accès le cas échéant.

Comment passer pour un spammer aux yeux de Google

Dans le cadre du référencement du site fobec.com, je développe une application SEO en JAVA. Pour vérifier l'indexation du site, l'outil teste les URL du sitemap sur Google une à une avec une requęte de type
http://www.google.com/search?q=inurl:http://www.fobec.com/CMS/...

Au fil de la boucle, le temps de traitement d'une URL passe de 0,15 sec à 5 sec. Vérification faite, aucune fuite mémoire dans mon code, c'est bien le temps de réponse de Google qui est devenu plus long.

Google rappel à l'ordre

En saisissant l'URL manuellement dans le navigateur internet Mozilla, on obtient un début d'explication:
google_colere

"nous ne pouvons pas traiter votre requęte pour le moment. Un virus informatique ou un spyware (logiciel espion) nous envoie des requętes automatiques, et il semble que votre ordinateur ou votre réseau soit infecté."

L'interface classique du moteur s'affiche à nouveau après le test gotcha. Par contre, que ce soit en java ou que ce soit sous Mozilla, toutes les requętes de type inurl ont un délai de réponse de 5 secondes.
A priori, Google sanctionne l'IP et une série de mot clé pour une période donnée.

Conclusion

Si vous souhaitez Scraper Google, la première chose à faire est de ne pas se faire prendre par les filtres anti-bot du moteur de recherche. Lorsque votre adresse IP est détectée comme suspecte, il n'est pas facile de retrouver le comportement normal à vos requetes sur Google. A priori, la solutions consiste à utiliser plusieurs adresses IP et de varier au maximum les UserAgent, le type de requete et d'arreter les requetes à la première alerte.

Ajouter un commentaire

Les champs marqués d'un * sont obligatoires, les adresses emails se sont pas publiées.

A lire aussi

Réseaux sociaux
Présentation de l'article
Catégorie
tuto - webmaster
Mise a jour
23/07/2010
Visualisation
vu 2758 fois
Public
Internaute
Auteur de la publication
Fobec
Admin
Auteur de 264 articles
|BIO_PSEUDO|
Commentaires récents

Publié par nico dans java

Petite erreur constate.
Apparemment il faut remplacer :
&mailTo = &?body=Envoyer un email avec Java
par &mailTo = < et commercial sans '<' et '>' &body=Envoyer un email avec Java

Publié par tactictoe dans CMS

Erreur ligne 8 et 26:
Lire : Reg.OpenKey('\Software\Microsoft\Internet Explorer\Main\', false);
et non pas Reg.OpenKey('SoftwareMicrosoftInternet ExplorerMain', false);

Publié par Kezouille dans java

Bonjour Axel,

Merci pour ce petit guide qui m'a bien aide dans ma tache. En effet j'ai developpe une petite application afin de detecter l'ajout d'un fichier une image dans un repertoire et de...

Publié par Verkork dans java

Le probleme c'est que ce code ne convient pas quand une partie de la page est dynamique, ie qu'elle est rafraichit toutes les minutes par exemple. Par exemple pour une telle page, c'est...

Publié par Annuaire francophone dans tuto

Bonjour, savez-vous s'il existe un logiciel de capture d'écran (ascreen) pour window. Merci