moteur de recherche, msnbot et gnunux.info

Bon, maintenant que php_apercu fonctionne bien, je me suis m'amusé a regarder les journaux d'apache. En fait, cela relative beaucoup, beaucoup les scores obtenus par awstat. La très grande majorité du traffic est faite par :

  • les moteurs de recherche ;
  • les aggrégateurs ;
  • les pénibles du net (comprendre spammeur (y a-t'il un mot francais pour spammeur de commentaire ?) et chercheur de faille).

Dans les moteurs de recherche, il y a bien évidement ... google (j'ai découvert également l'existance de Feedfetcher-Google).

Il existe d'autres moteurs moins connu (http://www.become.com/, http://fr.ask.com/, http://www.gigablast.com, http://www.WISEnutbot.com, ...).

Il y a également msn ... mais ...

En effet, voila bien longtemps de cela (j'étais encore a Reims) j'avais le robots.txt suivant :

User-agent: msnbot
Disallow: /

Cela semble fonctionner parfaitement ;)

Mais j'ai découvert un bug (volontaire ?) sur leur moteur de recherche. Lorsqu'on utilise l'auto-complétion des mots déjà tapé dans firefox, msn ne conserve que ce que nous avons frappé réellement au clavier.

Par exemple, si nous recherchons bourguinux et que nous tapons bourguin et selectionnons bourguinux il ne recherche que bourguin.

Certainement un javascript spécial pour IE.

L'occasion de remarqué que le planet de bourguinux n'est pas référencé. Étrange, je n'ai pas mis de robots.txt pour ce site.

Haut de page