Robot d’indexation

Un robot d’indexation est un programme d’exploration utilisé par les moteurs de recherche pour rechercher et indexer dans leurs bases de données les nouveaux sites, les nouvelles pages et les pages modifiées. Les robots d’indexation se rendent sur les pages, les lisent et suivent les liens hypertextes afin de collecter les informations des pages sous forme de métadonnées, pour ordonner les résultats de recherche en fonction de leur pertinence. C’est pourquoi en SEO il est important d’accorder une attention particulière à la structure des pages HTML et des liens.

Que ça soit Googlebot, Bingbot, MSNBot ou Slurp (Yahoo!), ces logiciels explorent automatiquement le Web, mais ils laissent des traces de leur passage. Les crawlers sont visibles dans les journaux de connexions (log serveur). Cependant tous les bots ne sont pas bienveillants. Lorsqu’un spambot visite un site, il peut, par exemple, collecter les adresses courriel se trouvant sur la page Web ou pour faire du scraping de contenus automatisé.

« Retour au glossaire