Crawler

Le Web Crawler ou le Web Spider sont des robots d’indexation. Ce sont des logiciels conçus pour naviguer et explorer en permanence le Web. Leur but est d’amasser les nouvelles informations (pages web, vidéos, images, PDF…) concernant tous les sites existant sur la toile. Les moteurs de recherche en prennent donc connaissance et les indexent pour qu’ils deviennent visibles dans les SERP. Une fois le site analysé, le robot effectue des copies des nouvelles informations (Code source HTML) pour les ordonner dans une base de données. Cette dernière sert ensuite à effectuer des recherches sur les moteurs de recherche.

Chaque moteur de recherche possède son Web Crawler ou Web Spider .
Google =>  GoogleBot
Yahoo => Slurp
Msn => MsnBot
Alta Vista => Scooter
...