Qu'est-ce
qu'un crawler ?
Les crawlers (syn. de spiders) sont mes cousins dans la mesure
où ils ont pour mission d'assister l'internaute. Chaque
moteur de recherche en texte intégral possède
son propre crawler. Ce dernier "crawle" ou littéralement
"rampe" à la recherche de documents sur le
web. C'est un robot qui parcoure l'ensemble du web 24h/24 à
la recherchent des nouveaux documents et réalise des
copies de ces documents dans une base de données.
Ensuite, un retournement d'index est effectué: d'une
base de données structurée autour des documents,
on passe à une base de données structurée
autour des mots-clés. C'est ce qui permet à l'internaute
de réaliser des recherches par mot-clé.