L’indexation désigne l'activité du marionnette ( ce qui signifie d’un catalogue ) d’un moteur de recherche qui passe sur une page, le parcourt ( harmonie dite de « crawl » du éloquence « découvrir » en anglais ) et indexe son contenu. dès lors que l’on dit que le jouet ( le spider ) indexe un site, cela signifie qu’il visite la plateforme, en berceau le contenu et le stocke dans les serveurs du moteur de recherche.
Les bot vont vérifier que chaque page, une à une , respectes bien les règles du géant Google . Dans la plupart des cas , toutes les pages sont bien indexées . Google va ainsi copier le contenu de chaque page et le stocker dans ses d'hôtels. Chaque pages indexées est ainsi disponible dans le moteur de recherche.
Les robots des search engines ont d’un « budget de en sueur » ( le nage étant l'influence de découvrir les pages ). Ce budget est important à laisser en considération pour les lieux internet propriétaire plusieurs milliers d'articles dans l'optique de l’indexation . Car les Googlebots n’indexent pas forcément toutes les pages qu’ils visitent ! Dans certains cas , ils peuvent ne pas ficher une URL , pour différentes causes.