Le crawl désigne l’exploration d’un site web par le robot d’un moteur de recherche (Googlebot, Bingbot…)
Le crawl (ou spidering) se produit lorsque Google ou un autre moteur de recherche envoie un robot vers une page Web ou une publication Web et «lit» la page. Ne laissez pas cela être confondu avec l’indexation de cette page. Le crawl est la première étape pour qu’un moteur de recherche reconnaisse votre page et l’affiche dans les résultats de recherche. Cependant, le crawl de votre page ne signifie pas nécessairement que votre page a été indexée et qu’elle sera trouvée.
Les pages sont crawlées pour diverses raisons, notamment:
Avoir un plan de site XML avec l’URL en question soumis à Google
Avoir des liens internes pointant vers la page
Avoir des liens externes pointant vers la page
Obtenir un pic de trafic vers la page
Pour vous assurer que votre page est crawlée, vous devez avoir un plan de site XML téléchargé dans Google Search Console pour donner à Google le roadmap pour tout votre nouveau contenu.
Ce que le crawl signifie, c’est que Google regarde la page. Selon que Google pense ou non que le contenu est «nouveau» ou qu’il a quelque chose à «donner aux internautes», il peut être programmé pour être indexé, ce qui signifie qu’il a la possibilité d’être classé.
De plus, lorsque Google explore une page, il examine les liens sur cette page et programme le Google Bot pour consulter également ces pages. L’exception est lorsqu’une balise nofollow a été ajoutée au lien.