Cómo funciona Google

Google Spider/Bot es un programa que se dedica a recorrer la red en busca de páginas o contenido nuevo, que posteriormente se mostrará en los resultados. En primer lugar recoge los nuevos datos, sin indexarlos, para que Google Crawler los analice y guarde en una base de datos