La mayoria de los motores de busqueda utilizan herramientas automaticas o programas para recolectar recursos. Estas hermamientas, se las conoce como worms, spiders, crawlers, y robots, buscan miles de websites en el mundo, recolectan informacion, y la almacenan en la base de datos.