Alle Dokumente im Web werden automatisch durchsucht und von einem programmierten Algorithmus bewertet. Die Funktionalität wird durch die Entwickler konzipiert, denn ein Robot arbeitet zwar automatisch aber nicht eigenständig. Nur wenn er ein Ziel vorgegeben bekommt, kann er diesem folgen und sich entsprechend der Anforderungen der Suchmaschine im Internet bewegen und Dokumente indexieren. Robots wiederholen die programmierten Prozesse kontinuierlich, wodurch alle Seiten irgendwann gefunden, gecrawlt und indexiert werden. Wichtig ist hierfür, dass die Website so programmiert und optimiert wird, dass sie maschinelle Lesbarkeit bietet und vom Bot gefunden wird. Interne und externe Links sind ein Multiplikator der Auffindbarkeit durch Bots und somit ein wichtiger Faktor, um bei Google gefunden zu werden.