Mit dem Meta-Robots Attribut können wir den Umgang der Suchmaschinen-Bots mit dem jeweiligen HTML-Dokument definieren, so können wir zum Beispiel mittels der Angabe „noindex“ verhindern, dass Suchmaschinen wie Google, Bing und Co. das jeweilige Dokument in den Index aufnehmen. Mit dem Attribut „follow“ bzw. „nofollow“ können wir steuern, ob die Suchmaschinen-Bots den Links im Dokument folgen sollen oder eben nicht. Mit den Attributen „noodp“ und „noarchive“ verhindern wir, dass Abbilder unserer Seiten in Archiven landen. Generell ist zu empfehlen in den meisten Fällen Webseiten Intern die den Meta Robots-Tag „Nofollow“ nicht einzusetzen, ganz egal ob in Verbindung mit Index oder Noindex.