Das Meta-Robots Attribut ist ein mächtiges Werkzeug, das uns die Möglichkeit gibt, den Umgang von Suchmaschinen-Bots mit den jeweiligen HTML-Dokumenten zu definieren. Es erlaubt uns, die Interaktionen und das Verhalten von Suchmaschinen wie Google, Bing und anderen zu steuern und zu beeinflussen, wie sie unsere Webseiten interpretieren und indexieren.
Ein Beispiel für die Verwendung des Meta-Robots Attributs ist die Angabe „noindex“. Durch die Implementierung dieses Attributs können wir effektiv verhindern, dass Suchmaschinen das betroffene Dokument in ihren Index aufnehmen. Dies ist besonders nützlich, wenn wir bestimmte Seiten vor der öffentlichen Suche verbergen möchten.
Ein weiteres nützliches Attribut ist „follow“ oder „nofollow“. Mit diesem Attribut können wir kontrollieren, ob die Suchmaschinen-Bots den Links in unseren Dokumenten folgen sollen oder nicht. Dies ist eine effektive Methode, um den Verkehrsfluss auf unserer Webseite zu steuern und zu gewährleisten, dass nur relevante Links von den Bots beachtet werden.
Die Attribute „noodp“ und „noarchive“ bieten zusätzliche Kontrolle, indem sie verhindern, dass Kopien unserer Seiten in Archiven gespeichert werden. Dies kann dazu beitragen, die Integrität unserer Webseite zu schützen und sicherzustellen, dass veraltete oder unerwünschte Versionen unserer Seiten nicht öffentlich zugänglich sind.
Generell ist es empfehlenswert, den Meta Robots-Tag „Nofollow“ in den meisten Fällen nicht auf internen Webseiten zu verwenden, unabhängig davon, ob er in Verbindung mit Index oder Noindex steht. Dies liegt daran, dass die Verwendung von „Nofollow“ die Fähigkeit der Suchmaschinen-Bots einschränken kann, den Inhalt unserer Webseite vollständig zu crawlen und zu indexieren, was sich letztendlich auf unsere Sichtbarkeit in den Suchergebnissen auswirken kann.
Beispiel:
<head> ... <meta name="robots" content="index,follow" /> ... </head>