noindex ist eine Anweisung, die Suchmaschinen mitteilt: „Diesen Seite nicht indizieren“. Sie erscheint normalerweise im Webseiten-Code in Form eines Meta-Tags oder eines HTTP-Headers. Wenn Crawler von Suchmaschinen wie Google, Bing usw. eine Seite besuchen, die mit dem noindex-Tag markiert ist, lesen sie diese Anweisung und entscheiden sich dafür, diese Seite nicht in die Suchergebnisse aufzunehmen, selbst wenn der Crawler den Seiteninhalt bereits gecrawlt hat.
Diese Anweisung scheint einfach, ist aber in der Anwendung sehr nuanciert. Viele Website-Administratoren glauben fälschlicherweise, dass „mehr Indexierung besser ist“. In Wirklichkeit gibt es eine große Anzahl von Seiten, die nicht in den Suchergebnissen erscheinen sollten: Login-Seiten, Warenkorbseiten, Filterergebnisseiten, Testseiten, Datenschutzseiten usw. Diese Seiten haben eine praktische Funktion für Benutzer, aber wenn sie von Suchmaschinen indiziert werden, können Seiten von geringer Qualität das Gesamtgewicht der Website verwässern und sogar Probleme mit doppeltem Inhalt verursachen. noindex existiert, um zu verhindern, dass diese Inhalte in die Suchmaschinenindizes gelangen, während die Zugänglichkeit der Seiten erhalten bleibt.
Suchmaschinen verarbeiten täglich riesige Mengen an Webseiten und entscheiden anhand von Faktoren wie Seitenqualität, Benutzererfahrung, Inhaltsindividualität usw., ob sie indiziert werden sollen und wie sie gerankt werden. Nicht alle Seiten sind es wert, indiziert zu werden, und eine unsachgemäße Indizierung kann sich negativ auswirken.
Beispielsweise kann eine E-Commerce-Website Tausende von Kombinationsseiten haben, die nach Preis, Farbe und Marke gefiltert werden. Diese Seiten haben sehr ähnliche Inhalte, und ihre Titel und Beschreibungen sind weitgehend gleich. Wenn sie alle indiziert werden, können Suchmaschinen der Meinung sein, dass die Website eine große Menge an doppeltem Inhalt hat, was die allgemeine Glaubwürdigkeit verringert. Zu diesem Zeitpunkt kann die Verwendung von noindex für diese Filterseiten eine Indexaufblähung verhindern und die Aufmerksamkeit der Suchmaschinen auf die wirklich wertvollen Produktdetailseiten und Kategorieseiten lenken.
Darüber hinaus können funktionale Seiten wie Danke-Seiten, Bestätigungsseiten und interne Suchergebnisseiten von Benutzern wahrscheinlich nicht erneut über Suchmaschinen aufgerufen werden. Es ist bedeutungslos, sie zu indizieren, und sie können auch als Seiten von geringer Qualität eingestuft werden, da ihnen es an substanziellen Inhalten mangelt.
Die gebräuchlichste Implementierungsmethode ist das Hinzufügen eines Meta-Tags im <head> -Teil des Seiten-HTMLs:
<meta name="robots" content="noindex">
Diese Anweisung ist für alle Suchmaschinen gültig. Wenn Sie sie nur für eine bestimmte Suchmaschine anwenden möchten, können Sie Folgendes verwenden:
<meta name="googlebot" content="noindex">
Neben Meta-Tags kann auch ein HTTP-Header den gleichen Effekt erzielen, der für Nicht-HTML-Dateien (wie PDFs, Bilder) geeignet ist:
X-Robots-Tag: noindex
Sie können auch Disallow-Regeln in der robots.txt-Datei festlegen, aber dies unterscheidet sich grundlegend von noindex: robots.txt verhindert den Zugriff von Crawlern, während noindex den Zugriff erlaubt, aber nicht indiziert. Wenn sowohl robots.txt zum Verhindern des Zugriffs als auch noindex-Tags verwendet werden, können Crawler die noindex-Anweisung möglicherweise überhaupt nicht sehen, was dazu führt, dass die Seite indiziert wird.
Viele Menschen verwechseln noindex und nofollow. Sie erscheinen häufig zusammen, haben aber völlig unterschiedliche Funktionen.
noindex steuert, ob die Seite selbst indiziert werden soll und beeinflusst nicht, ob Crawler die Links auf der Seite crawlen. Selbst wenn eine Seite mit noindex markiert ist, verfolgen Crawler immer noch die Links auf der Seite und besuchen andere Seiten.
nofollow steuert, ob die Links auf der Seite verfolgt werden sollen. Es kann auf die gesamte Seite (Meta-Tag) oder auf einen einzelnen Link (Link-Attribut) angewendet werden. Es teilt der Suchmaschine mit: „Verfolge diese Links nicht und übergebe keine Gewichtung.“
In der Praxis bedeutet <meta name="robots" content="noindex, nofollow">, dass weder diese Seite indiziert noch Links auf der Seite verfolgt werden. Sie wird häufig für völlig wertlose Seiten oder temporäre Testseiten verwendet.
Wenn Benutzer Produkte über mehrere Bedingungen filtern, generiert das System eine große Anzahl von URL-Kombinationen. Diese Seiten haben eine sehr hohe Ähnlichkeit im Inhalt. Wenn sie indiziert werden, werden sie leicht von Suchmaschinen als doppelter Inhalt angesehen. Die Verwendung von noindex für diese Seiten kann die Indexierung der Website schlank und qualitativ hochwertig halten.
Seiten mit persönlichen Informationen nach der Anmeldung, Seiten mit Bestellhistorien, Warenkorbseiten usw. Diese Seiten sind für Benutzer wertvoll, sollten aber nicht in öffentlichen Suchergebnissen erscheinen. Die Verwendung von noindex kann die Privatsphäre der Benutzer schützen und auch eine sinnlose Indizierung vermeiden.
Die interne Suchfunktion der Website generiert dynamische URLs. Jede Suche kann unterschiedliche Ergebnisbildschirme erzeugen. Diese Seiten haben eine inkonsistente Qualität, und wenn sie indiziert werden, können sie das Gesamtgewicht der Website verwässern.
Testseiten, Entwurfsseiten und temporäre Aktivitätsseiten vor der Veröffentlichung sollten vor der offiziellen Veröffentlichung mit noindex markiert werden, um eine vorzeitige Indizierung zu vermeiden. Die Markierung kann entfernt werden, nachdem der Inhalt vervollständigt wurde.
Einige automatisch generierte Tag-Seiten, Archivseiten, Listen-Seiten mit zu tiefer Paginierung usw. haben geringen Inhaltswert. Wenn sie indiziert werden, können sie die Gesamtbewertung der Website senken.
Obwohl noindex ein wirksames Werkzeug zur Steuerung der Indexierung ist, kann eine unsachgemäße Verwendung unerwünschte Effekte haben.
Falsch markierte wichtige Seiten sind das häufigste Problem. Wenn Sie versehentlich noindex auf wichtigen Produktseiten, Hauptkategorieseiten oder hochwertigen Inhaltsseiten verwenden, verschwinden diese Seiten aus den Suchergebnissen, was direkt zu einem Rückgang des Traffics führt. Daher müssen Sie vor dem Ändern von noindex-Markierungen die Bedeutung der Seite bestätigen und regelmäßig Website-Logs und den Abdeckungsbericht von Google Search Console überprüfen.
noindex ist nicht sofort wirksam. Suchmaschinen müssen die Seite erneut crawlen, um die neue Markierung zu erkennen. Nachdem noindex entfernt wurde, wird die Seite nicht sofort wieder in den Suchergebnissen angezeigt. Wenn die Seite bereits indiziert wurde, kann es mehrere Wochen dauern, bis sie vollständig aus dem Index entfernt ist, nachdem noindex hinzugefügt wurde.
Der Konflikt zwischen robots.txt und noindex ist ebenfalls bemerkenswert. Wenn Sie mit robots.txt eine Seite verbieten, kann der Crawler nicht auf diese Seite zugreifen und sieht daher die noindex-Markierung auf der Seite nicht. Das Ergebnis könnte sein, dass die Seite immer noch indiziert wird, aber nur die URL ohne Beschreibung angezeigt wird. Die richtige Vorgehensweise ist, Crawlern den Zugriff zu erlauben und noindex nur auf der Seite hinzuzufügen.
Fast alle Websites haben Anwendungsszenarien für noindex, aber E-Commerce-Websites, Content-Aggregationsplattformen und abonnementbasierte Websites sollten ihm besondere Aufmerksamkeit schenken.
E-Commerce-Websites generieren aufgrund der großen Anzahl von Produkten und komplexen Filterbedingungen leicht eine große Anzahl von doppelten oder geringwertigen Seiten. Tagsysteme und Kategorisierungsarchive von Content-Plattformen können Tausende von Listen-Seiten generieren, die die Gewichtung verwässern, wenn sie nicht kontrolliert werden. Kontoseiten und Vorschauseiten für kostenpflichtige Inhalte von abonnementbasierten Websites beinhalten Datenschutz und Geschäftsstrategien und müssen offengelegt werden.
Für SEO-Experten, Website-Entwickler und Content-Betriebsmitarbeiter ist das Verständnis der Funktionslogik und Anwendungsszenarien von noindex eine grundlegende Fähigkeit zur Verbesserung der Suchleistung von Websites. Die vernünftige Anwendung dieser Anweisung kann Suchmaschinen helfen, die Website-Struktur effizienter zu verstehen, das Crawl-Budget auf wirklich wertvolle Inhalte zu konzentrieren und so das Gesamt-Ranking und die Traffic-Qualität zu verbessern.