Canonical, noindex, robots.txt und Sitemap: Indexierungssignale

Was robots.txt, noindex, Canonical und XML-Sitemap leisten und was nicht: häufige Widersprüche aus der Praxis, Entscheidungstabelle nach Szenario und Verifizierung mit der Search Console.
Technische Zusammenfassung
Technologie
robots.txt (RFC 9309), Meta-Robots, X-Robots-Tag, rel=canonical, XML-Sitemap, Google Search Console
Thema
Richtige Wahl und kombinierte Nutzung von Signalen zur Indexierungssteuerung
Niveau
Mittel
Voraussetzungen
  • Zugriff auf URL-Struktur und Vorlagen der Website
  • Zugriff auf Server- oder CDN-Konfiguration (für X-Robots-Tag)
  • Verifizierte Property in der Google Search Console
In diesem Beitrag7 Abschnitte

„Wir haben die Seite per robots.txt gesperrt, aber sie erscheint immer noch bei Google.“ Ein großer Teil der Indexierungsbeschwerden beginnt mit diesem Satz. Ob eine Seite in den Suchergebnissen erscheint, bestimmt nicht eine einzelne Einstellung, sondern vier Signale mit unterschiedlichen Aufgaben: robots.txt, noindex, Canonical und XML-Sitemap. Das Problem entsteht, wenn diese Signale füreinander eingesetzt werden oder für dieselbe URL widersprüchliche Botschaften senden. Dieser Leitfaden beschreibt, was jedes Signal tatsächlich tut, welches in welchem Szenario zu wählen ist und wie das Ergebnis in der Search Console verifiziert wird.

Unterschied zwischen den Werkzeugen zur Indexierungssteuerung

Die grundlegende Unterscheidung ist die zwischen Crawling und Indexierung. Crawling bedeutet, dass der Bot die URL anfordert und den Inhalt herunterlädt; Indexierung, dass der Inhalt in den Suchindex aufgenommen wird. Jedes Signal berührt ein anderes Glied dieser Kette. Verwechseln Sie das Glied, wird auch das Ergebnis verwirrend.

Signal Betroffene Phase Verbindlichkeit Typische Verwendung
robots.txt Disallow Scan Verbindlich für sich daran haltende Bots Unendliche URL-Räume, interne Suche, Admin-Pfade
Meta-Robots / X-Robots-Tag noindex Indexierung Verbindlich (wenn gecrawlt) Dankeseite, Archive mit dünnem Inhalt
rel="canonical" Auswahl zwischen Kopien Hinweis Parametrisierte, mit Tracking-Code versehene, doppelte URLs
XML-Sitemap Entdeckung und Priorität Hinweis Liste der zu indexierenden kanonischen URLs
301/308-Weiterleitung URL-Zusammenführung Starkes Signal Dauerhaft umgezogene oder zusammengeführte Seiten

Das robots.txt-Protokoll ist mit RFC 9309 standardisiert; es bindet aber nur Bots, die sich an das Protokoll halten, und ist kein Zugriffskontrollmechanismus. Inhalte, die geheim bleiben müssen, werden per Authentifizierung geschützt. robots.txt ist öffentlich und verkündet der Welt die gesperrten Pfade. Es ist kein Sicherheitswerkzeug.

robots.txt nicht mit noindex verwechseln

Der häufigste Fehler in der Praxis ist, eine Seite per robots.txt zu sperren, um sie aus den Ergebnissen zu entfernen. Eine gesperrte Seite kann nicht gecrawlt werden, also kann auch ihr noindex-Tag nicht gelesen werden. Findet Google einen Link auf die Seite, kann es die URL ohne Inhalt indexieren; die Search Console zeigt diesen Zustand im Seitenbericht in der Zeile „Indexed, though blocked by robots.txt“ (Indexiert, obwohl durch robots.txt blockiert).

Die richtige Reihenfolge: Zuerst wird der Seite noindex hinzugefügt und sie bleibt crawlbar; nachdem verifiziert ist, dass sie aus dem Index verschwunden ist, wird bei Bedarf eine Crawling-Sperre ergänzt. Google unterstützt die Regel Noindex: in robots.txt seit 2019 nicht mehr. Diese Zeile ist heute toter Code.

Bei Nicht-HTML-Ressourcen (PDF, DOCX, Bild) wird noindex per HTTP-Header gesetzt. Beispiel für Nginx:

location ~* \.(pdf|docx?)$ {
    add_header X-Robots-Tag "noindex" always;
}

Fügen Sie in Nginx einem location-Block ein add_header hinzu, werden die add_header-Direktiven übergeordneter Blöcke (z. B. Sicherheitsheader) in diesem Block nicht geerbt; wiederholen Sie sie bei Bedarf. Dieses Verhalten ist der klassische Grund, warum Sicherheitsheader bei PDF-Antworten stillschweigend verloren gehen. Die Entsprechung in Apache bei aktivem mod_headers:

<FilesMatch "\.(pdf|docx?)$">
    Header set X-Robots-Tag "noindex"
</FilesMatch>

Wann Canonical wirkt und wann es ignoriert wird

Canonical bedeutet: „Dieser Inhalt hat mehrere Adressen; diese Adresse bevorzuge ich.“ Es ist kein Befehl, sondern ein Hinweis. Google wägt die Angabe zusammen mit anderen Signalen ab und trifft bei Widersprüchen eine eigene Wahl. Typische Fälle, in denen Canonical ignoriert wird:

  • Inhalt unterschiedlich: Das Canonical einer Kategorieseite zeigt auf die Startseite. Sind die Seiten keine echten Kopien, verliert Canonical seine Bedeutung.
  • Signale widersprechen sich: Canonical zeigt auf A, aber alle internen Links und die Sitemap enthalten B.
  • Ziel problematisch: Das Canonical-Ziel liefert 3xx, 404 oder noindex.
  • Mehrere Canonicals: Theme und SEO-Plugin geben jeweils ein Canonical aus; gibt es mehrere unterschiedliche Werte, kann Google alle ignorieren.
  • Außerhalb des Head: Canonical steht im Body, oder der Head wurde wegen eines ungültigen Elements vorzeitig geschlossen.

Canonical und noindex werden nicht zusammen auf derselben Seite verwendet. Stehen die Botschaften „Diese Seite ist eine Kopie von B“ und „Diese Seite nicht indexieren“ nebeneinander, können die Zusammenführungssignale durch noindex verloren gehen. Ist es eine Kopie: Canonical. Ist sie unerwünscht: noindex.

Canonical wird als absolute URL geschrieben und muss bei Protokoll, Domain und abschließendem Schrägstrich der bevorzugten Form Ihrer Unternehmenswebsite entsprechen:

<link rel="canonical" href="https://www.example.com/leistungen/technisches-seo/" />

Parametrisierte URL, Filter und Paginierung

Es gibt drei Arten von Parametern, und jede wird anders behandelt:

  1. Solche, die den Inhalt nicht ändern (utm_source, gclid, Sitzungs-ID): Canonical zeigt auf die URL ohne Parameter. In internen Links werden diese Parameter nie verwendet.
  2. Solche, die den Inhalt eingrenzen (Filter, Sortierung): Wertvolle Kombinationen (z. B. „Kategorie + Marke“) können mit eigener kanonischer URL indexiert werden; für die übrigen werden Canonical oder noindex genutzt. Explodiert die Zahl der Kombinationen (Mehrfachfilter, Preisbereich), schont eine Eingrenzung des Crawl-Bereichs per robots.txt die Crawling-Ressourcen.
  3. Paginierung (/page/2/, ?page=2): Jede Seite erhält ein Canonical auf sich selbst. Google nutzt die Auszeichnung rel="prev"/rel="next" nicht mehr als Indexierungssignal; normale <a href>-Links zwischen den Seiten genügen.

Das frühere Tool URL-Parameter in der Search Console wurde entfernt; die Parametersteuerung liegt vollständig bei den Signalen auf der Website. Der verlässlichste Weg zu sehen, welche Parameter tatsächlich gecrawlt werden, sind Serverlogs. Nicht raten, ins Log schauen. Die Methode beschreibt der Beitrag Logbasierte Crawl-Analyse.

Beispiel für die Eingrenzung des Filterbereichs per robots.txt:

User-agent: *
Disallow: /*?*orderby=
Disallow: /*?*filter_
Disallow: /?s=
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.example.com/sitemap_index.xml

Platzhalter * und Zeilenende-Zeichen $ sind in RFC 9309 definiert. Passen mehrere Regeln auf eine URL, gilt die längste (spezifischste); bei Gleichstand gewinnt Allow. Sperren Sie keine CSS- und JavaScript-Dateien; kann Google die Seite nicht rendern, bewertet es den Inhalt unvollständig. Aus alten Vorlagen stammende Zeilen Disallow: /wp-includes/ verursachen dieses Problem noch immer.

Inhalt und Pflege der XML-Sitemap

Die Sitemap ist die Liste der URLs, die in den Index sollen; sie ist nicht „alles auf der Website“. Regeln für den Inhalt:

  • Nur URLs mit Status 200, ohne noindex und mit Canonical auf sich selbst.
  • Keine weitergeleiteten, gelöschten, parametrisierten oder per robots.txt gesperrten URLs.
  • lastmod wird nur aktualisiert, wenn sich der Inhalt relevant ändert. Google nutzt lastmod, wenn es verlässlich korrekt ist; priority und changefreq berücksichtigt es dagegen nicht.
  • Höchstens 50.000 URLs und 50 MB unkomprimiert pro Datei; bei größeren Websites wird eine Sitemap-Indexdatei verwendet.

Seit WordPress 5.5 erzeugt der Kern unter /wp-sitemap.xml eine Sitemap. Aktiviert ein Plugin wie Yoast SEO oder Rank Math seine eigene Sitemap (/sitemap_index.xml), schaltet es die Kern-Sitemap meist ab. Prüfen Sie dennoch, dass nicht beide Sitemaps gleichzeitig live sind und nur die genutzte an die Search Console gesendet wurde.

Um die Sitemap-Bereinigung regelmäßig zu prüfen, kontrollieren Sie die Statuscodes der URLs in großen Mengen:

curl -s https://www.example.com/post-sitemap.xml \
  | grep -o '<loc>[^<]*' | sed 's/<loc>//' \
  | while read -r u; do
      printf '%s %s\n' "$(curl -s -o /dev/null -w '%{http_code}' "$u")" "$u"
    done | grep -v '^200 '

Die Ausgabe sollte leer sein. Kommt eine Zeile zurück, enthält die Sitemap eine URL ohne 200, und diese wird zuerst bereinigt.

Entscheidungstabelle nach Szenario und Verifizierung

Szenario Empfohlenes Signal Zu vermeiden
Dankeseite nach Formularversand noindex, nicht in der Sitemap robots.txt-Sperre
Kampagnen-URLs mit UTM Canonical auf die URL ohne Parameter Interner Link auf die parametrisierte URL
Ergebnisse der internen Websitesuche robots.txt Disallow (wenn nicht im Index) In die Sitemap aufnehmen
Dauerhaft umgezogene Seite 301/308-Weiterleitung Nur Canonical
Autoren- oder Schlagwortarchiv, dünner Inhalt noindex, follow – Links bleiben erhalten Canonical auf die Startseite
PDF-Katalog mit Entsprechung als Webseite X-Robots-Tag noindex oder HTTP-Canonical Robots-Meta auf der Seite versuchen
Testumgebung Authentifizierung + noindex Nur robots.txt

Verifizierung mit der Search Console

  1. URL-Prüfung: Vergleichen Sie für eine URL die Felder für das vom Nutzer angegebene Canonical (User-declared canonical) und das von Google gewählte Canonical (Google-selected canonical). Unterscheiden sie sich, widersprechen sich die Signale.
  2. Seitenbericht: Untersuchen Sie diese Zeilen, deren Namen je nach Oberflächensprache variieren: „Excluded by ‘noindex’ tag“, „Indexed, though blocked by robots.txt“, „Duplicate, Google chose different canonical than user“ und „Alternate page with proper canonical tag“. Die erste und letzte Zeile können erwartete Zustände sein; die mittleren erfordern meist eine Korrektur.
  3. Sitemap-Bericht: Untersuchen Sie die Gründe für die Differenz zwischen gesendeten und indexierten URLs im Seitenbericht mit dem Sitemap-Filter.
  4. robots.txt-Bericht: Prüfen Sie mit dem robots.txt-Bericht unter Einstellungen die zuletzt von Google abgerufene Version und Abruffehler.

Diese Signale brechen am häufigsten bei Website-Umzügen und Redesigns; die Prüfungen in der Übergangsphase stehen im Leitfaden SEO-Verluste beim Website-Umzug verhindern. Strukturierte Daten sind dagegen kein Indexierungssignal, sondern eine eigene Ebene, die Bedeutung von Inhalten vermittelt; dieses Thema behandelt der Beitrag Schema.org-Auszeichnung auf der Unternehmenswebsite. Diese Signale zusammen mit der Seitenarchitektur zu entwerfen, ist das Erste, was wir bei technischem SEO und Seitenarchitektur angehen.

Häufig gestellte Fragen

Warum erscheint eine per robots.txt gesperrte Seite noch in den Suchergebnissen?

robots.txt verhindert das Crawling, nicht die Indexierung. Findet Google externe oder interne Links auf die Seite, kann es die URL indexieren, ohne den Inhalt zu lesen. Soll die Seite aus den Ergebnissen verschwinden, wird die robots.txt-Sperre aufgehoben und der Seite noindex hinzugefügt.

Warum hat Google eine andere URL gewählt, obwohl ich ein Canonical-Tag gesetzt habe?

Canonical ist ein Hinweis. Stützen interne Links, Sitemap, Weiterleitungen und Inhaltsähnlichkeit eine andere URL, kann Google selbst wählen. Vergleichen Sie im URL-Prüftool die Felder für das vom Nutzer angegebene und das von Google gewählte Canonical und bündeln Sie die Signale auf derselben URL.

Sollte ich eine noindex-Seite in der Sitemap behalten?

Nein. Die Sitemap enthält nur kanonische URLs mit Status 200, die in den Index sollen. noindex-Seiten in die Sitemap aufzunehmen, erzeugt widersprüchliche Signale und unnötige Warnungen in der Search Console. Einzige Ausnahme ist, sie vorübergehend zu behalten, damit das noindex schnell bemerkt wird.

Sollte ich bei paginierten Listen für die zweite und weitere Seiten die erste Seite als Canonical angeben?

In der Regel nicht. Da jede Paginierungsseite andere Inhalte listet, erhält sie ein Canonical auf sich selbst. Ein Canonical auf die erste Seite kann die Entdeckung der Links zu Elementen auf den folgenden Seiten schwächen.

Support

Kontaktieren Sie uns für Support oder eine Bestandsaufnahme zu diesem Thema.

Kontaktformular
[email protected]

Eretek Web

Wir bauen Unternehmenswebsites, WordPress- und CMS-Plattformen, Intranet- und SharePoint-Portale, Dokumentenmanagement sowie Formular- und Freigabeprozesse auf und halten sie sicher und aktuell.

Wissenszentrum

Weitere Beiträge