„Wir haben die Seite per robots.txt gesperrt, aber sie erscheint immer noch bei Google.“ Ein großer Teil der Indexierungsbeschwerden beginnt mit diesem Satz. Ob eine Seite in den Suchergebnissen erscheint, bestimmt nicht eine einzelne Einstellung, sondern vier Signale mit unterschiedlichen Aufgaben: robots.txt, noindex, Canonical und XML-Sitemap. Das Problem entsteht, wenn diese Signale füreinander eingesetzt werden oder für dieselbe URL widersprüchliche Botschaften senden. Dieser Leitfaden beschreibt, was jedes Signal tatsächlich tut, welches in welchem Szenario zu wählen ist und wie das Ergebnis in der Search Console verifiziert wird.
Unterschied zwischen den Werkzeugen zur Indexierungssteuerung
Die grundlegende Unterscheidung ist die zwischen Crawling und Indexierung. Crawling bedeutet, dass der Bot die URL anfordert und den Inhalt herunterlädt; Indexierung, dass der Inhalt in den Suchindex aufgenommen wird. Jedes Signal berührt ein anderes Glied dieser Kette. Verwechseln Sie das Glied, wird auch das Ergebnis verwirrend.
| Signal | Betroffene Phase | Verbindlichkeit | Typische Verwendung |
|---|---|---|---|
robots.txt Disallow |
Scan | Verbindlich für sich daran haltende Bots | Unendliche URL-Räume, interne Suche, Admin-Pfade |
Meta-Robots / X-Robots-Tag noindex |
Indexierung | Verbindlich (wenn gecrawlt) | Dankeseite, Archive mit dünnem Inhalt |
rel="canonical" |
Auswahl zwischen Kopien | Hinweis | Parametrisierte, mit Tracking-Code versehene, doppelte URLs |
| XML-Sitemap | Entdeckung und Priorität | Hinweis | Liste der zu indexierenden kanonischen URLs |
| 301/308-Weiterleitung | URL-Zusammenführung | Starkes Signal | Dauerhaft umgezogene oder zusammengeführte Seiten |
Das robots.txt-Protokoll ist mit RFC 9309 standardisiert; es bindet aber nur Bots, die sich an das Protokoll halten, und ist kein Zugriffskontrollmechanismus. Inhalte, die geheim bleiben müssen, werden per Authentifizierung geschützt. robots.txt ist öffentlich und verkündet der Welt die gesperrten Pfade. Es ist kein Sicherheitswerkzeug.
robots.txt nicht mit noindex verwechseln
Der häufigste Fehler in der Praxis ist, eine Seite per robots.txt zu sperren, um sie aus den Ergebnissen zu entfernen. Eine gesperrte Seite kann nicht gecrawlt werden, also kann auch ihr noindex-Tag nicht gelesen werden. Findet Google einen Link auf die Seite, kann es die URL ohne Inhalt indexieren; die Search Console zeigt diesen Zustand im Seitenbericht in der Zeile „Indexed, though blocked by robots.txt“ (Indexiert, obwohl durch robots.txt blockiert).
Die richtige Reihenfolge: Zuerst wird der Seite noindex hinzugefügt und sie bleibt crawlbar; nachdem verifiziert ist, dass sie aus dem Index verschwunden ist, wird bei Bedarf eine Crawling-Sperre ergänzt. Google unterstützt die Regel Noindex: in robots.txt seit 2019 nicht mehr. Diese Zeile ist heute toter Code.
Bei Nicht-HTML-Ressourcen (PDF, DOCX, Bild) wird noindex per HTTP-Header gesetzt. Beispiel für Nginx:
location ~* \.(pdf|docx?)$ {
add_header X-Robots-Tag "noindex" always;
}
Fügen Sie in Nginx einem location-Block ein add_header hinzu, werden die add_header-Direktiven übergeordneter Blöcke (z. B. Sicherheitsheader) in diesem Block nicht geerbt; wiederholen Sie sie bei Bedarf. Dieses Verhalten ist der klassische Grund, warum Sicherheitsheader bei PDF-Antworten stillschweigend verloren gehen. Die Entsprechung in Apache bei aktivem mod_headers:
<FilesMatch "\.(pdf|docx?)$">
Header set X-Robots-Tag "noindex"
</FilesMatch>
Wann Canonical wirkt und wann es ignoriert wird
Canonical bedeutet: „Dieser Inhalt hat mehrere Adressen; diese Adresse bevorzuge ich.“ Es ist kein Befehl, sondern ein Hinweis. Google wägt die Angabe zusammen mit anderen Signalen ab und trifft bei Widersprüchen eine eigene Wahl. Typische Fälle, in denen Canonical ignoriert wird:
- Inhalt unterschiedlich: Das Canonical einer Kategorieseite zeigt auf die Startseite. Sind die Seiten keine echten Kopien, verliert Canonical seine Bedeutung.
- Signale widersprechen sich: Canonical zeigt auf A, aber alle internen Links und die Sitemap enthalten B.
- Ziel problematisch: Das Canonical-Ziel liefert 3xx, 404 oder noindex.
- Mehrere Canonicals: Theme und SEO-Plugin geben jeweils ein Canonical aus; gibt es mehrere unterschiedliche Werte, kann Google alle ignorieren.
- Außerhalb des Head: Canonical steht im Body, oder der Head wurde wegen eines ungültigen Elements vorzeitig geschlossen.
Canonical und noindex werden nicht zusammen auf derselben Seite verwendet. Stehen die Botschaften „Diese Seite ist eine Kopie von B“ und „Diese Seite nicht indexieren“ nebeneinander, können die Zusammenführungssignale durch noindex verloren gehen. Ist es eine Kopie: Canonical. Ist sie unerwünscht: noindex.
Canonical wird als absolute URL geschrieben und muss bei Protokoll, Domain und abschließendem Schrägstrich der bevorzugten Form Ihrer Unternehmenswebsite entsprechen:
<link rel="canonical" href="https://www.example.com/leistungen/technisches-seo/" />
Parametrisierte URL, Filter und Paginierung
Es gibt drei Arten von Parametern, und jede wird anders behandelt:
- Solche, die den Inhalt nicht ändern (
utm_source,gclid, Sitzungs-ID): Canonical zeigt auf die URL ohne Parameter. In internen Links werden diese Parameter nie verwendet. - Solche, die den Inhalt eingrenzen (Filter, Sortierung): Wertvolle Kombinationen (z. B. „Kategorie + Marke“) können mit eigener kanonischer URL indexiert werden; für die übrigen werden Canonical oder noindex genutzt. Explodiert die Zahl der Kombinationen (Mehrfachfilter, Preisbereich), schont eine Eingrenzung des Crawl-Bereichs per robots.txt die Crawling-Ressourcen.
- Paginierung (
/page/2/,?page=2): Jede Seite erhält ein Canonical auf sich selbst. Google nutzt die Auszeichnungrel="prev"/rel="next"nicht mehr als Indexierungssignal; normale<a href>-Links zwischen den Seiten genügen.
Das frühere Tool URL-Parameter in der Search Console wurde entfernt; die Parametersteuerung liegt vollständig bei den Signalen auf der Website. Der verlässlichste Weg zu sehen, welche Parameter tatsächlich gecrawlt werden, sind Serverlogs. Nicht raten, ins Log schauen. Die Methode beschreibt der Beitrag Logbasierte Crawl-Analyse.
Beispiel für die Eingrenzung des Filterbereichs per robots.txt:
User-agent: *
Disallow: /*?*orderby=
Disallow: /*?*filter_
Disallow: /?s=
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.example.com/sitemap_index.xml
Platzhalter * und Zeilenende-Zeichen $ sind in RFC 9309 definiert. Passen mehrere Regeln auf eine URL, gilt die längste (spezifischste); bei Gleichstand gewinnt Allow. Sperren Sie keine CSS- und JavaScript-Dateien; kann Google die Seite nicht rendern, bewertet es den Inhalt unvollständig. Aus alten Vorlagen stammende Zeilen Disallow: /wp-includes/ verursachen dieses Problem noch immer.
Inhalt und Pflege der XML-Sitemap
Die Sitemap ist die Liste der URLs, die in den Index sollen; sie ist nicht „alles auf der Website“. Regeln für den Inhalt:
- Nur URLs mit Status 200, ohne noindex und mit Canonical auf sich selbst.
- Keine weitergeleiteten, gelöschten, parametrisierten oder per robots.txt gesperrten URLs.
lastmodwird nur aktualisiert, wenn sich der Inhalt relevant ändert. Google nutztlastmod, wenn es verlässlich korrekt ist;priorityundchangefreqberücksichtigt es dagegen nicht.- Höchstens 50.000 URLs und 50 MB unkomprimiert pro Datei; bei größeren Websites wird eine Sitemap-Indexdatei verwendet.
Seit WordPress 5.5 erzeugt der Kern unter /wp-sitemap.xml eine Sitemap. Aktiviert ein Plugin wie Yoast SEO oder Rank Math seine eigene Sitemap (/sitemap_index.xml), schaltet es die Kern-Sitemap meist ab. Prüfen Sie dennoch, dass nicht beide Sitemaps gleichzeitig live sind und nur die genutzte an die Search Console gesendet wurde.
Um die Sitemap-Bereinigung regelmäßig zu prüfen, kontrollieren Sie die Statuscodes der URLs in großen Mengen:
curl -s https://www.example.com/post-sitemap.xml \
| grep -o '<loc>[^<]*' | sed 's/<loc>//' \
| while read -r u; do
printf '%s %s\n' "$(curl -s -o /dev/null -w '%{http_code}' "$u")" "$u"
done | grep -v '^200 '
Die Ausgabe sollte leer sein. Kommt eine Zeile zurück, enthält die Sitemap eine URL ohne 200, und diese wird zuerst bereinigt.
Entscheidungstabelle nach Szenario und Verifizierung
| Szenario | Empfohlenes Signal | Zu vermeiden |
|---|---|---|
| Dankeseite nach Formularversand | noindex, nicht in der Sitemap | robots.txt-Sperre |
| Kampagnen-URLs mit UTM | Canonical auf die URL ohne Parameter | Interner Link auf die parametrisierte URL |
| Ergebnisse der internen Websitesuche | robots.txt Disallow (wenn nicht im Index) | In die Sitemap aufnehmen |
| Dauerhaft umgezogene Seite | 301/308-Weiterleitung | Nur Canonical |
| Autoren- oder Schlagwortarchiv, dünner Inhalt | noindex, follow – Links bleiben erhalten | Canonical auf die Startseite |
| PDF-Katalog mit Entsprechung als Webseite | X-Robots-Tag noindex oder HTTP-Canonical | Robots-Meta auf der Seite versuchen |
| Testumgebung | Authentifizierung + noindex | Nur robots.txt |
Verifizierung mit der Search Console
- URL-Prüfung: Vergleichen Sie für eine URL die Felder für das vom Nutzer angegebene Canonical (User-declared canonical) und das von Google gewählte Canonical (Google-selected canonical). Unterscheiden sie sich, widersprechen sich die Signale.
- Seitenbericht: Untersuchen Sie diese Zeilen, deren Namen je nach Oberflächensprache variieren: „Excluded by ‘noindex’ tag“, „Indexed, though blocked by robots.txt“, „Duplicate, Google chose different canonical than user“ und „Alternate page with proper canonical tag“. Die erste und letzte Zeile können erwartete Zustände sein; die mittleren erfordern meist eine Korrektur.
- Sitemap-Bericht: Untersuchen Sie die Gründe für die Differenz zwischen gesendeten und indexierten URLs im Seitenbericht mit dem Sitemap-Filter.
- robots.txt-Bericht: Prüfen Sie mit dem robots.txt-Bericht unter Einstellungen die zuletzt von Google abgerufene Version und Abruffehler.
Diese Signale brechen am häufigsten bei Website-Umzügen und Redesigns; die Prüfungen in der Übergangsphase stehen im Leitfaden SEO-Verluste beim Website-Umzug verhindern. Strukturierte Daten sind dagegen kein Indexierungssignal, sondern eine eigene Ebene, die Bedeutung von Inhalten vermittelt; dieses Thema behandelt der Beitrag Schema.org-Auszeichnung auf der Unternehmenswebsite. Diese Signale zusammen mit der Seitenarchitektur zu entwerfen, ist das Erste, was wir bei technischem SEO und Seitenarchitektur angehen.
Häufig gestellte Fragen
Warum erscheint eine per robots.txt gesperrte Seite noch in den Suchergebnissen?
robots.txt verhindert das Crawling, nicht die Indexierung. Findet Google externe oder interne Links auf die Seite, kann es die URL indexieren, ohne den Inhalt zu lesen. Soll die Seite aus den Ergebnissen verschwinden, wird die robots.txt-Sperre aufgehoben und der Seite noindex hinzugefügt.
Warum hat Google eine andere URL gewählt, obwohl ich ein Canonical-Tag gesetzt habe?
Canonical ist ein Hinweis. Stützen interne Links, Sitemap, Weiterleitungen und Inhaltsähnlichkeit eine andere URL, kann Google selbst wählen. Vergleichen Sie im URL-Prüftool die Felder für das vom Nutzer angegebene und das von Google gewählte Canonical und bündeln Sie die Signale auf derselben URL.
Sollte ich eine noindex-Seite in der Sitemap behalten?
Nein. Die Sitemap enthält nur kanonische URLs mit Status 200, die in den Index sollen. noindex-Seiten in die Sitemap aufzunehmen, erzeugt widersprüchliche Signale und unnötige Warnungen in der Search Console. Einzige Ausnahme ist, sie vorübergehend zu behalten, damit das noindex schnell bemerkt wird.
Sollte ich bei paginierten Listen für die zweite und weitere Seiten die erste Seite als Canonical angeben?
In der Regel nicht. Da jede Paginierungsseite andere Inhalte listet, erhält sie ein Canonical auf sich selbst. Ein Canonical auf die erste Seite kann die Entdeckung der Links zu Elementen auf den folgenden Seiten schwächen.