Die Search Console zeigt Ihnen, was Google über Ihre Website denkt; das Serverlog zeigt, was der Googlebot tatsächlich tut. Welche URLs wie oft gecrawlt werden, in welchen Weiterleitungsketten und auf welchen 404-Seiten der Bot Zeit verbringt, wann er eine neu veröffentlichte Seite erreicht, ist nur im Log vollständig sichtbar. Das Log lügt nicht. Dieser Leitfaden beschreibt, wie man Zugriffslogs für die SEO-Crawl-Analyse vorbereitet, gefälschte Googlebots aussortiert und auf der Kommandozeile schnell Befunde gewinnt.
Unterschied zwischen Loganalyse und Search Console
| Frage | Search Console | Serverlog |
|---|---|---|
| Welche URLs wurden gecrawlt? | Stichprobenliste | Jede Anfrage, vollständige Liste |
| Verteilung nach eigenen Verzeichnisgruppen | Eingeschränkt | In beliebiger Aufschlüsselung |
| URL in der Sitemap, aber nie gecrawlt | Indirekt | Direkter Vergleich |
| Verschwendung durch parametrisierte URLs | Schwer erkennbar | Zählung pro Parameter |
| Inhaltsbewertung durch Google | Vorhanden (Indexstatus) | Keine |
Beide Quellen ergänzen sich. Der Bericht Crawling-Statistiken der Search Console (unter Einstellungen) liefert Gesamtzahl der Anfragen, durchschnittliche Antwortzeit sowie Verteilung nach Antwortcode, Dateityp und Googlebot-Typ; auf URL-Ebene zeigt er nur eine Beispielliste. Sehen Sie im Bericht einen auffälligen Trend, suchen Sie die Ursache auf URL-Ebene im Log.
Betrachten Sie auch das Crawl-Budget im richtigen Maßstab. Googles Leitfaden zum Crawl-Budget für große Websites gibt an, dass das Thema überwiegend sehr große (etwa über eine Million eindeutige Seiten) oder sehr schnell veränderliche Websites (Zehntausende täglich aktualisierte Seiten) betrifft. Auf einer Unternehmenswebsite mit einigen Hundert Seiten ist das Budget kein Problem. Der eigentliche Gewinn ist die Diagnose: Fehler, Ketten und Entdeckungsverzögerung.
Logformat und nötige Felder
Das Standardformat combined von Nginx und Apache genügt für eine Grundanalyse:
66.249.66.1 - - [10/Nov/2026:10:15:32 +0300] "GET /ratgeber/beispiel/ HTTP/1.1" 200 15342 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Beim Aufteilen nach Leerzeichen ist $1 die Client-IP, $4 die Zeit, $7 der Anfragepfad, $9 der Statuscode, $10 die Antwortgröße; beim Aufteilen nach doppelten Anführungszeichen ist $6 der User-Agent. Werden auch Antwortzeit und virtueller Hostname protokolliert, wird die Analyse tiefer. Beispielformat für Nginx:
log_format seo '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" $request_time $host';
access_log /var/log/nginx/example.com.access.log seo;
Fügen Sie neue Felder am Zeilenende hinzu; so bleiben die bestehenden awk-Feldnummern intakt. Ein einziges in der Mitte eingefügtes Feld lässt alle alten Skripte stillschweigend falsche Ergebnisse liefern. Aufbewahrung, Rotation und zentrale Sammlung von Logs sind ein eigenes Betriebsthema; hier liegt der Fokus auf der SEO-Deutung des Logs. Für die Sammlung siehe den Beitrag Logmanagement für Webserver.
Echte IP hinter dem CDN
Liegt die Website hinter einem CDN wie Cloudflare, erscheinen im Serverlog die IPs des CDN als Client, und eine Googlebot-Prüfung ist nicht möglich. Das ist das Erste, was man in der Konsole prüft: Kommen alle IPs im Log aus wenigen Bereichen, fehlt die realip-Konfiguration. In Nginx löst man das mit ngx_http_realip_module:
# Fuer jeden von Cloudflare veroeffentlichten IPv4-/IPv6-Bereich:
set_real_ip_from 173.245.48.0/20;
# ... weitere Bereiche ...
real_ip_header CF-Connecting-IP;
Die Bereichsliste aktualisiert Cloudflare; eine manuell kopierte Liste veraltet mit der Zeit, aktualisieren Sie sie automatisch. Dem Header darf nur bei Anfragen aus diesen Bereichen vertraut werden; sonst kann jeder seine IP per Header fälschen. Zudem erreichen Anfragen, die aus dem CDN-Cache beantwortet werden, den Ursprungsserver gar nicht; für das vollständige Bild berücksichtigen Sie auch die Logs auf CDN-Seite. Wie die Cache-Ebenen zusammenwirken, beschreibt der Beitrag Cloudflare, WP Rocket und Redis.
Den echten Googlebot verifizieren
Die User-Agent-Zeichenkette lässt sich fälschen; Browser, SEO-Werkzeuge und bösartige Bots geben sich oft als „Googlebot“ aus. Googles Verifizierungsmethode hat zwei Schritte: Der Reverse-DNS-Eintrag der IP muss auf googlebot.com oder google.com enden, und die Vorwärts-DNS-Abfrage dieses Namens muss dieselbe IP liefern. Alternativ kann mit den von Google veröffentlichten JSON-Dateien der IP-Bereiche verglichen werden; bei vielen IPs ist diese Methode schneller.
# 1) Eindeutige IPs, die sich als Googlebot ausgeben
grep -i 'googlebot' access.log | awk '{print $1}' | sort -u > gb_ips.txt
# 2) Reverse- und Vorwaerts-DNS-Pruefung
while read -r ip; do
ptr=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//')
case "$ptr" in
*.googlebot.com|*.google.com)
if host "$ptr" | grep -qwF "$ip"; then echo "OK $ip $ptr"; else echo "FAKE $ip $ptr"; fi ;;
*) echo "FAKE $ip ${ptr:-kein-ptr}" ;;
esac
done < gb_ips.txt > gb_verify.txt
# 3) Nur Anfragen verifizierter IPs herausfiltern
awk '$1=="OK"{print $2}' gb_verify.txt > gb_ok.txt
awk 'NR==FNR{ok[$1];next} ($1 in ok)' gb_ok.txt access.log > googlebot.log
Da die Schleife für jede IP eine DNS-Abfrage ausführt, ist sie bei Tausenden IPs langsam; cachen Sie die Ergebnisse oder wechseln Sie zur Methode mit IP-Bereichen. Bei IPv6-Adressen kann die Schreibweise in Log und host-Ausgabe abweichen; prüfen Sie Nicht-Treffer manuell. Adressen, die auf googleusercontent.com enden, gehören zu nutzerausgelösten Google-Werkzeugen und werden nicht in die Crawl-Analyse aufgenommen.
Schnelle Analyse auf der Kommandozeile
Auf der verifizierten Datei googlebot.log entsteht das erste Bild in wenigen Zeilen. Die Reihenfolge zählt: zuerst Verteilung der Statuscodes, dann Aufschlüsselung nach Verzeichnis, zuletzt einzelne URLs.
# Verteilung der Statuscodes
awk '{print $9}' googlebot.log | sort | uniq -c | sort -rn
# Anfragen pro Tag (Log muss chronologisch sortiert sein)
awk '{print substr($4,2,11)}' googlebot.log | uniq -c
# Verteilung nach Verzeichnis erster Ebene
awk '{split($7,a,"?"); split(a[1],p,"/"); print (p[2]=="" ? "/" : "/" p[2] "/")}' googlebot.log \
| sort | uniq -c | sort -rn | head -20
# Am haeufigsten gecrawlte Parameternamen
awk '$7 ~ /\?/ {split($7,a,"?"); print a[2]}' googlebot.log \
| tr '&' '\n' | cut -d= -f1 | sort | uniq -c | sort -rn | head
# Anteil Googlebot mobil / Desktop
awk -F'"' '{print ($6 ~ /Mobile/) ? "smartphone" : "desktop"}' googlebot.log | sort | uniq -c
# Am haeufigsten gecrawlte URLs mit 3xx und 4xx
awk '$9 ~ /^[34]/ {print $9, $7}' googlebot.log | sort | uniq -c | sort -rn | head -30
Sind rotierte Logdateien komprimiert, können Sie die Ausgabe von zcat -f access.log* an dieselben Befehle übergeben. Bei Daten über einigen Gigabyte ist es praktisch, die Logs in eine Datenbank (z. B. DuckDB oder ClickHouse) zu übertragen, um dieselben Abfragen per SQL auszuführen. Das Werkzeug ändert sich. Die Methode nicht.
Abgleich mit der Sitemap
Die aussagekräftigste Einzelanalyse ist der Vergleich der URLs in der Sitemap mit den gecrawlten URLs:
# Pfade in der Sitemap
curl -s https://www.example.com/page-sitemap.xml https://www.example.com/post-sitemap.xml \
| grep -o '<loc>[^<]*' | sed -E 's#<loc>https?://[^/]+##' | sort -u > sitemap_paths.txt
# Gecrawlte Pfade (ohne Parameter, nur 200)
awk '$9==200 {split($7,a,"?"); print a[1]}' googlebot.log | sort -u > crawled_paths.txt
comm -23 sitemap_paths.txt crawled_paths.txt > in_sitemap_nicht_gecrawlt.txt
comm -13 sitemap_paths.txt crawled_paths.txt > gecrawlt_nicht_in_sitemap.txt
Die erste Liste zeigt wichtige Seiten, die im Analysezeitraum nie besucht wurden; die zweite URLs außerhalb der Sitemap, die Crawling-Ressourcen verbrauchen. Das Analysefenster sollte mindestens einige Wochen umfassen; in Logs weniger Tage erscheinen selten gecrawlte Seiten fälschlich als „nicht gecrawlt“, und Sie lösen unnötig Alarm aus.
Crawl-Verteilung und Verschwendung
Achten Sie bei der Deutung der Befunde auf diese Muster, die uns in der Praxis immer wieder begegnen:
- Parameterexplosion: Machen Filter-, Sortier- oder Kalenderparameter einen erheblichen Teil aller Anfragen aus, gibt es einen unendlichen URL-Raum.
- Weiterleitungsketten: Erhalten dieselben alten URLs ständig 301, zeigen interne Links und Sitemap noch auf alte Adressen.
- Dauerhafte 404: Kommen ständig Anfragen auf gelöschte Seiten, finden Sie die Quelle (interner Link, externer Link, alte Sitemap); gibt es entsprechende Inhalte, leiten Sie weiter.
- 5xx und langsame Antworten: Google senkt die Crawling-Geschwindigkeit, wenn der Server Fehler liefert oder langsam wird. Wird das Feld
$request_timeprotokolliert, listen Sie langsame URLs gesondert. - Admin- und technische Pfade: Viele Anfragen auf Pfade wie
/wp-json/,/feed/oder?replytocom=zeigen, dass die Signale überprüft werden müssen. - Entdeckungsverzögerung: Messen Sie die Zeit zwischen Veröffentlichung eines neuen Beitrags und der ersten Googlebot-Anfrage; lange Zeiten deuten auf Probleme bei interner Verlinkung und Sitemap.
Maßnahmentabelle nach Befund
| Befund | Mögliche Ursache | Maßnahme |
|---|---|---|
| Parametrisierte URLs werden viel gecrawlt | Filterlinks sind crawlbar | Canonical, bei Bedarf per robots.txt eingrenzen |
| Viele 301 | Interne Links auf alten URLs | Links und Sitemap auf die endgültige URL aktualisieren |
| Dauerhafte 404 | Gelöschter Inhalt, defekter Link | Gibt es eine Entsprechung 301, sonst 404/410 belassen, internen Link korrigieren |
| 5xx oder hohe Antwortzeit | Ressourcenmangel, schwere Abfrage | Server/Cache verbessern, langsame URLs profilieren |
| Sitemap-URL wird nicht gecrawlt | Schwache interne Verlinkung, tiefe Position | Von relevanten Seiten verlinken, Menü-/Kategoriestruktur überprüfen |
| Hoher Anteil gefälschter Googlebots | Scraper-Bots | WAF-/Ratenbegrenzungsregeln (verifizierter Googlebot ausgenommen) |
Die meisten Maßnahmen berühren Indexierungssignale; für die Wahl zwischen robots.txt, Canonical und noindex siehe den Leitfaden zu Indexierungssignalen. Führen Sie nach der Änderung dieselben Befehle im Abstand einiger Wochen erneut aus und verifizieren Sie, dass sich die Verteilung in die erwartete Richtung verschoben hat. Ohne Messung gilt nichts als behoben.
Logformat, Konfiguration der echten IP und Cache-Ebenen werden serverseitig aufgebaut; wir behandeln diese Struktur in Projekten für Nginx-Webserver und Reverse Proxy, die Deutung der Befunde im Rahmen von technischem SEO und Seitenarchitektur.
Häufig gestellte Fragen
Lohnt sich eine Loganalyse bei einer kleinen Unternehmenswebsite?
Laut Google wird das Crawl-Budget meist bei sehr großen oder sehr häufig geänderten Websites zur Einschränkung. Bei einer kleinen Website liegt der Wert der Loganalyse weniger im Budget als in der Diagnose: Sie zeigt, wie schnell der Googlebot neue Seiten findet, wie viele Anfragen er für 404 und Weiterleitungsketten aufwendet und ob er Serverfehler erhält.
Ist jede Anfrage mit Googlebot im User-Agent wirklich Google?
Nein. Der User-Agent ist eine Angabe des Clients und leicht zu fälschen. Ein echter Googlebot wird verifiziert, indem der Reverse-DNS-Eintrag der IP auf googlebot.com oder google.com endet und die Vorwärtsabfrage dieses Namens dieselbe IP liefert, oder über die von Google veröffentlichten IP-Bereiche.
Warum stehen bei einer Website hinter Cloudflare in den Logs immer Cloudflare-IPs?
Da der Webserver die Verbindung direkt von Cloudflare erhält, ist die entfernte Adresse die IP von Cloudflare. Mit dem realip-Modul in Nginx oder mod_remoteip in Apache muss der Header CF-Connecting-IP nur bei Anfragen aus den IP-Bereichen von Cloudflare als vertrauenswürdig behandelt und die echte Client-IP protokolliert werden.
Ersetzt der Bericht Crawling-Statistiken der Search Console die Loganalyse?
Teilweise. Der Bericht liefert die Verteilung von Anfragen insgesamt, Antwortcodes, Dateitypen und Googlebot-Typen; auf URL-Ebene zeigt er nur eine Beispielliste. Für eine vollständige Liste pro URL, Aufschlüsselung nach eigenen Verzeichnisgruppen und den Abgleich mit der Sitemap braucht man Rohlogs. Zusammen genutzt bestätigen sie sich gegenseitig.