Log-Management auf dem Webserver: Rotation, zentrale Erfassung und Analyse

JSON-Format für Nginx-, Apache- und PHP-FPM-Logs, richtige logrotate-Einstellung, zentrale Erfassung mit rsyslog/Loki/ELK, Abfragen im Störungsfall und Kontrolle sensibler Daten.
Technische Zusammenfassung
Technologie
Nginx, Apache, PHP-FPM, logrotate, rsyslog, Grafana Loki, Elasticsearch/OpenSearch, jq
Thema
Format, Rotation und zentrale Erfassung von Web-Logs
Niveau
Mittel
Voraussetzungen
  • Kenntnisse der Linux-Kommandozeile
  • Erfahrung mit der Konfiguration von Nginx oder Apache
In diesem Beitrag7 Abschnitte

Um 03:00 Uhr nachts liefert die Website 502, und Ihr einziger Beweis sind die Webserver-Logs. Ob sie in diesem Moment nützen, hängt von drei Dingen ab: Enthalten sie die richtigen Felder, werden sie rotiert, bevor die Festplatte voll ist, und liegen sie an einem Ort, an dem Sie das Gesuchte innerhalb von Minuten finden? Im Folgenden beschreiben wir das Format der Nginx-, Apache- und PHP-FPM-Logs, die logrotate-Einstellung, Optionen für die zentrale Erfassung und die Abfragen, die wir im Störungsfall ausführen. Zielgruppe sind Systemadministratoren und DevOps-Teams, die einen oder mehrere Linux-Webserver betreuen.

Logtypen in der Webschicht

Eine Anfrage durchläuft auf ihrem Weg mehrere Schichten, und jede Schicht führt ihr eigenes Protokoll. Zu wissen, welche Frage in welchem Log zu suchen ist, spart im Störungsfall Minuten:

Log Typischer Ort Welche Frage es beantwortet
Zugriffslog von Nginx/Apache /var/log/nginx/access.log Wer hat was wann angefragt; Antwortcode und Dauer
Fehlerlog von Nginx/Apache /var/log/nginx/error.log Upstream-Verbindungsfehler, Berechtigungs- und Konfigurationsprobleme
PHP-FPM-Prozesslog /var/log/php8.2-fpm.log Ist der Pool voll, wurden Worker neu gestartet?
PHP-FPM-Slowlog In der Pool-Konfiguration definiert In welcher Funktion langsame Anfragen warten
Fehlerlog der PHP-Anwendung Durch die Einstellung error_log festgelegte Datei Warnungen, Fatal Errors, Ausnahmen der Anwendung

Die Speicherorte variieren je nach Distribution und Panel-Software; bei Panels wie Virtualmin liegen die Logs jedes virtuellen Servers meist in dessen eigenem Home-Verzeichnis. Eine Situation, die uns in der Praxis häufig begegnet: Vom Panel angelegte Website-Logs liegen außerhalb des Geltungsbereichs der mitgelieferten logrotate-Definition und wachsen monatelang. Dokumentieren Sie, wo alle Logs jeder Website liegen, und prüfen Sie, dass alle derselben Rotationsrichtlinie unterliegen.

Auf PHP-FPM-Seite werden zwei Einstellungen häufig vergessen. Ohne request_slowlog_timeout wird kein Slowlog geschrieben. catch_workers_output = yes sorgt dafür, dass Fehler, die Worker auf die Standardausgabe schreiben, im FPM-Log landen. Pool-Auslastung und langsame Anfragen behandeln wir zusammen mit Performance-Einstellungen im Beitrag Performanceprobleme bei PHP-FPM und MariaDB.

Logformat und JSON-Logging

Das Standardformat combined schreibt Client-Adresse, Anfragezeile, Statuscode, Größe, Referrer und User Agent. Die beiden bei der Fehlersuche am meisten gesuchten Angaben fehlen jedoch: wie lange die Anfrage gedauert hat und wie schnell die dahinterliegende Anwendung geantwortet hat. Ohne Dauer wird die Diskussion über Langsamkeit zum Raten. Wurde die Client-Adresse hinter einem Reverse Proxy oder CDN nicht korrekt übergeben, scheinen alle Anfragen von derselben IP zu kommen; das beschreiben wir im Beitrag Nginx-Reverse-Proxy konfigurieren unter dem Stichwort real_ip.

Planen Sie eine zentrale Erfassung, schreiben Sie die Logs von Anfang an im JSON-Format; das Schreiben regulärer Ausdrücke zum Parsen entfällt. Ab Nginx 1.11.8 maskiert der Parameter escape=json Sonderzeichen in Werten JSON-konform:

log_format json_log escape=json '{'
  '"time":"$time_iso8601",'
  '"host":"$host",'
  '"remote_addr":"$remote_addr",'
  '"request_id":"$request_id",'
  '"method":"$request_method",'
  '"uri":"$uri",'
  '"status":$status,'
  '"bytes":$body_bytes_sent,'
  '"request_time":$request_time,'
  '"upstream_time":"$upstream_response_time",'
  '"upstream_status":"$upstream_status",'
  '"referer":"$http_referer",'
  '"user_agent":"$http_user_agent"'
'}';

access_log /var/log/nginx/access.json json_log;

Die Entscheidungen hier sind bewusst getroffen. $status, $body_bytes_sent und $request_time sind immer numerisch und werden daher ohne Anführungszeichen geschrieben; Abfragewerkzeuge können sie als Zahlen vergleichen. $upstream_response_time steht dagegen in Anführungszeichen, weil es - sein kann, wenn kein Upstream angesprochen wurde, oder eine kommagetrennte Liste, wenn mehrere Upstreams versucht wurden. $uri statt $request_uri lässt den Query String weg; der Grund steht im Abschnitt zu sensiblen Daten unten. $request_id erzeugt eine anfragespezifische ID; übergeben Sie diese mit proxy_set_header X-Request-ID $request_id; an die Anwendung und lassen Sie sie auch in die Anwendungslogs schreiben, können Sie eine einzelne Anfrage über alle Schichten verfolgen.

In Apache erfasst das Feld %D (Dauer der Anfrage in Mikrosekunden) in LogFormat zum selben Zweck zumindest die Antwortzeit.

logrotate-Konfiguration

Ein nicht rotiertes Zugriffslog kann auf einer stark besuchten Website die Festplatte innerhalb weniger Wochen füllen. Ist die Festplatte voll, stoppt nicht nur das Logging; auch Datenbank- und Sitzungsdateien können nicht mehr geschrieben werden. Die Website fällt komplett aus. Die mit Paketen gelieferten logrotate-Definitionen decken die Standardverzeichnisse ab; für Logs in eigenen Verzeichnissen ist eine eigene Definition nötig:

# /etc/logrotate.d/nginx-json
/var/log/nginx/*.json {
    daily
    rotate 30
    missingok
    notifempty
    compress
    delaycompress
    dateext
    create 0640 www-data adm
    sharedscripts
    postrotate
        [ -f /run/nginx.pid ] && kill -USR1 "$(cat /run/nginx.pid)"
    endscript
}

Das Signal USR1 weist Nginx an, die Logdateien neu zu öffnen; der Prozess wird nicht neu gestartet. Wird das Signal nicht gesendet, schreibt Nginx weiter in die umbenannte alte Datei, und die neue bleibt leer. delaycompress verzögert die Komprimierung der vorherigen Datei um eine Runde; ein Prozess, der bis zur Verarbeitung des Signals weiterschreibt, hat so kein Problem. Für PHP-FPM wird zum selben Zweck ebenfalls das Signal USR1 verwendet. Benutzer- und Gruppennamen unterscheiden sich je nach Distribution (unter Debian/Ubuntu www-data, auf RHEL-basierten Systemen nginx); passen Sie sie an Ihr System an.

Prüfen Sie die Konfiguration vor dem Livegang im Testmodus:

logrotate -d /etc/logrotate.d/nginx-json   # zeigt nur, was passieren wuerde
logrotate -f /etc/logrotate.d/nginx-json   # erzwingt eine Rotation

rotate 30 legt die Zahl der auf dem Server gehaltenen Dateien fest; das sollte nicht Ihre gesamte Aufbewahrungsrichtlinie sein. Langfristige Aufbewahrung erfolgt im zentralen System, auf der lokalen Festplatte bleibt nur ein kurzes Fenster für schnellen Zugriff.

Optionen für die zentrale Erfassung

Auf einem einzelnen Server leisten grep und awk gute Dienste. Kommen mehrere Server, mehrere Knoten hinter einem Load Balancer oder die Möglichkeit ins Spiel, dass ein Angreifer auf einem kompromittierten Server die Logs löscht, ist zentrale Erfassung nötig. Ein Log auf dem Server ist auch für den Angreifer zugänglich. Drei verbreitete Ansätze:

Option Stärke Einschränkung
Zentraler Syslog-Server mit rsyslog Auf nahezu jedem Linux vorhanden; einfach und leichtgewichtig Keine Abfrage und Visualisierung; speichert als Dateien
Grafana Loki Indexiert nur Labels, daher geringe Speicherkosten; in Grafana integriert Bei Volltextsuche langsamer als indexierende Systeme
Elasticsearch/OpenSearch (ELK) Leistungsstarke Volltextsuche und Analyse Hoher Speicher- und Festplattenbedarf; hoher Betriebsaufwand

Nginx kann Logs auch direkt an Syslog senden: access_log syslog:server=10.0.20.5:514,tag=nginx json_log;. Syslog-Übertragung per UDP bietet jedoch keine Zustellgarantie; bei Netzwerkproblemen gehen Logs stillschweigend verloren. Daher empfehlen wir, die Logs weiterhin in eine lokale Datei zu schreiben und sie mit einem Collector-Agenten (rsyslog-Modul imfile, Grafana Alloy, Filebeat oder Fluent Bit) aus der Datei zu lesen und zu versenden. Ist das zentrale System nicht erreichbar, setzt der Agent dort fort, wo er aufgehört hat.

Für eine kleine bis mittlere Webinfrastruktur ist Loki + Grafana in Bezug auf Kosten und Betriebsaufwand meist ein ausgewogener Einstieg; die Verteilung der Antwortcodes und die Antwortzeiten aus den Zugriffslogs lassen sich neben Uptime- und Performance-Dashboards darstellen. Diese Dashboards samt Alarmregeln können Sie im Rahmen von Web-Monitoring und Uptime-Überwachung gestalten. Sollen Webserver-Protokolle mit anderen Systemen verknüpft für die Vorfallsverfolgung genutzt werden, beziehen Sie sie in SIEM-Einrichtung und Sicherheitslogs ein.

Log-Abfragen bei der Fehlersuche

Die folgenden Abfragen arbeiten mit dem Nginx-Log im JSON-Format und beantworten die ersten Fragen im Störungsfall: Welche Codes werden geliefert, welche URL bricht, was ist langsam, wer erzeugt Last? jq ist in den Paketquellen der meisten Distributionen enthalten.

# Verteilung der Statuscodes im aktuellen Log
jq -r '.status' /var/log/nginx/access.json | sort | uniq -c | sort -rn

# Haeufigste URIs mit 5xx-Antwort
jq -r 'select(.status >= 500) | .uri' /var/log/nginx/access.json \
  | sort | uniq -c | sort -rn | head -20

# Anfragen, die laenger als 2 Sekunden dauern
jq -c 'select(.request_time > 2) | {time, uri, request_time, upstream_time}' \
  /var/log/nginx/access.json | tail -50

# Client-Adressen mit den meisten Anfragen
jq -r '.remote_addr' /var/log/nginx/access.json | sort | uniq -c | sort -rn | head

Nutzen Sie Loki, können Sie dieselben Fragen mit LogQL nach Zeitraum stellen:

{job="nginx"} | json | status >= 500

sum by (status) (count_over_time({job="nginx"} | json [5m]))

Achten Sie bei der Auswertung darauf: Bei Codes wie 502 und 504 zeigt das Nginx-Zugriffslog nur das Ergebnis. Die Ursache (Verbindung abgelehnt, Timeout, Upstream hat vorzeitig geschlossen) steht im Fehlerlog. Bei einem Anstieg von 5xx sind an der Konsole zuerst die Fehlerlogzeilen im selben Zeitfenster wie der Zeitstempel im Zugriffslog anzusehen; danach wird im PHP-FPM-Log nach der Warnung „max_children reached“ gesucht. Das Verhalten von Suchmaschinen-Crawlern aus Logs zu analysieren, ist ein eigenes Thema; dazu der Beitrag Googlebot-Crawl-Analyse mit Serverlogs.

Aufbewahrungsdauer und Kontrolle sensibler Daten

Da Zugriffslogs IP-Adressen, User Agents und besuchte URLs enthalten, können sie personenbezogene Daten darstellen. Dann ist die Aufbewahrungsdauer keine technische Vorliebe mehr, sondern eine Entscheidung, die im Verzeichnis der Verarbeitungstätigkeiten der Organisation festgelegt werden muss. In der Türkei sind die allgemeinen Grundsätze des KVKK (Gesetz Nr. 6698) und, je nach Art des Dienstes, die Pflichten zur Aufbewahrung von Verkehrsdaten nach dem Gesetz Nr. 5651 gemeinsam zu bewerten; für Organisationen in der EU gilt entsprechend die DSGVO. Legen Sie die Dauer mit der Rechtsabteilung fest und konfigurieren Sie lokale Rotation und zentrale Aufbewahrung entsprechend.

Ebenso wichtig wie die Aufbewahrungsdauer sind Daten, die unbeabsichtigt in Logs geschrieben werden. Checkliste:

  • Werden im Query String Passwort-Reset-Token, Sitzungs-IDs, API-Schlüssel oder E-Mail-Adressen übertragen? Falls ja, verwenden Sie im Zugriffslog $uri statt $request_uri oder korrigieren Sie die Anwendung so, dass sie diese Daten nicht im Query String überträgt.
  • Wurden Authorization– oder Cookie-Header ins Logformat aufgenommen? Entfernen Sie Header, die zur Fehlersuche hinzugefügt und vergessen wurden.
  • Schreibt die Anwendung im Fehlerfall den Anfragekörper (einschließlich Formulardaten) in die Logs?
  • Ist PHP display_errors in der Produktion aus und log_errors an? Fehlermeldungen können Datenbank-Verbindungsdaten enthalten.
  • Gewähren die Berechtigungen der Logdateien nur befugten Benutzern und Gruppen Leserechte? Liegt eine Logdatei unterhalb des Web-Roots?
  • Ist der Zugriff auf das zentrale Logsystem rollenbasiert, und werden Zugriffe protokolliert?
  • Werden Logs nach Ablauf der Aufbewahrungsdauer tatsächlich sowohl vom Server als auch aus dem zentralen System gelöscht?

Die vollständige Liste der Nginx-Logvariablen finden Sie in der Dokumentation zu ngx_http_log_module, die LogQL-Syntax in der Dokumentation zu Grafana Loki. Müssen Logging, Reverse Proxy und Sicherheitseinstellungen gemeinsam überprüft werden, sehen Sie sich die Leistungsseite Nginx-Webserver und Reverse Proxy an.

Häufig gestellte Fragen

Beeinflusst die Umstellung der Zugriffslogs auf JSON die Performance?

In der Regel nicht merklich; die Kosten, mit denen Nginx eine Logzeile formatiert, sind im Vergleich zur Anfrageverarbeitung gering. Der eigentliche Unterschied liegt auf der Festplatte: Da Feldnamen in jeder Zeile wiederholt werden, sind JSON-Logs größer, Komprimierung gleicht diesen Unterschied aber weitgehend aus.

Warum schreibt Nginx nach der Rotation nicht in die leere Logdatei?

Nginx schreibt über einen offenen Dateideskriptor; benennt logrotate die Datei um, schreibt der Prozess weiter in die alte Datei. Wird im Abschnitt postrotate kein USR1-Signal an den Nginx-Hauptprozess gesendet, wird die neue Datei nicht geöffnet. Prüfen Sie den Signalschritt und den Pfad der pid-Datei.

Sollte man Loki oder ELK bevorzugen?

Besteht der Hauptbedarf darin, nach Zeitraum und Labels zu filtern und Zählungen und Raten zu ermitteln, erledigt Loki das mit weniger Ressourcen. Werden häufige Suchen im Freitext, komplexe Analysen und Sicherheitsanalysen großer Volumen benötigt, eignet sich eine Struktur auf Basis von Elasticsearch oder OpenSearch besser; sie braucht aber mehr Speicher, Festplatte und Betriebsaufwand.

Wie lange sollte ich Webserver-Logs aufbewahren?

Es gibt nicht die eine richtige Dauer. Legen Sie die Dauer gemeinsam mit der Rechtsabteilung fest, unter Berücksichtigung des Verhältnismäßigkeitsgrundsatzes im KVKK (bzw. in der DSGVO), je nach Art des Dienstes der Pflichten aus dem türkischen Gesetz Nr. 5651, des Bedarfs an rückwirkender Untersuchung von Sicherheitsvorfällen und vertraglicher Bedingungen. Technisch ist es üblich, auf dem lokalen Server eine kurze und im zentralen System eine richtlinienkonforme Dauer vorzuhalten.

Support

Kontaktieren Sie uns für Support oder eine Bestandsaufnahme zu diesem Thema.

Kontaktformular
[email protected]

Eretek Web

Wir bauen Unternehmenswebsites, WordPress- und CMS-Plattformen, Intranet- und SharePoint-Portale, Dokumentenmanagement sowie Formular- und Freigabeprozesse auf und halten sie sicher und aktuell.

Wissenszentrum

Weitere Beiträge