Grafana Loki

Grafana Loki – Log-Aggregation für Cloud-Native Umgebungen

Grafana Loki ist ein horizontalen skalierbares, hochverfügbares Log-Aggregationssystem, das vom Grafana-Team entwickelt wurde. Im Gegensatz zu Elasticsearch indexiert Loki Log-Inhalte nicht vollständig, sondern nur Metadaten (Labels wie {app="nginx", namespace="production", level="error"}). Logs werden als komprimierte Chunks gespeichert. Diese Architektur reduziert den Speicherbedarf und die Betriebskomplexität drastisch – bei gleichzeitig sehr niedrigen Kosten.

LogQL und Loki-Abfragesprache

LogQL ist Lokis Abfragesprache, die von PromQL inspiriert wurde. Log-Stream-Selector {app="api"} filtert Logs nach Labels; Filter-Expressions |= "error" oder !~ "debug" suchen in Log-Inhalten. Metric-Queries konvertieren Logs zu Zeitreihen: rate({app="nginx"} |= "200" [5m]) berechnet die Request-Rate der erfolgreichen Nginx-Responses. Loki-Ruler ermöglicht Alert-Rules basierend auf Log-Metriken – Alerts bei zu vielen Error-Logs in einem Zeitfenster.

Promtail und Log-Collection

Promtail ist der offizielle Loki-Log-Collector – ein leichtgewichtiger Agent, der auf jedem Node läuft und Container-Logs, Systemd-Logs und Dateien an Loki weiterleitet. Kubernetes-Service-Discovery ermöglicht automatische Label-Anreicherung: Pod-Labels werden automatisch als Loki-Labels verwendet. Alloy (ehemals Grafana Agent) bietet einen einheitlichen Collector für Metriken, Logs und Traces.

Loki im LGTM-Stack bei TYPONiels

Loki ist der Log-Aggregations-Layer im Grafana LGTM-Stack: Loki (Logs), Grafana (Visualisierung), Tempo (Tracing), Mimir (Metriken). Bei TYPONiels werden alle Kubernetes-Pod-Logs über Promtail in Loki gesammelt und in Grafana durchsucht und visualisiert. Die Integration in Grafana-Dashboards ermöglicht das gleichzeitige Anzeigen von Metriken und zugehörigen Log-Zeilen – korrelierte Observability aus einer Oberfläche.