Observability, die im Incident wirklich hilft

Im Incident öffnen die meisten zuerst Grafana. Request-Rate, p99, CPU, alles grün. Und genau da bleibt das Team stehen.

Grün heißt hier nämlich nur: im Schnitt ist alles okay. Es sagt nichts darüber, wo in einer Kette aus fünf Services der eine Request stirbt, um den es gerade geht. Das Aggregat schlägt den Einzelfall, und ein Incident ist immer der Einzelfall.

Das Signal, das wirklich hilft, ist unscheinbarer. istio_requests_total, aufgeschlüsselt nach source und destination, nach response_code und response_flags. Eine Abfrage, und aus „irgendwas hängt” wird „Service A zu Service B, 503, Flag UF”. Genau der Flag aus der letzten Folge, jetzt nicht im Log eines einzelnen Pods, sondern über den ganzen Mesh sichtbar.

Bei mehreren Hops kommt der Trace dazu. Die Span-Kette zeigt den Hop, an dem die Latenz explodiert oder der Call abreißt. Hier liegt die Falle: Istio erzeugt die Spans, weiterreichen müssen die Trace-Header die Services selbst. Ein Dienst, der den Header verschluckt, und die Kette reißt. Dann hast du lückenlose Dashboards mit einer Lücke genau dort, wo es wehtut.

Kiali macht daraus ein Bild. Der Graph zeigt die rote Kante, an der der Traffic kippt. Aus drei Buchstaben wird eine Topologie.

Der Punkt ist nicht das Werkzeug. Prometheus, Kiali und Tracing liegen in den meisten Istio-Setups längst bei. Was fehlt, ist die Entscheidung, welche Frage ihr im Ernstfall beantworten können müsst, und dass das Weiterreichen der Trace-Header für jeden Service verbindlich ist statt optional.

Welche Signale wir im Ernstfall wirklich brauchen, und dass jeder Service die Trace-Header verbindlich weiterreicht: genau das lege ich in Assessments als Erstes fest. Nicht weil das Dashboard fehlt. Weil es die falsche Frage beantwortet.

Ein grünes Dashboard ist kein Beleg, dass es läuft. Es ist ein Beleg, dass keiner die richtige Frage misst.

Welches Signal hat euch im letzten Incident wirklich den sterbenden Hop verraten? Und welches grüne Dashboard hat euch dabei angeschwiegen?