Fehlende Daten sind keine schlechte Leistung

Bevor man ein Engineering-Team bittet, einen niedrigen Score zu erklären, sollte man prüfen, ob die Scorecard genug Evidenz hatte, um dessen Arbeit zu bewerten. Ein Gesamtergebnis kann autoritativ wirken, selbst wenn wichtige Teile des Bildes fehlen. Werden diese Lücken als schlechte Leistung gewertet, muss das Team sich für die Grenzen der Messung rechtfertigen.

Ein niedriges Ergebnis, das durch gute Evidenz gestützt wird, kann einen genaueren Blick auf die Arbeitsweise des Teams rechtfertigen. Fehlende Evidenz erfordert einen anderen nächsten Schritt: die Lücke verstehen, bevor man eine Schlussfolgerung über die Leistung zieht. Diese Unterscheidung sollte sichtbar sein, bevor der Score ein Führungsmeeting erreicht.

Mit dem beginnen, was tatsächlich bekannt ist

Betrachten wir ein hypothetisches Team, dessen Scorecard Delivery, Qualität und Incident Recovery umfasst. Es gibt nützliche Evidenz zu Delivery und Qualität, aber keine verwertbaren Recovery-Daten für den Zeitraum. Vielleicht wurde die Incident-Quelle nicht verbunden. Vielleicht hatte das Team keine qualifizierenden Incidents. Diese Situationen erfordern unterschiedliche Erklärungen, und keine davon liefert uns eine gemessene Recovery-Zeit.

Wenn die Scorecard eine Null für Recovery einsetzt, fällt das Gesamtergebnis des Teams wegen etwas, das wir nicht bewerten konnten. Eine Führungskraft könnte das Team bitten, seinen Recovery-Prozess zu verbessern, ohne zunächst festzustellen, dass es damit ein Problem gibt. Das Dashboard hat eine Lücke in seiner eigenen Evidenz in Arbeit für jemand anderen verwandelt.

Die nicht verfügbare Dimension wegzulassen vermeidet diesen speziellen Fehler. Aber der verbleibende Score braucht trotzdem Kontext. Er beschreibt die Dimensionen, die wir bewerten konnten. Wenn nächsten Monat Recovery-Evidenz verfügbar wird, kann sich der Gesamtscore teilweise ändern, weil die Bewertung nun mehr von der Arbeit des Teams abdeckt. Diese Bewegung als Verbesserung oder Rückgang zu lesen, ohne die Abdeckung zu prüfen, würde eine weitere irreführende Schlussfolgerung erzeugen.

Abdeckung gehört neben das Ergebnis

Eine nützliche Scorecard sollte ihre Grenzen leicht erkennbar machen. Die Abdeckung sagt uns, welche Dimensionen, Teams und Zeiträume repräsentiert sind. Confidence hilft uns zu beurteilen, wie viel Gewicht wir auf die Bewertung legen sollten. Die Stärke der Evidenz sollte die Stärke der Schlussfolgerung beeinflussen.

Das bedeutet, nicht verfügbare Dimensionen als nicht verfügbar sichtbar zu machen, wo möglich zu erklären warum, und genug Kontext zu zeigen, um zu verstehen, was in das Gesamtergebnis eingeflossen ist. Der Leser sollte nicht die Methodik rekonstruieren müssen, um diese Grenzen zu entdecken.

Es bedeutet auch, bei Vergleichen vorsichtig zu sein. Zwei Teams können dasselbe Gesamtergebnis haben, während sehr unterschiedliche Evidenz dahintersteht. Eines mag breite Abdeckung über die Bewertung hinweg haben. Ein anderes mag eine nützliche Sicht auf Delivery und sehr wenig Sichtbarkeit anderswo haben. Ein Ranking verbirgt diesen Unterschied und fördert ein Maß an Gewissheit, das die Evidenz nicht stützt.

Den Score zum Team zurückbringen

Wenn man das Ergebnis mit dem Team bespricht, sollte man Raum lassen, damit es die Arbeit erklären kann, die es repräsentiert.

Einige nützliche Fragen sind unkompliziert: Spiegelt dies die Arbeit wider, die ihr erledigen wolltet? Welche wichtige Arbeit fehlt? Hat sich etwas daran geändert, wie die Daten erfasst werden? Gibt es hier genug Evidenz, um eine Verbesserung zu wählen, oder müssen wir zuerst untersuchen?

Die Antworten können den nächsten Schritt ändern. Ein Team kann ein echtes Problem identifizieren, wie Arbeit durch Review läuft, oder erklären, dass ein großer Teil der Arbeit außerhalb der verbundenen Quellen liegt. Dieser Kontext hilft der Führungskraft herauszufinden, ob es eine Verbesserung zu machen gibt, anstatt in einer Diskussion darüber steckenzubleiben, ob sich die Zahl fair anfühlt.

In diesem Ansatz gibt es trotzdem Verantwortung. Wo die Evidenz ein Anliegen stützt, einigt man sich auf das Problem, wählt eine Aktion und entscheidet, wie man das Ergebnis überprüft. Wo die Abdeckung schwach ist, entscheidet man, ob das Schließen der Lücke eine tatsächliche Entscheidung verbessern würde. Mehr Daten zu sammeln hat Kosten, und ein vollständigeres Dashboard ist nicht automatisch diese Kosten wert.

Den Zweck der Scorecard klar halten

Dies ist Teil des Denkens hinter Simyl Flow. Dimensionen mit fehlenden oder Null-Confidence-Daten werden von der Effektivitätsberechnung auf Organisationsebene ausgeschlossen, anstatt als Null gezählt zu werden. Die verfügbaren Dimensionen tragen zum Ergebnis bei. Das verhindert, dass fehlende Evidenz mechanisch den Score einer Organisation senkt, während eine wichtige Verantwortung bei jedem bleibt, der ihn interpretiert: verstehen, was das Ergebnis repräsentiert.

Der Zweck ist, Teams zu helfen, Ergebnisse zu verbessern, und Führungskräften zu helfen, bessere Coaching-Gespräche zu führen. Aktivität kann Kontext liefern, aber eine Anzahl von Commits, Tickets oder Kommentaren kann nicht allein feststellen, ob ein Team erreicht hat, was wichtig war. Unvollständige Signale in ein Ranking von Mitarbeitern zu verwandeln, führt die Bewertung weiter, als die Evidenz stützen kann.

Eine nützliche Scorecard sollte dem Team helfen, sich darauf zu einigen, was als Nächstes zu tun ist. Wenn die Evidenz unvollständig ist, kann das Verstehen der Lücke der richtige erste Schritt sein. Diese Unsicherheit sichtbar zu halten, macht es einfacher, auf die Erkenntnisse zu reagieren, die stark genug sind, um eine Entscheidung zu stützen.