Review
Was hat sich durch unsere KI-Integration verändert, was haben wir gelernt und wie können wir dieses Wissen für künftige Projekte nutzen?
Wir dokumentieren den neuen Workflow, werten das Projekt aus und übertragen wichtige Erfahrungen in verbesserte Standards und Templates.
Mit diesem Schritt starten →In diesem Schritt · Inhaltsverzeichnis
Wir sichern die Ergebnisse unserer KI-Integration
Unsere KI-Lösung ist entwickelt, eingeführt und im realen Workflow ausreichend stabilisiert.
Die Mitarbeitenden können damit arbeiten. Die notwendigen Kontrollen funktionieren. Verantwortlichkeiten für den weiteren Betrieb sind geklärt.
Damit haben wir einen wichtigen Meilenstein erreicht.
Aber unser Integrationsprojekt ist noch nicht vollständig abgeschlossen.
Denn durch die Einführung von KI hat sich unsere Arbeitsweise verändert.
KI übernimmt bestimmte Informationsaufgaben. Mitarbeitende prüfen Ergebnisse, bearbeiten Ausnahmen und treffen Entscheidungen. Daten werden anders verarbeitet, Informationen anders bereitgestellt und Aktivitäten möglicherweise früher ausgeführt.
Auch während des Projekts haben wir viel gelernt.
Manche unserer Annahmen haben sich bestätigt. Andere mussten wir korrigieren. Bestimmte Vorgehensweisen waren besonders hilfreich, andere haben unnötig Zeit oder Aufwand verursacht.
Wenn wir diese Erfahrungen nicht festhalten, verlieren wir einen wichtigen Teil des Projekterfolgs.
Deshalb revidieren wir am Ende von MASTER unsere vorhandenen Arbeitsgrundlagen.
Wir betrachten drei Ebenen:
1. Den Workflow: Wie funktioniert der Geschäftsablauf jetzt mit KI?
2. Das Projekt: Was haben wir bei der Integration gelernt?
3. Unser Integrations-Handbuch: Was sollten wir bei künftigen KI-Projekten besser machen?
Dabei lautet unser Grundsatz:
Ein KI-Projekt ist erst dann richtig abgeschlossen, wenn wir den neuen Workflow dokumentiert und die übertragbaren Erfahrungen für weitere Projekte nutzbar gemacht haben.
Was wir am Ende haben
Wir verfügen über drei Ergebnisse.
Ein aktualisiertes Workflow-Handbuch
Es beschreibt die tatsächliche Arbeitsweise nach der KI-Integration.
Wir wissen, wo KI eingesetzt wird, welche Informationen sie verarbeitet, welche Aufgaben Menschen übernehmen und wie Kontrollen, Ausnahmen und Übergaben funktionieren.
Einen strukturierten Projekt-Review
Wir haben festgehalten, was im Projekt besonders gut funktioniert hat, wo Schwierigkeiten entstanden sind und was wir beim nächsten Mal anders machen würden.
Die wichtigsten Erfahrungen sind nachvollziehbar dokumentiert.
Ein verbessertes KI-Integrations-Handbuch
Wir haben geprüft, welche Erkenntnisse auch für andere KI-Projekte nützlich sind.
Daraus leiten wir konkrete Änderungen an unseren Methoden, Templates, Checklisten oder Arbeitsweisen ab.
Das nächste Projekt kann dadurch auf den Erfahrungen des abgeschlossenen Projekts aufbauen.
Wir schreiben dafür keine umfangreichen Abschlussberichte.
Wir aktualisieren die vorhandenen Informationen und dokumentieren nur die Erkenntnisse und Änderungen, die tatsächlich relevant sind.
Was wir dafür brauchen
Wir verwenden die Ergebnisse aus dem bisherigen Integrationsprojekt.
Ist-Workflow-Modell aus M: Wie haben wir vor der KI-Integration gearbeitet?
CORDS- und KI-Anforderungsprofil aus S: Welche Informationsleistung sollte KI übernehmen?
Testergebnisse aus T: Welche Fähigkeiten und Grenzen wurden festgestellt?
Development Card und Execution & Go-Live Card aus E: Welche Lösung wurde tatsächlich umgesetzt, welche Probleme sind im Betrieb aufgetreten und wie wurden sie gelöst?
Reale Leistungsergebnisse: Welche Verbesserungen haben wir bisher beobachtet?
Außerdem benötigen wir die Erfahrungen der Mitarbeitenden, der fachlich Verantwortlichen und gegebenenfalls der beteiligten IT- oder KI-Partner.
Unser Ausgangspunkt sind die vorhandenen Informationen.
Wir erfassen nicht noch einmal das gesamte Projekt. Wir betrachten die Veränderungen und die daraus gewonnenen Erkenntnisse.
So gehen wir vor
Wir arbeiten in drei Schritten.
Schritt 1 – Wir dokumentieren den neuen Workflow
Wie funktioniert unser Geschäftsablauf jetzt tatsächlich?
Zu Beginn von MASTER haben wir den Ist-Workflow modelliert.
Jetzt gibt es einen neuen Zustand.
Wir öffnen deshalb das vorhandene Workflow-Modell und prüfen, was sich durch die KI-Integration verändert hat.
Dabei interessieren uns insbesondere folgende Fragen.
KI-Einsatz
Wo arbeitet KI heute tatsächlich und welche Informationsaufgabe übernimmt sie?
Inputs und Outputs
Welche Daten und Informationen erhält KI? Welche Ergebnisse liefert sie und wohin werden diese übergeben?
Menschliche Aufgaben
Welche Arbeiten übernehmen unsere Mitarbeitenden weiterhin? Welche neuen Aufgaben sind hinzugekommen?
Entscheidungen
Wer trifft die Entscheidungen, die durch KI vorbereitet oder unterstützt werden?
Kontrollen
Wie prüfen wir KI-Ergebnisse? Welche Qualitätsanforderungen und Freigaben gelten?
Ausnahmen und Fehler
Was geschieht, wenn KI falsche, unvollständige oder widersprüchliche Informationen liefert? Wann greifen Menschen ein?
Verantwortlichkeiten
Wer ist für die fachliche Arbeit, die Daten, die KI-Lösung und den laufenden Betrieb verantwortlich?
Wir übernehmen diese Informationen soweit möglich aus den vorhandenen Profilen und der Execution & Go-Live Card.
Anschließend aktualisieren wir die betreffenden Etappen und Mini-Workflows.
Dabei gilt:
Wir ändern nur das, was sich tatsächlich verändert hat.
Wir müssen nicht den gesamten Geschäftsablauf neu modellieren.
Wir aktualisieren die relevanten Teile und erhalten damit ein neues, gültiges Workflow-Modell.
Die bisherige Ist-Version bleibt als nachvollziehbarer Ausgangszustand erhalten.
Wir prüfen das aktualisierte Modell
Der Head of AI spricht gezielt mit den Mitarbeitenden, die den neuen Workflow verwenden.
Wir fragen:
Ist die Darstellung vollständig genug, damit ein neuer Mitarbeiter verstehen kann, wie diese Arbeit heute funktioniert?
Wir prüfen insbesondere, ob Aufgaben, Übergaben, Kontrollen und Ausnahmefälle verständlich sind.
Falls Unterschiede zwischen dem dokumentierten und dem tatsächlichen Ablauf bestehen, korrigieren wir sie.
Der zuständige Workflow-Verantwortliche bestätigt die neue Arbeitsweise.
Anschließend wird die aktuelle Fassung im Workflow-Handbuch bereitgestellt.
Unser Ergebnis lautet: So arbeiten wir jetzt.
Schritt 2 – Wir werten das Integrationsprojekt aus
Was haben wir gelernt, das uns beim nächsten Projekt helfen könnte?
Jetzt betrachten wir nicht mehr nur den Geschäftsablauf.
Wir untersuchen, wie das Integrationsprojekt selbst verlaufen ist.
Dazu reichen zunächst drei Fragen:
Was hat uns unnötig Zeit oder Aufwand gekostet?
Was hat besonders gut funktioniert oder uns positiv überrascht?
Was würden wir beim nächsten KI-Projekt anders machen?
Wir betrachten Erfahrungen aus allen MASTER-Schritten.
Vielleicht war die Workflow-Modellierung besonders hilfreich.
Vielleicht haben wir wichtige Informationsregeln erst spät erkannt.
Vielleicht waren bestimmte KI-Tests sehr aussagekräftig.
Vielleicht hat die frühe Beteiligung der Mitarbeitenden die Einführung erheblich erleichtert.
Oder wir haben festgestellt, dass eine kleinere KI-Aufgabe deutlich besser funktioniert als die ursprünglich vorgesehene umfangreiche Delegation.
Wir halten die wichtigsten Erkenntnisse fest.
Dabei interessieren uns ausdrücklich auch erfolgreiche Vorgehensweisen.
Wir wollen nicht nur Fehler vermeiden. Wir wollen wiederholen können, was gut funktioniert hat.
Wir unterscheiden drei Arten von Erkenntnissen
Nicht jede Erfahrung muss zu einer neuen allgemeinen Regel werden.
Deshalb ordnen wir die Ergebnisse ein.
Workflow-spezifisch
Die Erkenntnis betrifft nur den konkreten Geschäftsablauf.
Beispielsweise: Eine bestimmte Lieferanteninformation muss künftig zusätzlich geprüft werden.
Diese Erkenntnis gehört in die Dokumentation des betreffenden Workflows.
Projektübergreifend
Die Erkenntnis könnte auch bei anderen KI-Integrationen helfen.
Beispielsweise: Bereits bekannte Referenzfälle sind für die frühe Prüfung einer KI-Aufgabe besonders wertvoll.
Diese Erkenntnis betrachten wir im nächsten Schritt für unser Integrations-Handbuch.
Einzelfall
Die Erfahrung war für unser Projekt wichtig, besitzt aber keine erkennbare allgemeine Bedeutung.
Wir können sie im Projekt-Review dokumentieren, ohne daraus eine neue Regel abzuleiten.
Wir priorisieren die wenigen Erkenntnisse, die voraussichtlich einen echten Unterschied machen.
Eine kurze Liste relevanter Erfahrungen ist wertvoller als eine umfangreiche Sammlung ohne erkennbare Konsequenzen.
Schritt 3 – Wir verbessern unser KI-Integrations-Handbuch
Welche konkrete Änderung würde uns beim nächsten KI-Projekt helfen?
Jetzt betrachten wir die projektübergreifenden Erkenntnisse.
Unser Ziel ist nicht, möglichst viele zusätzliche Seiten ins Handbuch zu schreiben.
Wir wollen unsere Arbeitsweise gezielt verbessern.
Deshalb fragen wir bei jeder übertragbaren Erkenntnis:
Welche bestehende Methode, Vorlage, Checkliste oder Arbeitsregel sollten wir aufgrund dieser Erfahrung ändern?
Wir ordnen die Erkenntnis dem passenden MASTER-Schritt zu.
M – Modellieren
Wie können wir reale Workflows und informelle Arbeit künftig besser erfassen?
A – Analysieren
Wie können wir die Auswirkungen von Informationsengpässen besser verstehen?
S – Spezifizieren
Welche Anforderungen sollten wir früher oder genauer beschreiben?
T – Testen
Welche Testfälle oder Prüfmethoden waren besonders aussagekräftig?
E – Entwickeln und Einführen
Was hat die technische Entwicklung, den Go-Live oder die Stabilisierung erleichtert?
R – Revidieren
Wie können wir die Projektauswertung und die Sicherung unserer Erfahrungen verbessern?
Wir betrachten immer zuerst die vorhandene Arbeitsgrundlage.
Wenn bereits ein Template existiert, verbessern wir dieses Template.
Wir erstellen kein neues Formular, wenn ein vorhandenes ergänzt werden kann.
Aus Erfahrungen werden konkrete Verbesserungen
Ein Beispiel:
Unsere Erfahrung: Bei der Entwicklung fehlten bekannte Referenzfälle. Wir mussten sie später mühsam beschaffen.
Unsere Konsequenz: Im CORDS-Profil aus S wird künftig früher darauf geachtet, ob geeignete Referenzfälle und bekannte Ergebnisse verfügbar sind.
Oder:
Unsere Erfahrung: Die Verantwortung für die Qualitätsprüfung war beim Go-Live nicht ausreichend klar.
Unsere Konsequenz: Wir präzisieren in der Execution & Go-Live Card, dass die fachliche Qualitätsverantwortung vor dem produktiven Einsatz bestätigt sein muss.
Entscheidend ist die Veränderung unserer zukünftigen Arbeit.
Ein Lesson Learned ist erst dann wirklich wirksam, wenn wir daraus eine konkrete Verbesserung machen.
Wir halten Änderungen nachvollziehbar fest
Für jede beschlossene Verbesserung dokumentieren wir:
- welche Erkenntnis zugrunde liegt,
- welche Arbeitsgrundlage betroffen ist,
- was wir konkret ändern,
- wer die Änderung verantwortet,
und ab welcher Fassung sie gilt.
Das KI-Integrations-Handbuch benötigt dafür einen verantwortlichen Owner.
Im Regelfall liegt die Koordination beim Head of AI.
Er kann die Aktualisierungen selbst durchführen oder ihre Umsetzung organisieren.
Fachliche Änderungen werden bei Bedarf mit den zuständigen Verantwortlichen abgestimmt.
Wir brauchen dafür kein großes Gremium.
Wir machen das Handbuch mit jedem Projekt etwas besser, ohne es unnötig komplizierter zu machen.
Der Head of AI führt den Review
Der Head of AI ist auch in R der zentrale Bearbeiter.
Er verwendet die vorhandenen Projektinformationen, aktualisiert gemeinsam mit dem Fachbereich das Workflow-Modell und sammelt die wichtigsten Erfahrungen.
Dafür muss er nicht alle Beteiligten gleichzeitig versammeln.
Er kann zunächst die bestehenden Ergebnisse auswerten und anschließend wenige gezielte Gespräche führen.
Der Workflow-Verantwortliche bestätigt die Beschreibung der neuen fachlichen Arbeitsweise.
Technische Erfahrungen klärt der Head of AI bei Bedarf mit IT oder dem KI-Partner.
Anschließend entscheidet er im Rahmen seiner Verantwortung, welche übertragbaren Erkenntnisse zur Verbesserung der Integrationsmethodik vorgeschlagen werden.
Notwendige Änderungen lässt er durch den zuständigen Owner des Integrations-Handbuchs übernehmen.
Der Head of AI ist der Autor des Reviews und der Koordinator der Verbesserungen. Die jeweils zuständigen Personen bestätigen die fachlichen und technischen Inhalte.
Beispiel: Schokofino
Schokofino hat eine KI-Lösung zur Vorauswahl geeigneter Zutaten und Lieferanten eingeführt.
Die Lösung wird im realen Workflow verwendet und arbeitet ausreichend zuverlässig.
Jetzt schließen wir das Integrationsprojekt mit einem Review ab.
Schritt 1 – Wir dokumentieren den neuen Workflow
Vor der KI-Integration mussten die Einkäufer Informationen aus unterschiedlichen Quellen manuell suchen, vergleichen und zusammenführen.
Heute übernimmt KI einen großen Teil dieser Informationsarbeit.
Sie erzeugt eine strukturierte Shortlist geeigneter Kandidaten.
Die Einkäufer prüfen die Angaben, beurteilen besondere Fälle und entscheiden, welche Lieferanten weiterverfolgt werden.
Wir aktualisieren deshalb das vorhandene Workflow-Modell.
Darin halten wir fest:
KI übernimmt: Informationsbeschaffung, Zusammenführung, Vergleich und Vorauswahl.
Einkauf übernimmt: Plausibilitätsprüfung, fachliche Beurteilung, Auswahl und Verhandlung.
Kontrollen: Quellenprüfung, Ausschlusskriterien und Behandlung unklarer Ergebnisse.
Ausnahmen: Bei besonderen Qualitätsanforderungen wird ein erfahrener Einkäufer einbezogen.
Das neue Workflow-Modell wird durch den zuständigen Fachbereich bestätigt.
Schritt 2 – Wir werten das Projekt aus
Der Head of AI spricht mit den wichtigsten Beteiligten und prüft die Projektergebnisse.
Dabei entstehen vier Erkenntnisse.
1. Auswahlregeln waren teilweise nicht ausreichend dokumentiert.
Das verursachte zusätzliche Rückfragen während der Entwicklung.
2. Bekannte Referenzfälle waren für die KI-Tests besonders hilfreich.
Mit ihnen konnten wir Fehlentscheidungen und Qualitätsprobleme früh erkennen.
3. Eine kleinere KI-Aufgabe erwies sich als sinnvoller.
Die Vorauswahl funktionierte ausreichend gut, während die endgültige fachliche Auswahl bei den Mitarbeitenden bleiben sollte.
4. Die frühe Beteiligung der Einkäufer erleichterte die Einführung.
Die Mitarbeitenden kannten die KI-Lösung bereits und konnten ihre Ergebnisse besser einordnen.
Wir prüfen nun, welche dieser Erkenntnisse für weitere Projekte besonders relevant sind.
Schritt 3 – Wir verbessern unser Integrations-Handbuch
Wir wählen zwei übertragbare Erkenntnisse aus.
Erkenntnis 1: Geeignete Referenzfälle frühzeitig bereitstellen.
Wir ergänzen die Arbeitsanleitung für S – Spezifizieren: Bereits bei der Erstellung des CORDS-Profils klären wir, welche realen Fälle mit bekannten Ergebnissen für die späteren KI-Tests verfügbar sind.
Erkenntnis 2: Implizite Auswahlregeln früher klären.
Wir verbessern die Leitfragen im CORDS-Profil zu Rules.
Künftig fragen wir dort gezielter nach den Kriterien, die erfahrene Mitarbeitende bei Sonderfällen und Ausschlüssen verwenden.
Der Head of AI organisiert die Änderungen am vorhandenen Template und dokumentiert die neue Fassung.
Damit profitieren spätere Projekte unmittelbar von den Erfahrungen aus Schokofino.
Wann ist unser Ergebnis gut genug?
Wir können R abschließen, wenn:
- der neue, tatsächlich verwendete Workflow ausreichend genau dokumentiert ist,
- KI-Aufgaben, menschliche Tätigkeiten, Kontrollen und Ausnahmen nachvollziehbar sind,
- der zuständige Workflow-Verantwortliche die neue Arbeitsweise bestätigt hat,
- die wichtigsten Erfahrungen aus dem Projekt festgehalten wurden,
- wir zwischen workflow-spezifischen, projektübergreifenden und einmaligen Erkenntnissen unterschieden haben,
- übertragbare Erkenntnisse auf konkrete Verbesserungen geprüft wurden,
- beschlossene Änderungen am Integrations-Handbuch umgesetzt oder verbindlich zugeordnet sind,
und die weitere Verantwortung für Workflow-Dokumentation und Integrations-Handbuch geklärt ist.
Unsere zentrale Prüffrage lautet:
Was können wir beim nächsten KI-Projekt konkret besser machen, weil wir dieses Projekt durchgeführt haben?
Wenn wir darauf eine nachvollziehbare Antwort geben und die entsprechenden Änderungen in unseren Arbeitsgrundlagen wiederfinden können, hat R seinen Zweck erfüllt.
Typische Fehler, die wir vermeiden
Wir dokumentieren nur die technische Lösung
Eine KI-Lösung funktioniert nicht unabhängig vom Geschäftsablauf.
Wir dokumentieren deshalb auch menschliche Aufgaben, Entscheidungen, Übergaben, Kontrollen und Ausnahmefälle.
Wir erstellen eine zweite Workflow-Dokumentation
Das neue Modell soll nicht unabhängig neben der bisherigen Dokumentation stehen.
Wir aktualisieren die vorhandenen Workflow-Informationen und halten die frühere Fassung als historischen Ausgangspunkt nachvollziehbar.
Wir warten zu lange mit dem Review
Viele wichtige Erfahrungen sind unmittelbar nach der Stabilisierung besonders präsent.
Wir sollten sie sichern, bevor sie verloren gehen.
Wir sammeln nur Probleme
Auch erfolgreiche Vorgehensweisen sind wertvoll.
Wir dokumentieren, was wir künftig wiederholen möchten.
Wir halten jede Kleinigkeit für eine allgemeine Erkenntnis
Nicht jede Besonderheit eines Projekts gehört in einen Unternehmensstandard.
Wir konzentrieren uns auf Erfahrungen, die auch anderen Projekten tatsächlich helfen können.
Wir dokumentieren Lessons Learned, ohne etwas zu ändern
Eine Erfahrungssammlung allein verbessert noch keine zukünftige Arbeit.
Wir leiten konkrete Änderungen an Methoden, Templates, Regeln oder Arbeitsweisen ab.
Wir schaffen für jede Erfahrung neue Templates
Das würde unser Integrations-Handbuch immer komplexer machen.
Wir verbessern zuerst die vorhandenen Arbeitsgrundlagen und ergänzen nur, was tatsächlich fehlt.
Wir formulieren Änderungen zu allgemein
„Fachbereich früher beteiligen“ ist eine Erkenntnis, aber noch keine klare Arbeitsanweisung.
Besser ist beispielsweise: „Bei der Spezifikation des Outputs lassen wir den zuständigen Anwender einen realen Beispieloutput beurteilen.“
Wir machen niemanden für das Integrations-Handbuch verantwortlich
Ohne klaren Owner bleiben Verbesserungen liegen oder werden später nicht gepflegt.
Wir verwechseln Projektabschluss mit Ende der Verantwortung
R schließt das Integrationsprojekt ab.
Der laufende Betrieb, die Qualitätskontrolle und die kontinuierliche Verbesserung des KI-gestützten Workflows gehen selbstverständlich weiter.
Diese Aufgaben gehören zu den dafür vorgesehenen betrieblichen Verantwortlichkeiten.
Unser Ergebnis
Am Ende von R haben wir drei Dinge erreicht.
Wir haben den neuen Workflow dokumentiert.
Unsere Mitarbeitenden können nachvollziehen, wie die Arbeit nach der KI-Integration tatsächlich funktioniert.
Wir haben das Projekt ausgewertet.
Die wichtigsten positiven und negativen Erfahrungen sind gesichert.
Wir haben unsere Integrationsmethodik verbessert.
Übertragbare Erkenntnisse sind in konkrete Anpassungen unserer Arbeitsgrundlagen eingeflossen.
Damit ist das MASTER-Integrationsprojekt abgeschlossen.
Wir haben nicht nur eine KI-Lösung integriert. Wir haben zugleich gelernt, wie wir zukünftige KI-Integrationen besser durchführen können.
Die laufende Kontrolle unserer KI-Lösung und ihre kontinuierliche Verbesserung setzen wir anschließend im regulären Betrieb fort.
Unsere Templates für Schritt R
Wir verwenden die Ergebnisse des Business Case und die bereits bestehenden Profile weiter. Die Vorlagen dienen der Vertiefung und Dokumentation dieses MASTER-Schritts, nicht einer doppelten Datenerfassung.
Workflow & Project Review
Wir dokumentieren den neuen Workflow und werten Projekterfahrungen strukturiert aus.
KI-Integrations-Handbuch Update
Wir setzen übertragbare Projekterfahrungen als konkrete Änderungen an MASTER-Arbeitsgrundlagen um.
Von der Integration in den regulären Betrieb
Wir haben den neuen Workflow dokumentiert und die wichtigsten Erkenntnisse gesichert. Weitere KI-Projekte können auf diesen Erfahrungen aufbauen.
Zur MASTER-Übersicht →