Testen

Wir überprüfen unsere geplante KI-Integration in der Praxis

Unser AI Business Case ist genehmigt.

Wir wissen, welches Business-Ziel wir erreichen wollen, welchen Bottleneck wir reduzieren möchten und welche Aufgabe KI dabei übernehmen soll.

In den bisherigen MASTER-Schritten haben wir die konkrete Integration vorbereitet.

M – Modellieren: Wir haben den realen Workflow und seine wichtigen Mini-Workflows sichtbar gemacht.

A – Analysieren: Wir haben die relevanten Informationsengpässe und ihre Auswirkungen auf Entscheidungen und nachfolgende Aktivitäten untersucht.

S – Spezifizieren: Wir haben mit CORDS den Informationsbedarf präzisiert und daraus konkrete Anforderungen an die KI-Leistung abgeleitet.

Jetzt verfügen wir über eine ausreichend genaue Beschreibung dessen, was die KI-Lösung leisten soll.

Aber eine gute Spezifikation ist noch kein Nachweis, dass das Vorhaben unter unseren tatsächlichen Bedingungen funktionieren wird.

Deshalb testen wir jetzt.

Wir prüfen zwei Seiten unserer geplanten Integration.

Erstens: Kann KI die benötigte Informationsleistung tatsächlich erbringen?

Zweitens: Können wir in unserem Unternehmen die Voraussetzungen schaffen, damit diese Leistung im realen Workflow genutzt werden kann?

Wir wollen möglichst früh erkennen, was funktioniert, was nicht funktioniert und welche Anpassungen erforderlich sind.

Dabei brauchen wir noch keinen fertigen KI-Agenten, keine vollständige Systemintegration und in der Regel auch keinen umfangreichen Piloten.

Wir konzentrieren uns auf kleine, aussagekräftige Tests und konkrete organisatorische Klärungen.

Unser Ziel ist, mit möglichst geringem Aufwand ausreichend Sicherheit für die weitere Entwicklung zu gewinnen.

Was wir am Ende haben

Am Ende von T verfügen wir über drei Ergebnisse.

Einen KI-Testbericht

Er zeigt, welche Informationsleistung wir getestet haben, welche Ergebnisse KI tatsächlich geliefert hat und welche Anforderungen erfüllt wurden.

Wir kennen wichtige Fehler, Grenzen und Ausnahmen.

Vor allem wissen wir besser, welche abgegrenzte Informationsarbeit KI zuverlässig genug übernehmen könnte.

Eine Prüfung der Umsetzungsvoraussetzungen

Wir wissen, welche benötigten Voraussetzungen bereits vorhanden sind, welche wir schaffen müssen und welche Punkte noch kritisch oder ungeklärt sind.

Für notwendige Arbeiten kennen wir die zuständigen Verantwortlichen und die nächsten Termine.

Einen angepassten Integrationsplan

Wir haben die Testergebnisse in unsere weitere Projektplanung übernommen.

Für jeden vorgesehenen KI-Einsatzpunkt ist erkennbar, ob wir die Lösung wie geplant entwickeln, ihren Aufgabenumfang anpassen oder die Umsetzung zunächst zurückstellen.

Damit gehen wir nicht mit einem unveränderten Wunschplan in die Entwicklung.

Wir entwickeln die KI-Lösung auf Grundlage dessen, was sich im Test als sinnvoll und realisierbar erwiesen hat.

Was wir dafür brauchen

Unsere wichtigsten Grundlagen sind:

Das CORDS-Profil aus S: Welche Information wird benötigt, aus welchen Daten und Quellen entsteht sie und welche Regeln gelten?

Das KI-Anforderungsprofil aus S: Was soll KI konkret tun, welchen Input benötigt sie, welchen Output soll sie liefern und welche Qualitätsanforderungen muss sie erfüllen?

Die vorhandene Projektskizze aus E: Welche wesentlichen Arbeiten und Voraussetzungen wurden bereits für die Integration vorgesehen?

Außerdem benötigen wir geeignete Testdaten und konkrete Anwendungsfälle.

Besonders wertvoll sind abgeschlossene Fälle, deren Ergebnis bereits bekannt ist.

Dann können wir den KI-Output mit dem Ergebnis vergleichen, das unsere erfahrenen Mitarbeitenden tatsächlich erzielt haben.

Wir benötigen außerdem eine geeignete KI-Testumgebung und die Möglichkeit, die Ergebnisse fachlich beurteilen zu lassen.

Bevor wir reale Unternehmensdaten einsetzen, stellen wir sicher, dass ihre Verwendung in der gewählten Testumgebung zulässig und ausreichend geschützt ist.

Der Head of AI koordiniert diese Arbeit. Bei Bedarf zieht er einen KI-Partner, IT-Verantwortliche oder die zuständigen Fachleute hinzu.

So gehen wir vor

Wir arbeiten in drei Schritten:

Schritt 1 – KI-Leistung testen

Schritt 2 – Umsetzungsvoraussetzungen prüfen

Schritt 3 – Entscheiden und Integrationsplan anpassen

Die Schritte bauen methodisch aufeinander auf. Einzelne Voraussetzungen für einen sicheren Test müssen wir selbstverständlich schon vor dem Test klären.

Schritt 1 – Wir testen die KI-Leistung

Kann KI die spezifizierte Informationsaufgabe in der benötigten Qualität erfüllen?

Wir wählen eine konkrete KI-Aufgabe aus unserem Anforderungsprofil.

Beispielsweise:

„Aus einer bekannten Menge möglicher Lieferanten anhand festgelegter Kriterien eine geeignete Vorauswahl erstellen.“

Diese Aufgabe testen wir zunächst in einem möglichst einfachen und überschaubaren Rahmen.

Wir bereiten einen aussagekräftigen Test vor

Wir verwenden das CORDS-Profil als Grundlage.

Daraus übernehmen wir:

• den Kontext der Informationsaufgabe,
• die erforderlichen Daten und Quellen,
• die Verarbeitungsregeln,
• den erwarteten Output,

die Qualitätsanforderungen.

Wir wählen geeignete Beispiele aus der Praxis.

Wenn möglich, verwenden wir abgeschlossene Fälle mit bekannten Ergebnissen.

Ein Test muss nicht umfangreich sein.

Aber er muss die spätere Informationsarbeit ausreichend realistisch abbilden.

Eine beeindruckende Demonstration mit frei erfundenen Beispieldaten genügt dafür nicht.

Wir lassen KI die Aufgabe bearbeiten

Wir stellen der KI die vorgesehenen Informationen und Regeln zur Verfügung und lassen sie den gewünschten Output erzeugen.

Wir dokumentieren, welche Inputs und Anweisungen verwendet wurden.

Anschließend vergleichen wir den tatsächlichen Output mit unseren Anforderungen.

Dabei betrachten wir insbesondere fünf Qualitätsmerkmale.

Relevanz: Hat KI die Informationen geliefert, die für die Entscheidung tatsächlich benötigt werden?

Richtigkeit: Sind die wesentlichen Angaben korrekt?

Vollständigkeit: Sind alle notwendigen Informationen berücksichtigt?

Rechtzeitigkeit: Liegt der Output innerhalb der benötigten Zeit vor?

Eindeutigkeit: Können unsere Mitarbeitenden das Ergebnis verstehen und sinnvoll verwenden?

Wir achten außerdem auf die Nachvollziehbarkeit von Quellen, die Einhaltung verbindlicher Regeln und den verbleibenden menschlichen Prüfaufwand.

Entscheidend ist nicht, ob der KI-Output beeindruckend aussieht, sondern ob er im realen Workflow brauchbar ist.

Wir testen auch schwierige Fälle

Ein erfolgreicher Normalfall reicht nicht aus.

Deshalb betrachten wir gezielt Situationen, in denen die spätere KI-Leistung scheitern könnte.

Beispielsweise:

• unvollständige oder widersprüchliche Daten,
• ungewöhnliche Lieferanten oder Produkte,
• Sonderfälle mit zusätzlichen fachlichen Anforderungen,
• mehrdeutige Angaben,
• wichtige Ausschlusskriterien,

Fälle, in denen erfahrene Mitarbeitende heute eingreifen müssen.

Wir müssen nicht alle denkbaren Ausnahmen untersuchen.

Aber wir brauchen Beispiele, die typische und besonders kritische Risiken der konkreten Aufgabe sichtbar machen.

Wenn Ergebnisse schwanken können, betrachten wir gegebenenfalls mehrere Durchläufe.

Wir bestimmen den zuverlässigen KI-Aufgabenumfang

Jetzt stellen wir unsere wichtigste Frage:

Welche klar abgegrenzte Informationsleistung kann KI unter unseren Bedingungen ausreichend zuverlässig übernehmen?

Möglicherweise erfüllt KI bereits die gesamte spezifizierte Aufgabe.

Vielleicht zeigt der Test aber auch Grenzen.

Dann haben wir eine wichtige Möglichkeit:

Wir verkleinern den KI-Aufgabenumfang.

Vielleicht kann KI nicht zuverlässig den besten Lieferanten bestimmen.

Aber sie kann aus 1.000 möglichen Kandidaten eine strukturierte Vorauswahl von 50 geeigneten Kandidaten erstellen.

Dann übernehmen unsere erfahrenen Mitarbeitenden die weitere Prüfung und Auswahl.

Oder KI kann einen großen Teil der Informationsbeschaffung erledigen, während Menschen widersprüchliche Angaben und Ausnahmen beurteilen.

Damit kann die geplante Verbesserung weiterhin erheblich sein.

Wir passen die KI-Delegation an ihre tatsächlich brauchbare Leistung an – nicht unseren Workflow an eine unrealistische Erwartung von KI.

Dabei behalten wir die wirtschaftliche Zielsetzung im Blick.

Wenn nach der Anpassung der gesamte Zeitvorteil durch zusätzliche menschliche Kontrollen verloren geht, müssen wir die Lösung erneut betrachten.

Unser Ergebnis aus Schritt 1

Wir haben einen KI-Testbericht.

Er zeigt, welche Leistung ausreichend gut funktioniert, wo Grenzen bestehen und welche Aufgaben Menschen weiterhin übernehmen müssen.

Das ist ein belastbarer erster Leistungsnachweis für die getesteten Fälle.

Eine Garantie für den späteren Betrieb unter sämtlichen Bedingungen ist es noch nicht.

Schritt 2 – Wir prüfen die organisatorischen Voraussetzungen

Können wir die Voraussetzungen schaffen, damit die getestete KI-Leistung im realen Workflow funktioniert?

Im AI Business Case haben wir bereits grobe organisatorische Showstopper geprüft.

In E – Execution & Evaluation haben wir erste Umsetzungsvoraussetzungen und Barrieren betrachtet.

Jetzt wird die Prüfung konkreter.

Denn wir kennen inzwischen nicht nur die geplante Aufgabe, sondern auch die tatsächlichen Ergebnisse des KI-Tests.

Wir wissen dadurch genauer, welche Daten, Regeln, Zugriffe und menschlichen Kontrollen benötigt werden.

Wir betrachten deshalb ausschließlich die Voraussetzungen, die für diese konkrete KI-Leistung erforderlich sind.

Wir führen keine umfassende Organisationsanalyse durch.

Wir prüfen die notwendigen Voraussetzungen

Wir verwenden die bereits im KI-Anforderungsprofil beschriebenen Voraussetzungen.

Für jeden wichtigen Punkt fragen wir:

Ist die Voraussetzung vorhanden?

Ist sie tatsächlich nutzbar?

Reicht sie für die geplante KI-Leistung aus?

Wenn nicht: Können wir sie mit vertretbarem Aufwand schaffen?

Dabei kann es insbesondere um folgende Themen gehen:

Daten und Quellen

Können wir die benötigten Informationen dauerhaft bereitstellen und aktuell halten?

Fachliche Regeln

Sind die notwendigen Kriterien und Ausnahmen ausreichend beschrieben?

Zugriffe und Berechtigungen

Dürfen und können die benötigten Daten und Systeme verwendet werden?

Technische Integration

Sind erforderliche Schnittstellen, Systeme und Infrastrukturen vorhanden oder herstellbar?

Qualitätskontrolle

Können wir KI-Ergebnisse unter den vorgesehenen Bedingungen ausreichend prüfen?

Verantwortlichkeiten

Ist geklärt, wer die notwendigen Aufgaben übernimmt und wer später für die Ergebnisse verantwortlich ist?

Betrieb

Können wir die erforderliche Betreuung, Pflege und Überwachung organisieren?

Wir überprüfen diese Punkte nicht abstrakt, sondern immer bezogen auf die konkrete KI-Aufgabe.

Wir unterscheiden drei Ergebnisse

Vorhanden und nutzbar

Die Voraussetzung ist erfüllt und kann für die Integration verwendet werden.

Muss geschaffen werden

Die Voraussetzung fehlt noch, lässt sich aber voraussichtlich mit vertretbarem Aufwand herstellen.

Kritisch oder ungeklärt

Wir erkennen eine wesentliche Schwierigkeit oder wissen noch nicht, ob die Voraussetzung geschaffen werden kann.

Für fehlende oder kritische Voraussetzungen legen wir die notwendigen nächsten Arbeiten fest.

Wir halten kurz fest:

Was müssen wir tun? Wer ist verantwortlich? Bis wann soll es geklärt oder erledigt sein?

Diese Aufgaben übernehmen wir in die vorhandene Projektplanung.

Wir brauchen dafür keine umfangreichen Readiness-Bewertungen und keine zusätzliche Risikomatrix.

Unser Ergebnis aus Schritt 2

Wir wissen, ob die notwendigen Voraussetzungen bereits vorhanden sind oder mit vertretbarem Aufwand geschaffen werden können.

Offene Arbeiten haben verantwortliche Personen und Termine.

Kritische Punkte bleiben sichtbar.

Damit können wir den realistischen Integrationsweg genauer bestimmen.

Schritt 3 – Wir entscheiden und passen unseren Integrationsplan an

Was werden wir tatsächlich entwickeln, und welche Voraussetzungen müssen wir dafür schaffen?

Jetzt führen wir unsere beiden Testergebnisse zusammen.

Wir betrachten für jeden vorgesehenen KI-Einsatzpunkt:

Kann KI die notwendige Informationsleistung ausreichend gut erfüllen?

Können wir die Voraussetzungen für ihren Einsatz schaffen?

Daraus ergeben sich drei mögliche Entscheidungen.

Bauen

KI erfüllt die notwendigen Anforderungen ausreichend gut.

Die organisatorischen Voraussetzungen sind vorhanden oder können mit vertretbarem Aufwand geschaffen werden.

Wir bereiten die Entwicklung vor.

Anpassen

Der Test zeigt, dass KI nur einen Teil der geplanten Aufgabe zuverlässig genug übernehmen kann.

Oder bestimmte Voraussetzungen müssen zuerst geschaffen werden.

Wir passen die KI-Aufgabe und die zugehörigen Arbeiten entsprechend an.

Danach können wir die weitere Entwicklung gezielt vorbereiten.

Zurückstellen

Die KI-Leistung ist derzeit nicht ausreichend oder eine notwendige Voraussetzung lässt sich nicht mit vertretbarem Aufwand schaffen.

Wir verfolgen diesen Einsatzpunkt vorerst nicht weiter.

Das bedeutet nicht automatisch, dass das gesamte Integrationsprojekt beendet wird.

Vielleicht können andere vorgesehene Aufgaben umgesetzt werden.

Wir aktualisieren die vorhandene Projektplanung

Jetzt dokumentieren wir:

• welche KI-Aufgaben tatsächlich entwickelt werden sollen,
• welche Teilaufgaben bei Menschen bleiben,
• welche Voraussetzungen noch geschaffen werden müssen,
• welche Arbeiten zuerst erfolgen müssen,

welche Einsatzpunkte angepasst oder zurückgestellt werden.

Wir verwenden dafür die bereits bestehende Projektplanung und die vorhandenen Aufgabenprofile.

Wir erstellen keinen zweiten Projektplan.

Ein guter Test darf den ursprünglichen Plan verändern.

Das ist kein Scheitern.

Die Tests sollen gerade verhindern, dass wir eine unzuverlässige oder praktisch nicht integrierbare Lösung entwickeln.

Dabei bleibt der genehmigte Business Case unser wirtschaftlicher und fachlicher Rahmen.

Kleinere Anpassungen am KI-Aufgabenumfang können wir innerhalb dieses Rahmens vornehmen.

Wenn sich jedoch die erwartete Wirkung, der Projektumfang oder der genehmigte Investitionsrahmen grundlegend ändern, muss die verantwortliche Führung entscheiden.

Unser Ziel bleibt die erfolgreiche Umsetzung des genehmigten Vorhabens – auf Grundlage realer Erkenntnisse statt ungeprüfter Erwartungen.

Der Head of AI führt die Tests und Klärungen

Der Head of AI ist der zentrale Bearbeiter und Koordinator.

Er bestimmt gemeinsam mit den zuständigen Fachleuten aussagekräftige Testfälle, organisiert die KI-Tests und dokumentiert ihre Ergebnisse.

Technische Unterstützung holt er gezielt bei IT-Verantwortlichen oder einem KI-Partner.

Die fachliche Bewertung der KI-Outputs erfolgt durch die Mitarbeitenden, die diese Informationen später verwenden sollen.

Dabei muss nicht das gesamte Workflow-Team an jeder Testbesprechung teilnehmen.

Häufig reichen wenige geeignete Testfälle und gezielte Rückmeldungen der zuständigen Experten.

Auch die Voraussetzungen prüft der Head of AI zunächst selbst anhand der vorhandenen Informationen.

Fehlende oder strittige Punkte klärt er direkt mit den Verantwortlichen.

Anschließend aktualisiert er die Projektplanung und stimmt wesentliche Entscheidungen ab.

Wir brauchen kein großes Testgremium. Wir brauchen einen kompetenten Projektleiter, realistische Testfälle und gezielte fachliche Rückmeldungen.

Unsere Templates für Schritt T

Wir verwenden die Ergebnisse des Business Case und die bereits bestehenden Profile weiter. Die Vorlagen dienen der Vertiefung und Dokumentation dieses MASTER-Schritts, nicht einer doppelten Datenerfassung.