Step 4: Testen der Potenziale von KI und Organisation

Kann KI die spezifizierte Aufgabe ausreichend gut erfüllen – und können wir die Voraussetzungen in der Organisation dafür schaffen?

Mit dem Spezifizieren haben Sie festgelegt:

• welche Information gebraucht wird,
• welche Aufgabe KI übernehmen soll,
• welchen Input sie benötigt,
• welchen Output sie liefern soll,
• welche Regeln und Qualitätsanforderungen gelten,
• welche organisatorischen Voraussetzungen notwendig sind.

Bevor entwickelt wird, testen Sie, ob das KI-Vorhaben unter realistischen Bedingungen trägt.

Ihr Grundsatz: Erst Testen, dann entwickeln.

Zwei Fragen sind wichtig.

Kann KI liefern, was wir brauchen? 

Kann die Organisation die Voraussetzungen dafür schaffen, dass KI liefern kann?

Die Antworten brauchen Sie, um den Plan an die realen Ergebnisse anzupassen.

Für den Test brauchen Sie noch keine fertige KI-Lösung und meist auch keinen Piloten.

Sie können mit kleinen, gezielten Tests herausfinden:

Kann KI die geforderte Informationsleistung ausreichend gut erbringen?

1. Worum geht es und wozu?

Eine KI-Aufgabe kann auf dem Papier hervorragend aussehen. Das bedeutet noch nicht, dass KI sie in der benötigten Qualität zuverlässig erledigen kann.

Deshalb wird jetzt getestet:

Dafür brauchen Sie keinen fertigen Agenten, keine vollständige Integration und keine große Entwicklungsarbeit.

Nutzen Sie möglichst einfache Tests:

• reale Datenproben,
• abgeschlossene Fälle,
• Beispielinputs,
• Simulationen,
• einzelne Dokumente,
• bekannte Entscheidungen,
• Beispieloutputs.

Das Ziel lautet:

2. Was haben Sie am Ende?

Für jede ausgewählte KI-Aufgabe haben Sie einen KI-Testbericht.

Darin steht:

• was getestet wurde,
• mit welchen realen Inputs,
• welcher Output erwartet wurde,
• was KI tatsächlich geliefert hat,
• welche Qualitätsanforderungen erfüllt wurden,
• wo Fehler oder Grenzen liegen,
• wie die Aufgabe gegebenenfalls zugeschnitten werden muss.

Am Ende lautet die erste Einschätzung:

oder

oder

3. Was brauchen Sie dafür?

Sie brauchen:

• das KI-Anforderungsprofil,
• das CORDS-Profil,
• reale oder realitätsnahe Daten,
• bekannte Fälle mit bereits bekanntem Ergebnis,
• Workflow-Experten zur Bewertung,
• eine geeignete leistungsfähige KI,
• bei Bedarf Unterstützung durch IT oder KI-Experten.

Besonders wertvoll sind Fälle, bei denen Sie bereits wissen, was ein gutes Ergebnis wäre. Dann können Sie vergleichen.

4. Wie gehen Sie vor?

Schritt 1 – Einen kleinen, aussagekräftigen Test bauen

Wählen Sie eine konkrete KI-Aufgabe im Workflow

Zum Beispiel:

Stellen Sie der KI:

• die vorgesehenen Daten,
• die Regeln,
• den Context,
• den gewünschten Output

so zur Verfügung, wie Sie sie spezifiziert haben. Dann lassen Sie KI liefern.

Wichtig:

Schritt 2 – Output gegen die Anforderungen prüfen

Jetzt beurteilt das Workflow-Team den Output.

Fragen Sie:

• Sind relevante Kandidaten enthalten?
• Wurden Ausschlusskriterien berücksichtigt?
• Sind die Informationen richtig genug?
• Fehlen wichtige Informationen?
• Ist die Darstellung verständlich?
• Ist das Ergebnis rechtzeitig verfügbar?
• Kann der Mitarbeiter damit tatsächlich weiterarbeiten?

Das CORDS-Profil dient als Referenz. Testen Sie nicht nur den Normalfall.

Fragen Sie auch:

Zum Beispiel:

• ungewöhnliche Fälle,
• fehlende Daten,
• widersprüchliche Quellen,
• unklare Regeln,
• falsche Priorisierungen,
• schwankende Ergebnisse.

Schritt 3 – KI-Aufgabe bei Bedarf zuschneiden

Wenn KI die vollständige Aufgabe nicht ausreichend gut löst, gibt es neben funktioniert oder funktioniert nicht eine dritte Möglichkeit. Sie ist oft entscheidend: Aufgabe verkleinern.

Vielleicht kann KI nicht zuverlässig den besten Lieferanten auswählen. Aber sie kann vielleicht aus 1.000 Kandidaten in Minutenschnelle die Top-50 Kandidaten herausfiltern.

Dann übernimmt ein erfahrener Mitarbeiter die letzten Schritte.

Oder:

KI kann 80 Prozent der Informationsarbeit sehr schnell erledigen und der Mensch übernimmt gezielt die verbleibende Prüfung.

Die KI-Aufgabe wird so zugeschnitten, dass KI einen großen Teil der Vorarbeit übernimmt und das Workflow-Team den kritischen Rest kontrolliert.

Die Regel lautet deshalb:

Beispiel – Schokofino

KI-Aufgabe:

Aus 200 möglichen Zutaten eine priorisierte Vorauswahl von 20 geeigneten Kandidaten erstellen.

Test:

Schokofino verwendet einen früheren Entwicklungsfall, dessen Ergebnis bereits bekannt ist.

Die KI erhält:

• Zutateninformationen,
• Qualitätskriterien,
• Kosten,
• rechtliche Regeln,
• technische Anforderungen.

Dann wird geprüft:

Angenommen:

Die KI findet zuverlässig 15 gute Kandidaten, ist aber nicht zuverlässig genug, die finalen drei Zutaten auszuwählen.

Dann wird die Aufgabe angepasst:

Das Projekt ist damit nicht gescheitert.

Es hat einen realistischen KI-Leistungskorridor gefunden.

5. Wann ist Ihr Ergebnis gut genug?

Der KI-Test ist ausreichend, wenn:

• mit realistischen Inputs getestet wurde,
• der erwartete Output vorher definiert war,
• das Workflow-Team die Ergebnisse bewertet hat,
• relevante Fehler und Grenzen sichtbar sind,
• auch schwierige Fälle betrachtet wurden,
• klar ist, welchen Teil der Aufgabe KI ausreichend beherrscht,
• die Aufgabe gegebenenfalls angepasst wurde.

Die zentrale Prüffrage:

6. Typische Fehler

Einen Demo-Erfolg mit Machbarkeit verwechseln

Ein beeindruckender Einzeloutput beweist wenig.

Nur die besten Fälle testen

Gerade Grenzfälle zeigen, wo Kontrolle notwendig wird.

Die Aufgabe künstlich an KI anpassen und dabei den Workflow verändern

Der Workflow bestimmt die Anforderung. Nicht umgekehrt.

100 Prozent Automatisierung verlangen

Wirtschaftlicher Nutzen kann bereits entstehen, wenn KI einen großen Teil der Vorarbeit übernimmt.

Schlechte Ergebnisse durch immer kompliziertere Prompts retten wollen

Manchmal ist die bessere Lösung: Aufgabe kleiner machen.

7. Vorlage – KI-Test

KI-Aufgabe

Testfall

Input

Erwarteter Output

Tatsächlicher Output

Erfüllte Anforderungen

Fehler / Grenzen

Was kann KI zuverlässig übernehmen?

Was bleibt beim Mitarbeiter?

Angepasste KI-Aufgabe

Können wir die getestete KI-Leistung unter unseren Bedingungen tatsächlich umsetzen?

1. Worum geht es?

Der Test der KI hat in Ansätzen gezeigt, das KI etwas leisten kann.

Jetzt kommt die zweite Frage:

Vielleicht hat der Test gezeigt: KI kann die Aufgabe.

Aber:

• Daten sind nicht immer zugänglich,
• wichtige Regeln sind noch nicht dokumentiert,
• eine Schnittstelle fehlt,
• bestimmte Quellen dürfen nicht verwendet werden,
• mehrer Personen sind für die Qualitätskontrolle verantwortlich,
• teilweise ist internes Erfahrungswissen nicht dokumentiert.

Das bedeutet: Hausaufgaben sichtbar machen.

Nach der Prüfung des KI-Potenzials die organisatorische Voraussetzungen prüfen oder schaffen und anschließend den Plan an die realen Ergebnisse anpassen.

2. Was haben Sie am Ende?

Sie haben:

1. einen getesteten KI-Einsatzbereich

Welche Aufgaben kann KI tatsächlich übernehmen?

2. eine organisatorische Hausaufgabenliste

Was muss geschaffen oder geklärt werden?

3. einen aktualisierten MASTER-Projektplan

Was wird jetzt wirklich entwickelt und eingeführt?

Damit endet die Planungs- und Testphase. Danach jetzt beginnt die eigentliche Entwicklung der KI-Lösung.

3. Was brauchen Sie für das Testen?

Sie brauchen:

• die Testergebnisse,
• die organisatorischen Voraussetzungen,
• das Workflow-Team,
• das IT-team,
• Projektleitung,
• gegebenenfalls Klarheit über Datenschutz, Sicherheit, Recht oder andere Fachbereiche,
• bei Bedarf den ausgewählten KI-Partner.

4. Wie gehen Sie vor?

Schritt 1 – Voraussetzungen gegen die Realität prüfen

Gehen Sie die festgehaltenen Voraussetzungen durch. Fragen Sie für jeden Punkt:

Betrachten Sie insbesondere:

• Daten,
• Datenzugänge,
• Quellen,
• dokumentierte Regeln,
• Erfahrungswissen,
• Berechtigungen,
• Schnittstellen,
• technische Infrastruktur,
• Datenschutz und Sicherheit,
• Qualitätskontrolle,
• Verantwortlichkeiten,
• späteren Betrieb.

Erstellen Sie keine umfangreiche Unternehmens-Readiness-Analyse.

Prüfen Sie nur: Was braucht diese formulierte KI-Aufgabe?

Schritt 2 – Hausaufgaben festlegen

Trennen Sie: Vorhanden und kann direkt genutzt werden von muss erst geschaffen werden.

Zum Beispiel:

• zwei Datenquellen anbinden,
• Auswahlregeln dokumentieren,
• alte Bewertungen digital zugänglich machen,
• Verantwortlichen benennen,
• Zugriffsrechte schaffen.

Manches bleibt vorerst kritisch und damit ungeklärt.

Zum Beispiel:

• zentrale Daten dürfen möglicherweise nicht verarbeitet werden,
• eine notwendige Quelle ist nicht verfügbar,
• Qualitätskontrolle ist ungeklärt.

Für offene Aufgaben halten Sie fest: Was? Wer? Bis wann?

Erstellen Sie eine konkrete To-do-Liste für offene Punkte mit Verantwortlichkeit.

Schritt 3 – Aufgabenumfang und Projektplan finalisieren

Jetzt nehmen Sie alle Ergebnisse zusammen. Für jeden vorgesehenen KI-Einsatzpunkt fragen Sie:

Dann gibt es drei Möglichkeiten:

Bauen

KI-Leistung passt und Voraussetzungen sind beherrschbar.

Anpassen

KI kann einen kleineren Aufgabenumfang übernehmen oder Voraussetzungen müssen zunächst geschaffen werden.

Nicht weiterverfolgen

KI liefert nicht ausreichend oder die Voraussetzungen sind unverhältnismäßig schwierig.

Dann aktualisieren Sie Ihren Projektplan.

Festgelegt werden:

• welche KI-Aufgaben tatsächlich entwickelt werden,
• welche Aufgaben beim Mitarbeiter bleiben,
• welche organisatorischen Arbeiten notwendig sind,
• welche Reihenfolge sinnvoll ist,
• welche Einsatzpunkte zunächst zurückgestellt werden.

So wird aus einem Wunschplan ein realistischer Umsetzungsplan.

Beispiel – Schokofino

Der Test hat ergeben:

Jetzt prüft Schokofino die Voraussetzungen.

Vorhanden:

• Zutatenstammdaten,
• Preislisten,
• rechtliche Vorgaben,
• erfahrene Rezeptentwickler.

Fehlt:

• mehrere Qualitätsregeln müssen dokumentiert werden,
• historische Testergebnisse liegen teilweise nur in Dokumenten,
• Zugriff auf eine externe Quelle muss eingerichtet werden.

Umfang der KI-Aufgabe:

KI erstellt die Shortlist. Die finale Auswahl bleibt beim Team.

Hausaufgaben:

• Regeln dokumentieren,
• Dokumente zugänglich machen,
• Datenquelle anbinden.

Projektentscheidung: Die KI-Lösung für diese Aufgabe wird entwickelt.

Eine zweite geplante Aufgabe wird dagegen zurückgestellt, weil die notwendigen Daten derzeit nicht ausreichend verfügbar sind.

Der Projektplan wird entsprechend kleiner und realistischer.

5. Wann ist Ihr Ergebnis gut genug?

Der Test ist abgeschlossen, wenn:

• klar ist, welche KI-Aufgaben erledigt werden können,
• der realistische KI-Aufgabenumfang feststeht,
• menschliche Aufgaben und Kontrollen geklärt sind,
• benötigte organisatorische Voraussetzungen bekannt sind,
• offene Hausaufgaben Verantwortliche und Termine haben,
• ungeeignete Einsatzpunkte entfernt oder zurückgestellt wurden,
• der Projektplan auf die Testergebnisse angepasst wurde.

Die zentrale Prüffrage:

Wenn ja, kann die Entwicklung der KI-Lösung starten.

6. Typische Fehler

Die Organisation vollständig analysieren

Nicht nötig. Prüfen Sie nur die Voraussetzungen für die konkrete KI-Aufgabe.

Fehlende Voraussetzungen ignorieren

Was fehlt, verschwindet nicht während der Entwicklung. Es wird später zu Verzögerung, Kosten oder Risiko.

Den ursprünglichen Plan verteidigen

Ein guter Test darf den Plan verändern. Das ist kein Scheitern, sondern der Sinn des Tests.

7. Vorlage – Test & Adaptation Card

KI-Einsatzpunkt

Getestete KI-Aufgabe

Testergebnis

□ ausreichend

□ mit Anpassung ausreichend

□ nicht ausreichend

Finaler KI-Aufgabenumfang

Aufgabe des Mitarbeiters

Voraussetzungen

Vorhanden

Fehlt

Kritisch / ungeklärt

Hausaufgaben

Entscheidung

□ entwickeln

□ Aufgabenumfang anpassen

□ Voraussetzung zuerst schaffen

□ zurückstellen

Anpassung des MASTER-Plans