- MModellieren
- AAnalysieren
- SSpezifizieren
- TTesten
- EEntwickeln
- RReview
TESTEN Sie die KI-Leistung und die Voraussetzungen für ihren Einsatz.
Eine geprüfte KI-Umsetzungsentscheidung: welche Aufgaben KI ausreichend zuverlässig übernehmen kann, wo ihre Grenzen liegen und welche Voraussetzungen Sie noch schaffen müssen.
Kapitel 1
Aufgabe, Ziel und Vorteile der KI-Tests
Die Ausgangslage
Ihr geschäftliches Ziel steht fest. Sie haben Ihren Prozess modelliert, die kritischen Engpässe untersucht und konkrete Aufgaben und Anforderungen an die KI formuliert. Sie wissen jetzt, welche Informationsleistung KI erbringen soll und welche Anforderungen dafür gelten.
Aber kann KI diese Aufgaben unter Ihren tatsächlichen Bedingungen zuverlässig erfüllen? Und können Sie in Ihrem Unternehmen die Voraussetzungen für ihren Einsatz schaffen?
Das prüfen Sie jetzt.
Ihre vierte Aufgabe
Testen Sie die vorgesehenen KI-Leistungen und prüfen Sie die notwendigen Umsetzungsvoraussetzungen.
Verwenden Sie dazu Ihr KI-Anforderungsprofil aus Modul 3.
Testen Sie die KI anhand realitätsnaher Beispiele. Vergleichen Sie die Ergebnisse mit Ihren fachlichen Anforderungen und untersuchen Sie besonders kritische Fehler und Ausnahmen.
Prüfen Sie außerdem, ob die benötigten Daten, Regeln, Systeme, Zugänge und Verantwortlichkeiten für einen späteren Einsatz vorhanden sind oder geschaffen werden können.
Unser GrundsatzErst testen, dann entwickeln und integrieren.
Sie brauchen dafür noch keinen fertigen KI-Agenten und keine vollständige Systemintegration. Beginnen Sie mit kleinen, aussagekräftigen Tests. Klären Sie die wichtigsten Voraussetzungen. Entscheiden Sie dann, was tatsächlich entwickelt werden soll.
Eine geprüfte KI-Umsetzungsentscheidung.
Sie wissen, welche Aufgaben KI ausreichend zuverlässig übernehmen könnte, wo ihre Grenzen liegen und welche Voraussetzungen für die Entwicklung und Integration geschaffen werden müssen.
Ihre Vorteile
- Ungeeignete KI-Lösungen frühzeitig erkennen
- Weniger Aufwand für Fehlentwicklungen
- Realistischere Erwartungen an die KI-Leistung
- Organisatorische und technische Hindernisse rechtzeitig klären
- Entwicklung und Integration gezielt vorbereiten
Kapitel 2
Die KI-Tests am Beispiel Schokofino
Wie Connie prüft, was KI tatsächlich leisten kann
Schokofino möchte seinen nächsten Bestseller schneller entwickeln. Connie hat mit ihrem Team die Lieferantenauswahl als wichtigen Engpass untersucht und in Modul 3 eine konkrete KI-Aufgabe spezifiziert: KI soll 30 mögliche Lieferanten prüfen und eine Top-10-Liste für die fachliche Entscheidung vorschlagen. Jetzt will Connie wissen, ob das tatsächlich funktioniert.
KI-Leistung testen
Connie und Alex wählen drei abgeschlossene Beschaffungsfälle. Die damaligen Lieferanteninformationen und das Ergebnis der fachlichen Auswahl sind bekannt. Sie stellen der KI die Daten und Auswahlregeln zur Verfügung. Anschließend prüfen die Einkäufer die vorgeschlagene Vorauswahl.
Angenommene Werte im fiktiven Fallbeispiel.
Im fiktiven Beispiel zeigt sich: KI kann die Informationen gut strukturieren und geeignete Lieferanten vorsortieren. Bei fehlenden Zertifikaten und widersprüchlichen Lieferzeiten sind jedoch zusätzliche Kontrollen erforderlich. Die Nachprüfung durch den Einkauf dauert etwa einen Tag je Fall.
Connie hält fest, welche Ergebnisse brauchbar sind und wo menschliche Prüfung notwendig bleibt.
Voraussetzungen prüfen
Das Team untersucht, ob die benötigten Lieferantendaten dauerhaft verfügbar sind, welche Zugänge fehlen und wer die KI-Ergebnisse kontrollieren soll. Einige fachliche Auswahlregeln müssen noch dokumentiert werden.
- vorhandenLieferantendaten im ERP-System
- vorhandenKontrolle der Ergebnisse durch den Einkauf
- schaffenFachliche Auswahlregeln dokumentieren
- schaffenZugang zu Lieferanten-Websites und Zertifikatsquellen
- ungeklärtAktualität der Zertifikatsdaten
Über die Umsetzung entscheiden
Connie entscheidet gemeinsam mit den Verantwortlichen:
EntscheidungKI soll die Lieferanteninformationen aufbereiten und eine begründete Vorauswahl erstellen. Die abschließende Entscheidung bleibt beim Einkauf.
Die fehlenden Voraussetzungen werden als konkrete Aufgaben festgehalten.
- Modul 3KI-Anforderungsprofil
KI prüft 30 mögliche Lieferanten und schlägt eine Top-10-Liste vor.
- Schritt 1Test mit 3 abgeschlossenen Fällen
- Informationen gut strukturiert
- Gewählter Lieferant 3 von 3 Mal in der Top 10
- Fehlende Zertifikate übersehen
- Widersprüchliche Lieferzeiten nicht gekennzeichnet
- Schritt 2Voraussetzungen
- ERP-Lieferantendaten vorhanden
- Auswahlregeln dokumentieren
- Zugänge zu Websites und Zertifikaten
- Aktualität der Zertifikatsdaten ungeklärt
- Schritt 3Entscheidung
Entwickeln mit angepasstem Umfang: KI bereitet auf und erstellt eine begründete Vorauswahl. Zertifikate und Lieferzeiten markiert sie, der Einkauf prüft sie. Die Entscheidung bleibt beim Einkauf.
Kapitel 3
Was Sie am Ende erarbeitet haben
Ihre geprüfte KI-Umsetzungsentscheidung
Sie haben die KI-Leistung getestet und die Voraussetzungen für ihren Einsatz untersucht. Ihr Ergebnis zeigt, welche KI-Aufgaben Sie weiterentwickeln können und was dafür noch zu tun ist. Für jede untersuchte KI-Aufgabe erkennen Sie:
- Welche Leistung getestet wurde und welche Ergebnisse KI geliefert hat
- Welche Anforderungen erfüllt wurden und wo Fehler oder Grenzen bestehen
- Welche Aufgaben KI übernehmen kann und welche bei den Mitarbeitenden bleiben
- Welche Voraussetzungen vorhanden sind und welche noch geschaffen werden müssen
- Wie entschieden wurde: Entwickeln, anpassen oder vorerst zurückstellen
Das Ergebnis ist mit den zuständigen Fachleuten geprüft und bildet die Grundlage für Modul 5.
| KI-Aufgabe | Testergebnis | Voraussetzungen | Entscheidung |
|---|---|---|---|
| Lieferanteninformationen sammeln und strukturieren | gut, Angaben vollständig aufbereitet | ERP-Daten vorhanden; Website-Zugänge schaffen | Entwickeln |
| Kandidaten nach Kriterien vergleichen, Top 10 vorschlagen | 8 von 9 fachlich gewählten Lieferanten in der Top 10 | Auswahlregeln dokumentieren | Entwickeln |
| Zertifikate prüfen | 2 Lieferanten ohne gültiges Zertifikat als geeignet eingestuft | Aktualität der Zertifikatsdaten ungeklärt | Anpassen: KI markiert, Einkauf prüft |
| Lieferzeiten bewerten | Widersprüche nicht gekennzeichnet | Regel für widersprüchliche Angaben festlegen | Anpassen: KI kennzeichnet Widersprüche |
| Endgültige Lieferantenentscheidung | nicht Teil des Tests | – | Bleibt beim Einkauf |
Vorlage KI-Umsetzungsentscheidung herunterladen
Wann ist Ihr Ergebnis gut genug?
PrüfmaßstabWenn Sie nachvollziehbar begründen können, welche KI-Leistungen unter den getesteten Bedingungen ausreichend zuverlässig funktionieren und welche Voraussetzungen für ihren Einsatz geschaffen werden müssen.
Sie benötigen noch keine fertige Lösung und keine Garantie für den späteren Betrieb. Sie benötigen eine belastbare Grundlage für die Entwicklung.
Kapitel 4
So gehen Sie in drei Schritten vor
Testen Sie die KI-Leistung
Kann KI die spezifizierte Informationsaufgabe in der benötigten Qualität erfüllen?
Nehmen Sie das KI-Anforderungsprofil aus Modul 3. Wählen Sie eine klar abgegrenzte Aufgabe und bereiten Sie einen einfachen, aber aussagekräftigen Test vor.
Verwenden Sie realitätsnahe Testfälle
Nutzen Sie möglichst abgeschlossene Fälle, deren Ergebnisse bereits bekannt sind. Übernehmen Sie aus Ihrem CORDS-Profil:
Stellen Sie der KI die vorgesehenen Informationen und Regeln zur Verfügung.
Vergleichen Sie die Ergebnisse mit Ihren Anforderungen
Prüfen Sie:
- Relevanz
- Liefert KI die Informationen, die tatsächlich benötigt werden?
- Richtigkeit
- Sind die wesentlichen Angaben korrekt?
- Vollständigkeit
- Sind die notwendigen Informationen enthalten?
- Rechtzeitigkeit
- Liegt das Ergebnis rechtzeitig vor?
- Eindeutigkeit
- Können Mitarbeitende das Ergebnis verstehen und verwenden?
Achten Sie zusätzlich auf Quellen, verbindliche Regeln und den verbleibenden menschlichen Prüfaufwand.
Testen Sie auch schwierige Fälle
Verwenden Sie nicht nur einfache Beispiele. Prüfen Sie insbesondere:
Dokumentieren Sie die verwendeten Eingaben, die KI-Ergebnisse und die fachliche Bewertung. Wiederholen Sie wichtige Testfälle, wenn die Ergebnisse schwanken.
Bestimmen Sie den brauchbaren KI-Aufgabenumfang
Welche Informationsarbeit kann KI ausreichend zuverlässig übernehmen? Vielleicht erfüllt KI die gesamte Aufgabe. Vielleicht kann sie aber nur eine Vorauswahl erstellen, während erfahrene Mitarbeitende die endgültige Beurteilung übernehmen.
Passen Sie den KI-Aufgabenumfang an die getestete Leistung an. Berücksichtigen Sie dabei den verbleibenden menschlichen Aufwand. Eine schnelle KI-Ausgabe bringt wenig, wenn ihre Nachprüfung den gesamten Vorteil aufzehrt.
Prüfen Sie die Umsetzungsvoraussetzungen
Können Sie die Voraussetzungen schaffen, damit die getestete KI-Leistung in Ihrem Geschäftsprozess eingesetzt werden kann?
Verwenden Sie die Voraussetzungen aus Ihrem KI-Anforderungsprofil. Prüfen Sie gemeinsam mit den zuständigen Fach-, IT- und Datenverantwortlichen:
- Daten und Quellen
- Sind die benötigten Informationen verfügbar und aktuell?
- Fachliche Regeln
- Sind Kriterien und Ausnahmen ausreichend beschrieben?
- Zugriffe und Berechtigungen
- Dürfen und können Daten und Systeme genutzt werden?
- Technische Integration
- Sind notwendige Schnittstellen und Systeme vorhanden oder herstellbar?
- Qualitätskontrolle
- Können die KI-Ergebnisse ausreichend geprüft werden?
- Verantwortlichkeiten
- Ist klar, wer welche Aufgaben übernimmt?
- Betrieb
- Können Betreuung, Pflege und Überwachung organisiert werden?
Unterscheiden Sie drei Ergebnisse:
Die Voraussetzung ist erfüllt.
Die Voraussetzung fehlt noch, kann aber voraussichtlich mit vertretbarem Aufwand hergestellt werden.
Es besteht eine wichtige Schwierigkeit oder noch keine verlässliche Lösung.
Halten Sie für fehlende oder kritische Voraussetzungen fest: Was muss getan werden? Wer ist verantwortlich? Bis wann soll der Punkt geklärt sein?
Sie benötigen dafür keine umfassende Organisationsanalyse. Prüfen Sie nur die Voraussetzungen, die für die konkrete KI-Aufgabe wichtig sind.
Entscheiden Sie über die weitere Umsetzung
Welche KI-Leistung soll tatsächlich entwickelt werden?
Führen Sie die Ergebnisse aus den ersten beiden Schritten zusammen. Prüfen Sie:
- Kann KI die benötigte Leistung ausreichend gut erbringen?
- Können die Voraussetzungen für ihren Einsatz geschaffen werden?
Treffen Sie anschließend für jede vorgesehene KI-Aufgabe eine begründete Entscheidung.
Die getestete KI-Leistung erfüllt die wesentlichen Anforderungen ausreichend gut. Die Voraussetzungen sind vorhanden oder können mit vertretbarem Aufwand geschaffen werden.
Bereiten Sie die Entwicklung vor.
KI kann nur einen Teil der Aufgabe zuverlässig genug übernehmen oder wichtige Voraussetzungen fehlen noch.
Passen Sie den KI-Aufgabenumfang an und legen Sie die notwendigen weiteren Arbeiten fest.
Prüfen Sie wesentliche Änderungen bei Bedarf erneut.
Die Leistung ist derzeit nicht ausreichend oder wichtige Voraussetzungen lassen sich nicht mit vertretbarem Aufwand schaffen.
Verfolgen Sie diese KI-Aufgabe vorerst nicht weiter.
Das muss nicht bedeuten, dass Ihr gesamtes KI-Projekt beendet wird. Andere priorisierte Aufgaben können weiterhin interessant sein.
Halten Sie die Entscheidung fest
Dokumentieren Sie:
- Welche KI-Aufgaben entwickelt werden sollen
- Welche Aufgaben bei den Mitarbeitenden bleiben
- Welche Voraussetzungen noch geschaffen werden müssen
- Welche Änderungen gegenüber dem Anforderungsprofil notwendig sind
- Welche KI-Aufgaben zurückgestellt werden
Prüfen Sie abschließend, ob der erwartete wirtschaftliche Nutzen weiterhin erreichbar erscheint.
Ein guter Test darf Ihren ursprünglichen Plan verändernEntscheidend ist nicht, möglichst viele KI-Aufgaben umzusetzen, sondern mit KI einen tatsächlichen wirtschaftlichen Mehrwert zu erzielen.
Kapitel 5
Vorlagen zum Download
Machbarkeits- & Trockenlauf-Check
Testen Sie die spezifizierte KI-Leistung an typischen und kritischen Fällen. Dokumentieren Sie erwartete und tatsächliche Ergebnisse und simulieren Sie den späteren Arbeitsablauf mit KI.
T1 herunterladen5-Punkte-KO-Filter
Prüfen Sie, ob die KI-Aufgabe technisch, organisatorisch und wirtschaftlich machbar ist: Daten, Aufgabe, Risiko, Integration sowie Kosten und Nutzen. Halten Sie fehlende Voraussetzungen mit den Verantwortlichen fest.
T2 herunterladenKI-Umsetzungsentscheidung
Entscheiden Sie, welche KI-Aufgaben weiterentwickelt werden sollen. Führen Sie die Testergebnisse und die Prüfung der Voraussetzungen zusammen. Legen Sie fest, welche Aufgaben entwickelt, angepasst oder zurückgestellt werden.
T3 herunterladenFallbeispiel Schokofino – Modul 4
Schauen Sie sich an, wie Connie und ihr Team vorgehen. Verfolgen Sie, wie sie die KI-gestützte Lieferantenvorauswahl testen, ihre Grenzen erkennen und die notwendigen Voraussetzungen für die Entwicklung klären.
Fallbeispiel herunterladenKapitel 6
Häufige Fragen
Müssen wir schon eine fertige KI-Lösung entwickeln, um sie testen zu können?
Nein. Beginnen Sie mit einer klar abgegrenzten Informationsaufgabe. Häufig können Sie diese mit einem geeigneten KI-Werkzeug und vorbereiteten Testdaten untersuchen. Eine vollständige Integration in Ihre bestehenden Systeme ist dafür noch nicht erforderlich.
Reicht ein erfolgreicher Testfall?
Nein. Prüfen Sie mehrere realistische Fälle und berücksichtigen Sie besonders die kritischen Fehler und Ausnahmen. Ein einzelnes gutes Ergebnis beweist noch nicht, dass KI die Aufgabe zuverlässig erfüllt.
Müssen wir alle Anforderungen vollständig erfüllen?
Verbindliche fachliche Mindestanforderungen müssen erfüllt werden. Andere Anforderungen können Sie gegebenenfalls anpassen, solange der verbleibende KI-Aufgabenumfang sinnvoll ist und weiterhin zum Geschäftsziel beiträgt. Senken Sie keine notwendigen Qualitätsanforderungen, nur damit der Test erfolgreich aussieht.
Was machen wir, wenn KI Fehler macht?
Untersuchen Sie die Ursachen. Prüfen Sie, ob bessere Eingaben, klarere Regeln oder eine andere Aufgabenabgrenzung helfen. Manchmal ist es sinnvoller, die KI-Aufgabe zu verkleinern und die kritische Entscheidung bei den Mitarbeitenden zu belassen.
Müssen wir bereits alle technischen Voraussetzungen schaffen?
Nein. Prüfen Sie, welche Voraussetzungen vorhanden sind und welche mit vertretbarem Aufwand geschaffen werden können. Die konkrete technische Entwicklung und Integration erfolgt im nächsten Modul. Die Voraussetzungen für einen sicheren und zulässigen Test müssen allerdings bereits vor dem jeweiligen Test erfüllt sein.
Wer sollte an den Tests beteiligt sein?
Die KI-Projektleitung koordiniert die Arbeit. Beziehen Sie vor allem die Mitarbeitenden ein, die die KI-Ergebnisse später verwenden und fachlich beurteilen sollen. IT- und Datenverantwortliche oder externe KI-Partner unterstützen bei den entsprechenden technischen Fragen.
Wie aufwendig müssen die Tests sein?
Beginnen Sie klein, aber testen Sie aussagekräftig. Wählen Sie typische und kritische Fälle aus der Praxis. Dokumentieren Sie die Ergebnisse und vertiefen Sie die Tests dort, wo wichtige Unsicherheiten bestehen. Ziel ist eine verantwortbare Entscheidung über die weitere Entwicklung, nicht der Nachweis absoluter Fehlerfreiheit.
ENTWICKELN UND INTEGRIEREN
Sie haben getestet, welche Aufgaben KI ausreichend zuverlässig übernehmen kann. Sie kennen die notwendigen Voraussetzungen und haben entschieden, welche Leistungen entwickelt werden sollen.
Entwickeln und integrieren Sie jetzt die geprüften KI-Leistungen in Ihren Geschäftsprozess. Koordinieren Sie die technische Umsetzung mit den beteiligten Teams, bereiten Sie die Mitarbeitenden auf die Zusammenarbeit mit KI vor und begleiten Sie die Einführung im laufenden Betrieb.