MASTER-Kurs · Modul 4 von 6
  1. MModellieren
  2. AAnalysieren
  3. SSpezifizieren
  4. TTesten
  5. EEntwickeln
  6. RReview

TESTEN Sie die KI-Leistung und die Voraussetzungen für ihren Einsatz.

Eine geprüfte KI-Umsetzungsentscheidung: welche Aufgaben KI ausreichend zuverlässig übernehmen kann, wo ihre Grenzen liegen und welche Voraussetzungen Sie noch schaffen müssen.

Kapitel 1

Aufgabe, Ziel und Vorteile der KI-Tests

Die Ausgangslage

Ihr geschäftliches Ziel steht fest. Sie haben Ihren Prozess modelliert, die kritischen Engpässe untersucht und konkrete Aufgaben und Anforderungen an die KI formuliert. Sie wissen jetzt, welche Informationsleistung KI erbringen soll und welche Anforderungen dafür gelten.

Aber kann KI diese Aufgaben unter Ihren tatsächlichen Bedingungen zuverlässig erfüllen? Und können Sie in Ihrem Unternehmen die Voraussetzungen für ihren Einsatz schaffen?

Das prüfen Sie jetzt.

Ihre vierte Aufgabe

Testen Sie die vorgesehenen KI-Leistungen und prüfen Sie die notwendigen Umsetzungsvoraussetzungen.

Verwenden Sie dazu Ihr KI-Anforderungsprofil aus Modul 3.

Testen Sie die KI anhand realitätsnaher Beispiele. Vergleichen Sie die Ergebnisse mit Ihren fachlichen Anforderungen und untersuchen Sie besonders kritische Fehler und Ausnahmen.

Prüfen Sie außerdem, ob die benötigten Daten, Regeln, Systeme, Zugänge und Verantwortlichkeiten für einen späteren Einsatz vorhanden sind oder geschaffen werden können.

Unser GrundsatzErst testen, dann entwickeln und integrieren.

Sie brauchen dafür noch keinen fertigen KI-Agenten und keine vollständige Systemintegration. Beginnen Sie mit kleinen, aussagekräftigen Tests. Klären Sie die wichtigsten Voraussetzungen. Entscheiden Sie dann, was tatsächlich entwickelt werden soll.

Ihr Ergebnis in diesem Modul

Eine geprüfte KI-Umsetzungsentscheidung.

Sie wissen, welche Aufgaben KI ausreichend zuverlässig übernehmen könnte, wo ihre Grenzen liegen und welche Voraussetzungen für die Entwicklung und Integration geschaffen werden müssen.

Ihre Vorteile

  • Ungeeignete KI-Lösungen frühzeitig erkennen
  • Weniger Aufwand für Fehlentwicklungen
  • Realistischere Erwartungen an die KI-Leistung
  • Organisatorische und technische Hindernisse rechtzeitig klären
  • Entwicklung und Integration gezielt vorbereiten

Kapitel 2

Die KI-Tests am Beispiel Schokofino

Wie Connie prüft, was KI tatsächlich leisten kann

Schokofino möchte seinen nächsten Bestseller schneller entwickeln. Connie hat mit ihrem Team die Lieferantenauswahl als wichtigen Engpass untersucht und in Modul 3 eine konkrete KI-Aufgabe spezifiziert: KI soll 30 mögliche Lieferanten prüfen und eine Top-10-Liste für die fachliche Entscheidung vorschlagen. Jetzt will Connie wissen, ob das tatsächlich funktioniert.

1

KI-Leistung testen

Connie und Alex wählen drei abgeschlossene Beschaffungsfälle. Die damaligen Lieferanteninformationen und das Ergebnis der fachlichen Auswahl sind bekannt. Sie stellen der KI die Daten und Auswahlregeln zur Verfügung. Anschließend prüfen die Einkäufer die vorgeschlagene Vorauswahl.

3abgeschlossene Fälle mit je 30 Lieferanten
3 von 3Fällen: Der damals gewählte Lieferant war in der KI-Top-10
8 von 9fachlich ausgewählten Top-3-Lieferanten waren in der KI-Top-10
2Lieferanten ohne gültiges Zertifikat als geeignet eingestuft

Angenommene Werte im fiktiven Fallbeispiel.

Im fiktiven Beispiel zeigt sich: KI kann die Informationen gut strukturieren und geeignete Lieferanten vorsortieren. Bei fehlenden Zertifikaten und widersprüchlichen Lieferzeiten sind jedoch zusätzliche Kontrollen erforderlich. Die Nachprüfung durch den Einkauf dauert etwa einen Tag je Fall.

Connie hält fest, welche Ergebnisse brauchbar sind und wo menschliche Prüfung notwendig bleibt.

2

Voraussetzungen prüfen

Das Team untersucht, ob die benötigten Lieferantendaten dauerhaft verfügbar sind, welche Zugänge fehlen und wer die KI-Ergebnisse kontrollieren soll. Einige fachliche Auswahlregeln müssen noch dokumentiert werden.

  • vorhandenLieferantendaten im ERP-System
  • vorhandenKontrolle der Ergebnisse durch den Einkauf
  • schaffenFachliche Auswahlregeln dokumentieren
  • schaffenZugang zu Lieferanten-Websites und Zertifikatsquellen
  • ungeklärtAktualität der Zertifikatsdaten
3

Über die Umsetzung entscheiden

Connie entscheidet gemeinsam mit den Verantwortlichen:

EntscheidungKI soll die Lieferanteninformationen aufbereiten und eine begründete Vorauswahl erstellen. Die abschließende Entscheidung bleibt beim Einkauf.

Die fehlenden Voraussetzungen werden als konkrete Aufgaben festgehalten.

SchokofinoVom KI-Anforderungsprofil über die Testergebnisse zur Umsetzungsentscheidung
  1. Modul 3KI-Anforderungsprofil

    KI prüft 30 mögliche Lieferanten und schlägt eine Top-10-Liste vor.

  2. Schritt 1Test mit 3 abgeschlossenen Fällen
    • Informationen gut strukturiert
    • Gewählter Lieferant 3 von 3 Mal in der Top 10
    • Fehlende Zertifikate übersehen
    • Widersprüchliche Lieferzeiten nicht gekennzeichnet
  3. Schritt 2Voraussetzungen
    • ERP-Lieferantendaten vorhanden
    • Auswahlregeln dokumentieren
    • Zugänge zu Websites und Zertifikaten
    • Aktualität der Zertifikatsdaten ungeklärt
  4. Schritt 3Entscheidung

    Entwickeln mit angepasstem Umfang: KI bereitet auf und erstellt eine begründete Vorauswahl. Zertifikate und Lieferzeiten markiert sie, der Einkauf prüft sie. Die Entscheidung bleibt beim Einkauf.

Schokofino: vom KI-Anforderungsprofil über die Testergebnisse zur Umsetzungsentscheidung (fiktive Werte)

Kapitel 3

Was Sie am Ende erarbeitet haben

Ihre geprüfte KI-Umsetzungsentscheidung

Sie haben die KI-Leistung getestet und die Voraussetzungen für ihren Einsatz untersucht. Ihr Ergebnis zeigt, welche KI-Aufgaben Sie weiterentwickeln können und was dafür noch zu tun ist. Für jede untersuchte KI-Aufgabe erkennen Sie:

  • Welche Leistung getestet wurde und welche Ergebnisse KI geliefert hat
  • Welche Anforderungen erfüllt wurden und wo Fehler oder Grenzen bestehen
  • Welche Aufgaben KI übernehmen kann und welche bei den Mitarbeitenden bleiben
  • Welche Voraussetzungen vorhanden sind und welche noch geschaffen werden müssen
  • Wie entschieden wurde: Entwickeln, anpassen oder vorerst zurückstellen

Das Ergebnis ist mit den zuständigen Fachleuten geprüft und bildet die Grundlage für Modul 5.

KI-AufgabeTestergebnisVoraussetzungenEntscheidung
Lieferanteninformationen sammeln und strukturierengut, Angaben vollständig aufbereitetERP-Daten vorhanden; Website-Zugänge schaffenEntwickeln
Kandidaten nach Kriterien vergleichen, Top 10 vorschlagen8 von 9 fachlich gewählten Lieferanten in der Top 10Auswahlregeln dokumentierenEntwickeln
Zertifikate prüfen2 Lieferanten ohne gültiges Zertifikat als geeignet eingestuftAktualität der Zertifikatsdaten ungeklärtAnpassen: KI markiert, Einkauf prüft
Lieferzeiten bewertenWidersprüche nicht gekennzeichnetRegel für widersprüchliche Angaben festlegenAnpassen: KI kennzeichnet Widersprüche
Endgültige Lieferantenentscheidungnicht Teil des Tests–Bleibt beim Einkauf
Geprüfte KI-Umsetzungsentscheidung Schokofino (Beispiel, fiktive Werte)

Vorlage KI-Umsetzungsentscheidung herunterladen

Wann ist Ihr Ergebnis gut genug?

PrüfmaßstabWenn Sie nachvollziehbar begründen können, welche KI-Leistungen unter den getesteten Bedingungen ausreichend zuverlässig funktionieren und welche Voraussetzungen für ihren Einsatz geschaffen werden müssen.

Sie benötigen noch keine fertige Lösung und keine Garantie für den späteren Betrieb. Sie benötigen eine belastbare Grundlage für die Entwicklung.

Kapitel 4

So gehen Sie in drei Schritten vor

1

Testen Sie die KI-Leistung

Kann KI die spezifizierte Informationsaufgabe in der benötigten Qualität erfüllen?

Nehmen Sie das KI-Anforderungsprofil aus Modul 3. Wählen Sie eine klar abgegrenzte Aufgabe und bereiten Sie einen einfachen, aber aussagekräftigen Test vor.

Verwenden Sie realitätsnahe Testfälle

Nutzen Sie möglichst abgeschlossene Fälle, deren Ergebnisse bereits bekannt sind. Übernehmen Sie aus Ihrem CORDS-Profil:

  • Den Nutzungskontext
  • Die erforderlichen Daten und Quellen
  • Die Verarbeitungsregeln
  • Den gewünschten Output
  • Die Qualitätsanforderungen

Stellen Sie der KI die vorgesehenen Informationen und Regeln zur Verfügung.

Vergleichen Sie die Ergebnisse mit Ihren Anforderungen

Prüfen Sie:

Relevanz
Liefert KI die Informationen, die tatsächlich benötigt werden?
Richtigkeit
Sind die wesentlichen Angaben korrekt?
Vollständigkeit
Sind die notwendigen Informationen enthalten?
Rechtzeitigkeit
Liegt das Ergebnis rechtzeitig vor?
Eindeutigkeit
Können Mitarbeitende das Ergebnis verstehen und verwenden?

Achten Sie zusätzlich auf Quellen, verbindliche Regeln und den verbleibenden menschlichen Prüfaufwand.

Testen Sie auch schwierige Fälle

Verwenden Sie nicht nur einfache Beispiele. Prüfen Sie insbesondere:

  • Fehlende oder widersprüchliche Angaben
  • Ungewöhnliche Fälle
  • Wichtige Ausschlusskriterien
  • Fehlerhafte oder unklare Informationen
  • Situationen, in denen Mitarbeitende eingreifen müssen

Dokumentieren Sie die verwendeten Eingaben, die KI-Ergebnisse und die fachliche Bewertung. Wiederholen Sie wichtige Testfälle, wenn die Ergebnisse schwanken.

Bestimmen Sie den brauchbaren KI-Aufgabenumfang

Welche Informationsarbeit kann KI ausreichend zuverlässig übernehmen? Vielleicht erfüllt KI die gesamte Aufgabe. Vielleicht kann sie aber nur eine Vorauswahl erstellen, während erfahrene Mitarbeitende die endgültige Beurteilung übernehmen.

Passen Sie den KI-Aufgabenumfang an die getestete Leistung an. Berücksichtigen Sie dabei den verbleibenden menschlichen Aufwand. Eine schnelle KI-Ausgabe bringt wenig, wenn ihre Nachprüfung den gesamten Vorteil aufzehrt.

2

Prüfen Sie die Umsetzungsvoraussetzungen

Können Sie die Voraussetzungen schaffen, damit die getestete KI-Leistung in Ihrem Geschäftsprozess eingesetzt werden kann?

Verwenden Sie die Voraussetzungen aus Ihrem KI-Anforderungsprofil. Prüfen Sie gemeinsam mit den zuständigen Fach-, IT- und Datenverantwortlichen:

Daten und Quellen
Sind die benötigten Informationen verfügbar und aktuell?
Fachliche Regeln
Sind Kriterien und Ausnahmen ausreichend beschrieben?
Zugriffe und Berechtigungen
Dürfen und können Daten und Systeme genutzt werden?
Technische Integration
Sind notwendige Schnittstellen und Systeme vorhanden oder herstellbar?
Qualitätskontrolle
Können die KI-Ergebnisse ausreichend geprüft werden?
Verantwortlichkeiten
Ist klar, wer welche Aufgaben übernimmt?
Betrieb
Können Betreuung, Pflege und Überwachung organisiert werden?

Unterscheiden Sie drei Ergebnisse:

Vorhanden und nutzbar

Die Voraussetzung ist erfüllt.

Muss geschaffen werden

Die Voraussetzung fehlt noch, kann aber voraussichtlich mit vertretbarem Aufwand hergestellt werden.

Kritisch oder ungeklärt

Es besteht eine wichtige Schwierigkeit oder noch keine verlässliche Lösung.

Halten Sie für fehlende oder kritische Voraussetzungen fest: Was muss getan werden? Wer ist verantwortlich? Bis wann soll der Punkt geklärt sein?

Sie benötigen dafür keine umfassende Organisationsanalyse. Prüfen Sie nur die Voraussetzungen, die für die konkrete KI-Aufgabe wichtig sind.

3

Entscheiden Sie über die weitere Umsetzung

Welche KI-Leistung soll tatsächlich entwickelt werden?

Führen Sie die Ergebnisse aus den ersten beiden Schritten zusammen. Prüfen Sie:

  1. Kann KI die benötigte Leistung ausreichend gut erbringen?
  2. Können die Voraussetzungen für ihren Einsatz geschaffen werden?

Treffen Sie anschließend für jede vorgesehene KI-Aufgabe eine begründete Entscheidung.

Entwickeln

Die getestete KI-Leistung erfüllt die wesentlichen Anforderungen ausreichend gut. Die Voraussetzungen sind vorhanden oder können mit vertretbarem Aufwand geschaffen werden.

Bereiten Sie die Entwicklung vor.

Anpassen

KI kann nur einen Teil der Aufgabe zuverlässig genug übernehmen oder wichtige Voraussetzungen fehlen noch.

Passen Sie den KI-Aufgabenumfang an und legen Sie die notwendigen weiteren Arbeiten fest.

Prüfen Sie wesentliche Änderungen bei Bedarf erneut.

Zurückstellen

Die Leistung ist derzeit nicht ausreichend oder wichtige Voraussetzungen lassen sich nicht mit vertretbarem Aufwand schaffen.

Verfolgen Sie diese KI-Aufgabe vorerst nicht weiter.

Das muss nicht bedeuten, dass Ihr gesamtes KI-Projekt beendet wird. Andere priorisierte Aufgaben können weiterhin interessant sein.

Halten Sie die Entscheidung fest

Dokumentieren Sie:

  • Welche KI-Aufgaben entwickelt werden sollen
  • Welche Aufgaben bei den Mitarbeitenden bleiben
  • Welche Voraussetzungen noch geschaffen werden müssen
  • Welche Änderungen gegenüber dem Anforderungsprofil notwendig sind
  • Welche KI-Aufgaben zurückgestellt werden

Prüfen Sie abschließend, ob der erwartete wirtschaftliche Nutzen weiterhin erreichbar erscheint.

Ein guter Test darf Ihren ursprünglichen Plan verändernEntscheidend ist nicht, möglichst viele KI-Aufgaben umzusetzen, sondern mit KI einen tatsächlichen wirtschaftlichen Mehrwert zu erzielen.

Kapitel 5

Vorlagen zum Download

Vorlage T1 · Schritt 1

Machbarkeits- & Trockenlauf-Check

Testen Sie die spezifizierte KI-Leistung an typischen und kritischen Fällen. Dokumentieren Sie erwartete und tatsächliche Ergebnisse und simulieren Sie den späteren Arbeitsablauf mit KI.

T1 herunterladen
Vorlage T2 · Schritt 2

5-Punkte-KO-Filter

Prüfen Sie, ob die KI-Aufgabe technisch, organisatorisch und wirtschaftlich machbar ist: Daten, Aufgabe, Risiko, Integration sowie Kosten und Nutzen. Halten Sie fehlende Voraussetzungen mit den Verantwortlichen fest.

T2 herunterladen
Vorlage T3 · Schritt 3

KI-Umsetzungsentscheidung

Entscheiden Sie, welche KI-Aufgaben weiterentwickelt werden sollen. Führen Sie die Testergebnisse und die Prüfung der Voraussetzungen zusammen. Legen Sie fest, welche Aufgaben entwickelt, angepasst oder zurückgestellt werden.

T3 herunterladen
Praxisbeispiel

Fallbeispiel Schokofino – Modul 4

Schauen Sie sich an, wie Connie und ihr Team vorgehen. Verfolgen Sie, wie sie die KI-gestützte Lieferantenvorauswahl testen, ihre Grenzen erkennen und die notwendigen Voraussetzungen für die Entwicklung klären.

Fallbeispiel herunterladen

Kapitel 6

Häufige Fragen

Müssen wir schon eine fertige KI-Lösung entwickeln, um sie testen zu können?

Nein. Beginnen Sie mit einer klar abgegrenzten Informationsaufgabe. Häufig können Sie diese mit einem geeigneten KI-Werkzeug und vorbereiteten Testdaten untersuchen. Eine vollständige Integration in Ihre bestehenden Systeme ist dafür noch nicht erforderlich.

Reicht ein erfolgreicher Testfall?

Nein. Prüfen Sie mehrere realistische Fälle und berücksichtigen Sie besonders die kritischen Fehler und Ausnahmen. Ein einzelnes gutes Ergebnis beweist noch nicht, dass KI die Aufgabe zuverlässig erfüllt.

Müssen wir alle Anforderungen vollständig erfüllen?

Verbindliche fachliche Mindestanforderungen müssen erfüllt werden. Andere Anforderungen können Sie gegebenenfalls anpassen, solange der verbleibende KI-Aufgabenumfang sinnvoll ist und weiterhin zum Geschäftsziel beiträgt. Senken Sie keine notwendigen Qualitätsanforderungen, nur damit der Test erfolgreich aussieht.

Was machen wir, wenn KI Fehler macht?

Untersuchen Sie die Ursachen. Prüfen Sie, ob bessere Eingaben, klarere Regeln oder eine andere Aufgabenabgrenzung helfen. Manchmal ist es sinnvoller, die KI-Aufgabe zu verkleinern und die kritische Entscheidung bei den Mitarbeitenden zu belassen.

Müssen wir bereits alle technischen Voraussetzungen schaffen?

Nein. Prüfen Sie, welche Voraussetzungen vorhanden sind und welche mit vertretbarem Aufwand geschaffen werden können. Die konkrete technische Entwicklung und Integration erfolgt im nächsten Modul. Die Voraussetzungen für einen sicheren und zulässigen Test müssen allerdings bereits vor dem jeweiligen Test erfüllt sein.

Wer sollte an den Tests beteiligt sein?

Die KI-Projektleitung koordiniert die Arbeit. Beziehen Sie vor allem die Mitarbeitenden ein, die die KI-Ergebnisse später verwenden und fachlich beurteilen sollen. IT- und Datenverantwortliche oder externe KI-Partner unterstützen bei den entsprechenden technischen Fragen.

Wie aufwendig müssen die Tests sein?

Beginnen Sie klein, aber testen Sie aussagekräftig. Wählen Sie typische und kritische Fälle aus der Praxis. Dokumentieren Sie die Ergebnisse und vertiefen Sie die Tests dort, wo wichtige Unsicherheiten bestehen. Ziel ist eine verantwortbare Entscheidung über die weitere Entwicklung, nicht der Nachweis absoluter Fehlerfreiheit.

Ihr nächster Schritt · Modul 5

ENTWICKELN UND INTEGRIEREN

Sie haben getestet, welche Aufgaben KI ausreichend zuverlässig übernehmen kann. Sie kennen die notwendigen Voraussetzungen und haben entschieden, welche Leistungen entwickelt werden sollen.

Entwickeln und integrieren Sie jetzt die geprüften KI-Leistungen in Ihren Geschäftsprozess. Koordinieren Sie die technische Umsetzung mit den beteiligten Teams, bereiten Sie die Mitarbeitenden auf die Zusammenarbeit mit KI vor und begleiten Sie die Einführung im laufenden Betrieb.

Weiter zu Modul 5