Modul 5 — Testen und Pilotieren

Geschrieben von Alexander Seidmann

Zuletzt aktualisiert Vor 3 Monaten

Ziel des Moduls: Sie haben Ihren Avatar gegen alle Golden Questions getestet, das Ergebnis dokumentiert und eine Pilotgruppe benannt.

Die Golden Questions werden jetzt zum Testset

Hier zahlt sich die Arbeit aus Modul 2 aus. Stellen Sie jede Golden Question Ihrem Avatar und bewerten Sie die Antwort gegen die erwartete Antwort nach vier Kategorien:

Bewertung

Bedeutung

Korrekt

Antwort stimmt inhaltlich und ist belegt.

Unvollständig

Im Kern richtig, aber es fehlt etwas (z. B. eine Ausnahme).

Falsch

Inhaltlich falsch – die gefährlichste Kategorie.

Korrekt verweigert

Keine Grundlage vorhanden, Avatar sagt das ehrlich und verweist. Das zählt als Erfolg.

Die Zielwerte vor dem Rollout

  • ≥ 80 % korrekt

  • 0 % falsch-mit-Selbstvertrauen (selbstbewusst falsche Antworten sind ein No-Go)

„Korrekt verweigert" ist ausdrücklich kein Fehler. Ein Avatar, der ehrlich sagt „dazu finde ich keine Grundlage", ist vertrauenswürdig. Ein Avatar, der rät, ist gefährlich.

Die Diagnose-Heuristik beim Eval

Für jede nicht-korrekte Antwort stellen Sie genau eine Frage: Liegt es am Dokument oder am Avatar?

  • Fehlt ein Dokument? → zurück zu Modul 3: ein Schicht-3-Dokument erstellen, das die Frage direkt beantwortet.

  • Verhält sich der Avatar falsch? (rät, zitiert die falsche Quelle, antwortet zu lang) → zurück zu Modul 4: den Systemprompt anpassen.

Dokumentieren Sie jede Maßnahme im Eval-Protokoll (Vorlage im Kurs). So wird aus dem Test eine konkrete To-do-Liste.

Vom Test zum Pilot

Erreichen Sie die Zielwerte, starten Sie einen Pilot mit 5–10 Nutzern aus dem Fachbereich über zwei Wochen. Wichtig ist ein niedrigschwelliger Feedback-Kanal: „Daumen runter + warum" genügt. Jedes negative Feedback ist Gold wert – es zeigt Ihnen die nächste Lücke in Schicht 3.

In der MITTIQ Wissensdatenbank haben Sie die Möglichkeit, jede Antwort mit einem Daumen nach oben oder nach unten zu bewerten und, im Fall von negativem Feedback, einen Kommentar dazu zu schreiben. Administratoren können diese Bewertungen anschließend im Tab “Bewertungen” einsehen und für die Verbesserung der Dokumente und/oder Avatare verwenden.

Warum nicht direkt ausrollen?

Der Pilot deckt Fragen auf, an die Sie beim Sammeln der Golden Questions nicht gedacht haben. Eine kleine, wohlwollende Gruppe verzeiht erste Schwächen und stellt eine intensive Nutzung mit direktem Feedback sicher.

Hausaufgabe

  1. Eval durchführen: alle Golden Questions testen und bewerten.

  2. Ergebnis dokumentieren im Eval-Protokoll inkl. Diagnose und Maßnahme.

  3. Pilotgruppe benennen (5–10 Personen) und Feedback-Kanal festlegen (z.B. MITTIQ Bewertungen und/oder Teams-Kanal).