Vorlage — Eval-Protokoll

Geschrieben von Alexander Seidmann

Zuletzt aktualisiert Vor 3 Monaten

Mit diesem Protokoll testen Sie Ihren Avatar gegen die Golden Questions (Modul 5). Es macht aus dem Test eine konkrete To-do-Liste: Jede nicht-korrekte Antwort führt zu genau einer Maßnahme.

Bewertungskategorien

Diagnose & Maßnahme

Für jede nicht-korrekte Antwort: Liegt es am Dokument oder am Avatar?

Dokument fehlt → Maßnahme: Schicht-3-Dokument erstellen (Modul 3).
Avatar verhält sich falsch (rät, falsche Quelle, zu lang) → Maßnahme: Systemprompt anpassen (Modul 4).

Vorlage (zum Kopieren)

Nr.	Frage	Antwort des Avatars	Bewertung	Diagnose	Maßnahme
1
2
…

Ausgefülltes Beispiel: Hilfsmittel-Avatar

Nr.	Frage	Antwort des Avatars	Bewertung	Diagnose	Maßnahme
1	Übernimmt die Kasse Hörgerätebatterien für Erwachsene?	„Nein, für Erwachsene grundsätzlich nicht; Ausnahme bei Taubblindheit (Leistungstabelle Hilfsmittel)."	Korrekt	–	–
2	Festbetrag für Einlagen PG 08?	„Dazu finde ich keine Grundlage in den hinterlegten Dokumenten."	Falsch	Festbetragstabelle nicht in Antwortschicht	Festbetragstabelle als Schicht-3-Dokument hochladen
3	Braucht ein Rollator eine ärztliche Verordnung?	„Ja, eine ärztliche Verordnung ist erforderlich."	Unvollständig	Ausnahme/Genehmigungsgrenze fehlt im Dokument	Hausregel um Genehmigungsgrenze ergänzen
4	Wird eine Perücke bei dauerhaftem Haarausfall übernommen?	„Ja, in jedem Fall."	Falsch	Avatar rät statt Voraussetzungen zu prüfen	Grenzverhalten im Systemprompt schärfen + Voraussetzungs-Dokument anlegen

Auswertung (Beispiel)

Korrekt: 1 von 4 (25 %) → unter Zielwert, noch nicht pilotreif.
Falsch: 2 → kritisch, vorrangig beheben.

Nach Umsetzung der Maßnahmen: erneut testen, bis ≥ 80 % korrekt und 0 % falsch erreicht sind.

Ein niedriger Erststand ist normal und verbessert sich bei steigender Dokumenten- und Avatar-Qualität in den meisten Fällen drastisch.