Entwickler › Modelle und Betrieb
Bestenlisten und Qualität lesen
Was Bestenlisten messen, wie man Halluzinationsraten zählt und wie Prüffragen zum Test für die eigene Aufgabe werden.
- Modelle und Betrieb
- Stufe 3 · Agentic Engineering hands-on
- etwa 53 min
- 4 Lektionen
- 4 Übungen
- 4 Prüffragen
Lektionen
4 Lektionen · 53 min
- 1Was eine Bestenliste misst13 minProbelektion · frei
- 2Dieselbe Aufgabe, zwei Modelle, ein Maß14 minmit Lizenz
- 3Halluzinationsrate: wie man sie zählt13 minmit Lizenz
- 4Prüffrage als Test: Tests als Tor für Prompts13 minmit Lizenz
Modell-Check am Kursende: in eigenen Worten und an einem neuen FallTeil der LizenzModell klar
Das lernst du
- Du lernst, was die Arena-Bestenliste misst.
- Du lernst, dieselbe Aufgabe mit zwei Modellen an einem Maß zu vergleichen, und was promptfoo ist.
- Du lernst, wie SimpleQA eine Halluzinationsrate zählt.
- Du lernst, warum ein Spitzenplatz in der Arena kein Beleg für die eigene Aufgabe ist.
Danach kannst du
- Danach kannst du zwei Modelle an derselben Aufgabe vergleichen.
- Danach kannst du Prüffragen als Test für deine Prompts einsetzen.
Dauer: Summe der geschätzten Minuten je Lektion. Jede Lektion hat eine Übung und eine Prüffrage mit Quelle.
In den Rollen: Entwickler (Wahl)