Zum Inhalt
KIdemie Konto

Bestenlisten und Qualität lesenLektion 1 von 4Probelektion, ohne Konto

Was eine Bestenliste misst

1Ziel

Du lernst, was die Arena-Bestenliste misst.

Baustein Was Bestenlisten verzerrt Woran du es erkennst: Die Liste nennt, wer bewertet und wie gezählt wird.

Hilf mir

  1. 1Die Lösung mit Beleg

    Nutzer sehen zwei anonyme Modelle und wählen „your preferred response“; erst danach werden die Namen gezeigt. Aus den Stimmen rechnet Arena die „Bradley-Terry coefficients, which we formerly called the Elo score“.

2Erklären

Ein Anbieter wirbt mit „Platz eins der Arena“, und das Team will sofort wechseln. Finde zuerst den Satz über Bestenlisten, der keine Quelle hat.

Dieser Kurs erklärt erst in einem Stil (Regel zuerst).

Hilf mir

  1. 1Die Lösung mit Beleg

    Nutzer sehen zwei anonyme Modelle und wählen „your preferred response“; erst danach werden die Namen gezeigt. Aus den Stimmen rechnet Arena die „Bradley-Terry coefficients, which we formerly called the Elo score“.

3Mitmachen

Übung

Vier dieser Sätze stehen mit Quelle im Netz, einer nicht. Welcher?

  1. Arena (vormals LMArena, heute arena.ai) zeigt zwei anonyme Modelle; Nutzer wählen „your preferred response“, erst danach werden die Namen gezeigt — gemessen wird Vorliebe, nicht Richtigkeit.
  2. Mit „style control“ rechnet Arena vier Stilmerkmale aus dem Score heraus: Antwortlänge in Token sowie die Zahl der Markdown-Überschriften, der fett gesetzten Stellen und der Listen.
  3. Arena prüft jede Antwort gegen eine Musterlösung und zählt, wie oft ein Modell richtig liegt.
  4. Artificial Analysis bewertet alle Modelle „under identical conditions“, mit Temperatur 0 für Modelle ohne und 0,6 für Modelle mit Denkschritt, sofern das Labor nichts anderes empfiehlt.
  5. Vor der Veröffentlichung von Llama 4 zählten die Autoren 27 private Varianten, die Meta auf der Arena testete.
Hilf mir

  1. 1Die Lösung mit Beleg

    Nutzer sehen zwei anonyme Modelle und wählen „your preferred response“; erst danach werden die Namen gezeigt. Aus den Stimmen rechnet Arena die „Bradley-Terry coefficients, which we formerly called the Elo score“.

4Prüfen

Prüffrage

Was misst die Arena-Bestenliste?

Hilf mir

  1. 1Die Lösung mit Beleg

    Nutzer sehen zwei anonyme Modelle und wählen „your preferred response“; erst danach werden die Namen gezeigt. Aus den Stimmen rechnet Arena die „Bradley-Terry coefficients, which we formerly called the Elo score“.

5Einordnen

Das passt so ins Modell: Jede Liste hat eine Regel — wer sie nicht kennt, liest die Zahl falsch.

Das Modell des Kurses Eine Bestenliste misst ihre eigene Aufgabe mit ihrer eigenen Regel — für deine Aufgabe zählt nur dein Test mit deinem Maß.

Hilf mir

  1. 1Die Lösung mit Beleg

    Nutzer sehen zwei anonyme Modelle und wählen „your preferred response“; erst danach werden die Namen gezeigt. Aus den Stimmen rechnet Arena die „Bradley-Terry coefficients, which we formerly called the Elo score“.

Begriffe dieser Lektion

Bestenliste

Nicht belegt — die Recherche enthält zu „Bestenliste“ noch keine Aussage.

6 weitere Aussagen

Was Bestenlisten verzerrt

Wer vorab viele Varianten heimlich testen darf oder mehr Abstimmungsdaten bekommt, steht auf einer Bestenliste besser da, ohne allgemein besser zu sein.

2 weitere Aussagen

Raten wird belohnt

Modelle werden wie Prüflinge in Multiple-Choice-Tests bewertet: Raten bringt Punkte, „weiß ich nicht“ bringt keine.

2 weitere Aussagen