Swiss Economics wurde beauftragt, die KI-generierten Paper-Rankings von Kurate.org zu validieren. Kurate.org ist ein automatisiertes Ranking-System, das LLMs einsetzt, um den potenziellen Impact akademischer Preprints zu bewerten.

Unser Validierungsbericht vergleicht verschiedene Ranking-Methoden von Kurate mit beobachteten Ratings menschlicher Experten im Rahmen des Reviewprozesses der Konferenz ICLR 2026. Die Analyse zeigt, dass Kurate Rankings erzeugt, die eng mit der Bewertung menschlicher Experten übereinstimmen. Einzelne Kurate-Rankings übertreffen zudem die Übereinstimmung, die zwischen einzelnen menschlichen Experten und den Entscheidungen des ICLR-Programmkomitees beobachtet wird. Die Resultate sind robust über verschiedene Forschungsgebiete hinweg und werden anhand verschiedener Samples repliziert.

Die Ergebnisse stützen Kurate als glaubwürdiges und kosteneffizientes Tool für das automatisierte Screening von Forschungsarbeiten und werfen interessante Fragen auf, wo KI den akademischen Begutachtungsprozess sinnvoll ergänzen kann.

Methoden

• Rangkorrelationsanalyse
• Dokumentation zuhanden Kurate.org

Publikationen

• Validierungsbericht