Bewertungsraster für Abstracts: Kriterien und Beispiele

Warum ein Raster

Ohne Raster kann eine 4 der einen Person dasselbe bedeuten wie eine 2 einer anderen. Ein Raster nimmt das Urteil nicht ab, es macht es vergleichbar und gibt der Leitung etwas an die Hand, wenn Autorinnen und Autoren fragen, warum ihr Abstract abgelehnt wurde.

Fünf Kriterien, die für die meisten Tagungen taugen

Halten Sie die Liste kurz. Jedes Kriterium sollte sich an einem Abstract von einigen hundert Wörtern beurteilen lassen.

• Passung zum Themenfeld: Gehört die Arbeit zu dieser Tagung und diesem Track?
• Wissenschaftliche Solidität: Passen Fragestellung, Methode und Schlussfolgerungen zusammen?
• Originalität und Bedeutung: Bringt die Arbeit dem Publikum dieser Tagung etwas?
• Verständlichkeit: Kann eine Fachperson ohne den vollständigen Beitrag folgen?
• Eignung für das Format: Funktioniert die Arbeit als Vortrag, als Poster oder nur in einem der beiden?

Skala mit Ankern

Nutzen Sie fünf Stufen und beschreiben Sie jede. Die Anker sind wichtiger als die Zahl der Stufen.

5 Ausgezeichnet: klarer Beitrag, solide Methode, würde das Programm bereichern. 4 Gut: solide Arbeit, kleine Schwächen ohne Einfluss auf die Schlussfolgerungen. 3 Akzeptabel: relevant, aber in einem Punkt unvollständig oder unklar. 2 Schwach: erhebliche Probleme bei Methode, Belegen oder Verständlichkeit. 1 Ungeeignet: außerhalb des Themenfelds oder ohne berichtetes Ergebnis.

Empfehlung und Kommentar erfragen

Fragen Sie neben den Punkten nach einer Empfehlung (als Vortrag annehmen, als Poster annehmen, ablehnen) und einem kurzen Kommentar für die Autorinnen und Autoren. Halten Sie vertrauliche Anmerkungen für das Komitee in einem separaten Feld, damit nichts in das Entscheidungsschreiben gelangt.

Beispiel: zwei Abstracts bewerten

Das folgende Beispiel zeigt, wie das Raster den Eindruck einer Gutachterin in eine Bewertung verwandelt, die andere nachvollziehen können. Beide Abstracts sind fiktiv. Beachten Sie, dass das zweite wissenschaftlich interessant ist, aber bei der Verständlichkeit niedrig bewertet wird und der Kommentar genau sagt, was zu korrigieren ist.

Abstract A: „Vorhersage von Flusspegeln mit einem Hybridmodell“ Passung 5 · Solidität 4 · Originalität 3 · Verständlichkeit 5 · Format 5 Summe 22/25 Kommentar für die Autorenschaft: Klar und gut gegliedert. Der Vergleich mit der Referenz überzeugt; bitte geben Sie den Umfang des Testdatensatzes an. Empfehlung: Als Vortrag annehmen. Abstract B: „Ein neuer Ansatz für Grundwasserprobleme“ Passung 4 · Solidität 3 · Originalität 4 · Verständlichkeit 2 · Format 3 Summe 16/25 Kommentar für die Autorenschaft: Die Idee ist vielversprechend, aber das Abstract sagt nicht, welche Daten verwendet wurden und welches Ergebnis vorliegt. Bitte ergänzen Sie Methode und Hauptbefund. Empfehlung: Als Poster annehmen, vorbehaltlich Überarbeitung.

Gewichtung und Gesamtpunktzahl

Fünf gleich gewichtete Werte zu addieren ist die einfachste Möglichkeit und reicht meist. Hält Ihr Komitee manche Kriterien für wichtiger, legen Sie die Gewichte vor der Bewertung fest und teilen Sie sie den Gutachtenden mit, statt sie anzupassen, nachdem Sie die Ergebnisse kennen. Was auch immer Sie wählen: Eine Summe dient dazu, Abstracts zu sortieren, sie ist keine Entscheidung.

• Gleiche Gewichte: leicht zu erklären, Gutachtende müssen nichts rechnen.
• Gewichtet: etwa Solidität doppelt, wenn die Tagung stark methodisch ist.
• Schwellenregeln: etwa jedes Abstract mit 1 bei Passung oder Solidität wird unabhängig von der Summe abgelehnt.
• Grenzbereich: legen Sie vorab den Bereich fest, den das Komitee bespricht, etwa 14 bis 17 von 25.

Das Raster an das Format anpassen

Dieselben fünf Kriterien passen nicht für jede Beitragsform gleich gut. Behalten Sie die Struktur und verschieben Sie die Gewichtung, damit Gutachtende ein Poster nicht dafür abwerten, dass es kein vollständiger Vortrag ist.

• Vortrag: Verständlichkeit und Originalität stärker gewichten, weil das Publikum ihn nur einmal hört.
• Poster: laufende Arbeiten annehmen, wenn Frage und Methode solide sind, und fragen, wie gut es visuell funktioniert.
• Symposiumsvorschlag: ein Kriterium zur Stimmigkeit der Vortragenden und zum Wert der Sitzung als Ganzes ergänzen.
• Kurzfristige Ergebnisse: die Anforderung an eine vollständige Methode lockern, aber fragen, was gemessen wurde.

Häufige Verzerrungen bei Gutachtenden und wie man sie verringert

Gutachtende sind Fachleute, und Fachleute bleiben Menschen. Ein Raster verringert manche Verzerrungen, aber nicht alle. Wenn Sie sie in den Hinweisen für Gutachtende benennen, fallen sie leichter auf.

• Halo-Effekt: Ein gut geschriebener erster Satz färbt den Rest. Bitten Sie, Kriterien einzeln zu bewerten.
• Prestige-Verzerrung: Eine bekannte Institution oder Person hebt die Werte. Nutzen Sie anonymisierte Begutachtung, wo das Fach es zulässt.
• Sprachverzerrung: Das Abstract einer Nicht-Muttersprachlerin wird für den Stil abgewertet. Bitten Sie, die Wissenschaft zu beurteilen und Sprachprobleme getrennt zu markieren.
• Strenge und Milde: Manche bewerten alles niedrig, andere hoch. Vergleichen Sie den Durchschnitt jeder Person mit der Gruppe.
• Ermüdung: Beim zwanzigsten Abstract sinken die Werte. Begrenzen Sie die Zahl pro Person und empfehlen Sie Pausen.

Wenn Gutachtende uneins sind

Uneinigkeit ist normal und oft nützlich. Legen Sie eine Schwelle fest, etwa zwei Punkte Abstand in der Summe oder gegensätzliche Empfehlungen, ab der eine dritte Person oder die Track-Verantwortlichen das Abstract lesen und entscheiden. Bitten Sie die dritte Person, den Grund in ein bis zwei Sätzen festzuhalten, damit sich die Entscheidung später erklären lässt. Vermeiden Sie den Durchschnitt als Weg, das Gespräch zu beenden: Der Durchschnitt aus 5 und 1 sagt nichts über das Abstract, nur über die Gutachtenden. Geht es bei der Uneinigkeit um das Themenfeld und nicht um Qualität, klären Sie das auf Komiteeebene und halten Sie die Regel für die nächste Ausgabe fest.

Kommentare schreiben, die Autorinnen und Autoren nutzen können

Der Kommentar für die Autorenschaft ist der einzige Teil der Begutachtung, den die meisten lesen. Bitten Sie Gutachtende, in dieser Reihenfolge zu sagen, was funktioniert, was nicht und was zu ändern ist, und persönliche Bemerkungen zu vermeiden. Ein nützlicher Kommentar benennt die konkrete Lücke. „Das Abstract ist unklar“ gibt nichts an die Hand; „Das Abstract sagt nicht, wie viele Proben analysiert wurden“ gibt eine Aufgabe. Wissen Gutachtende, dass der Kommentar an die Autorenschaft geht, schreiben sie anders: Sagen Sie das klar und halten Sie vertrauliche Bemerkungen für das Komitee in einem getrennten Feld.

Vor der Bewertung kalibrieren

Lassen Sie vor der Begutachtungsphase alle Gutachtenden dieselben drei Beispiel-Abstracts bewerten und vergleichen Sie. Besprechen Sie die größten Abweichungen zehn Minuten lang. Das ist der günstigste Weg, die Streuung zwischen strengen und großzügigen Gutachtenden zu verringern, und es wirkt besser als ein langes Anleitungsdokument.