Peer Review für wissenschaftliche Tagungen organisieren

Von Akten ausgehen, nicht von einem Postfach

Leben Abstracts in einem Formular-Tool und Kommentare in E-Mails, kann der Chair eine einfache Frage nicht beantworten: wer hat diesen Beitrag gesehen, wer hat sich zurückgezogen, und was wurde der Autorin gesagt. Ein vertretbarer Ablauf hält Zuweisung, Bewertungen, Komiteenotizen und den Entscheidungsbrief auf derselben Abstract-Akte, die der Eingang schon angelegt hat.

Konflikte vor dem Scoring

Koautorinnen, kürzliche Kollaborationen und Same-Institution-Regeln sollten die Zuweisung blockieren, nicht als Fußnote erscheinen, nachdem ein Score existiert. Tagungskomitees haben auch eigene Konflikte: ein Themenchair, der das Symposium vorgeschlagen hat, sollte es nicht still begutachten. Erklären Sie diese Regeln, solange der Call noch offen ist, nicht am Wochenende nach der Frist.

Trennen, was Autorinnen sehen, von dem, was das Komitee sieht

Autorenseitiger Entscheidungstext und vertrauliche Bemerkungen sind verschiedene Objekte. Sie in einer Tabellenspalte zu mischen, ist, wie durchgesickerte Kommentare entstehen. Sichtbarkeit nach Rolle konfigurieren: Gutachtende, Themenleitung, Programmchair, Sekretariat.

Entscheidungen müssen Sessions werden

Annehmen, ablehnen, Poster statt Vortrag oder eingeladene Revision zählen nur, wenn der Programm-Builder das Ergebnis verbrauchen kann. Ein Begutachtungs-Tool, das ein CSV in den Zeitplan des Vorjahres exportiert, bleibt zwei Produkte. Diese Naht ist der Grund, warum Eventumbot Begutachtung als Teil des Kongressbetriebs behandelt, nicht als isolierte Bewertungs-App.

Eine Prüfspur hinterlassen, die der nächste Chair erben kann

Gesellschaften rotieren Ämter. Der eingehende Chair sollte sehen, wer abgelehnt hat, wer spät war und welche Beiträge im Komitee diskutiert wurden — ohne einen Übergabe-Roman. Kann Ihr heutiger Prozess einen neuen Ehrenamtlichen nicht überleben, ist er noch kein Prozess.

Der Ablauf in sieben Schritten

Aufgeschrieben ist der Prozess kurz. Jeder Schritt braucht eine verantwortliche Person und ein Datum.

• Der Call endet und die Leitung friert die Abstractliste ein.
• Konflikte werden erklärt und geprüft.
• Gutachtende werden nach Thema und Auslastung zugewiesen.
• Gutachtende bewerten nach einem Raster und schreiben einen Kommentar für die Autorenschaft.
• Das Komitee klärt Grenzfälle.
• Entscheidungen werden getroffen und Schreiben versandt.
• Angenommene Abstracts gehen ins Programm über.

Beispiel: Gutachtende zuweisen

Nehmen wir eine Tagung mit 300 Abstracts und 40 Gutachtenden. Bei drei Gutachten pro Abstract brauchen Sie 900 Gutachten, also 22 bis 23 pro Person. Das ist viel: Begrenzen Sie die Last, gewinnen Sie eine Reserve und weisen Sie zuerst nach Thema zu. Halten Sie fünf bis zehn Gutachtende zurück, bis die ersten Rückzüge eintreffen, und weisen Sie bei Absagen schnell neu zu.

Eine einfache Entscheidungsmatrix

Vereinbaren Sie die Regeln, bevor Bewertungen eintreffen, damit Grenzfälle gleich behandelt werden.

• Hoher Durchschnitt, Gutachtende einig: annehmen, als Vortrag oder Poster nach Wunsch und Kapazität.
• Hoher Durchschnitt, Gutachtende uneinig: Die Track-Verantwortlichen lesen die Gutachten und entscheiden.
• Mittlerer Wert: als Poster annehmen, wenn die Kapazität es erlaubt.
• Niedriger Wert, Gutachtende einig: ablehnen, mit den für die Autorenschaft geschriebenen Kommentaren.
• Ungeklärter Konflikt: Die Leitung weist vor einer Entscheidung neu zu.

Bevor die Begutachtung beginnt

Nutzen Sie die folgende Checkliste und lesen Sie dann unser Bewertungsraster für Abstracts und die E-Mail-Vorlagen für Gutachtende. Die bei der Einreichung erfassten Felder, beschrieben in unserem Leitfaden zum Einreichungsformular, bestimmen, wie gut sich Gutachtende zuordnen lassen.

• Raster vereinbart und den Gutachtenden bekannt.
• Konfliktrichtlinie veröffentlicht, Erklärungen eingeholt.
• Einladungen an Gutachtende versandt und angenommen.
• Obergrenze der Last und Reserveliste festgelegt.
• Sichtbarkeitsregeln für Gutachtende, Track-Verantwortliche und Sekretariat gesetzt.
• Entscheidungsmatrix und Schreiben-Vorlagen bereit.

Ein Begutachtungsmodell wählen

Das Modell bestimmt, wer wessen Identität sieht, und prägt Fairness und Arbeitsaufwand. Wählen Sie es vor dem Start des Calls und nennen Sie es in der Ankündigung.

• Einfach anonym: Gutachtende sehen die Autorenschaft, diese die Gutachtenden nicht. Einfach und erlaubt das Erkennen von Konflikten, kann aber bekannte Namen begünstigen.
• Doppelt anonym: Keine Seite sieht die andere. Verringert die Prestige-Verzerrung, aber die Autorenschaft muss ihr Abstract anonymisieren, und Konflikte sind schwerer zu erkennen.
• Offene Begutachtung: Identitäten sind beiden Seiten bekannt. Fördert Höflichkeit und Verantwortlichkeit, aber manche Gutachtende halten sich zurück.

Arbeitslast der Gutachtenden und Fairness

Wer fünfzig Abstracts bekommt, wird sie überfliegen. Begrenzen Sie die Last und verteilen Sie sie nach Fachwissen, damit niemand Arbeiten weit außerhalb seines Fachs beurteilen muss. Halten Sie fest, wie viele Abstracts jede Person hat und wie viele abgeschlossen sind, und gleichen Sie zur Halbzeit der Begutachtung aus. Deckt eine kleine Zahl Gutachtender ein enges Thema ab, sagen Sie es ihnen vorab und danken Sie ihnen; sie tragen die Tagung.

Mit Gutachtenden während der Begutachtung sprechen

Gutachtende brauchen drei Nachrichten: die Anleitung zu Beginn, eine Erinnerung zur Halbzeit mit der Zahl der noch offenen Abstracts und eine letzte Erinnerung zwei Tage vor der Frist. Halten Sie jede kurz, verlinken Sie die Anleitung und nennen Sie eine Ansprechperson. Meldet jemand ein Problem, etwa ein Abstract, das sich nicht öffnen lässt, oder einen Konflikt, antworten Sie binnen eines Tages. Gutachtende sind Ehrenamtliche, und Schnelligkeit der Antwort gehört zum Umgang mit ihnen.

Eine Tagesordnung für die Komiteesitzung zu Grenzfällen

Nicht jedes Abstract braucht eine Diskussion. Bereiten Sie eine Liste nur der Grenzfälle vor und nutzen Sie eine kurze Tagesordnung, damit die Sitzung pünktlich endet.

1. Entscheidungsregeln bestätigen (5 Min.) 2. Abstracts mit widersprüchlichen Gutachten, nach Track (30 Min.) Je Abstract: Kommentare der beiden Gutachtenden werden gelesen; die Track-Leitung schlägt vor; das Komitee entscheidet 3. Abstracts nahe der Schwelle für Poster (15 Min.) 4. Kapazitätsprüfung: verfügbare Vortragsslots und Posterwände (10 Min.) 5. Entscheidungen und Versanddatum der Schreiben bestätigen (5 Min.)

Einen Nachweis führen, den man einer Autorenperson zeigen könnte

Früher oder später fragt jemand, warum sein Abstract abgelehnt wurde. Bewahren Sie Bewertungen, Kommentare und Entscheidungsgrund beim Abstract auf. Eine einzeilige Notiz wie „Unter der Schwelle bei Solidität; Gutachtende einig“ genügt. Hat sich eine Entscheidung nach der Komiteediskussion geändert, halten Sie den Grund fest. Ziel ist nicht, jede Entscheidung zu verteidigen, sondern jede erklären zu können und zu zeigen, dass das Verfahren gleichmäßig angewandt wurde.

Häufige Fehlerquellen

Diese Probleme beschädigen ein Begutachtungsverfahren am häufigsten.

• Gutachtende zugewiesen, bevor Konflikte geprüft wurden.
• Raster erst geteilt, nachdem manche Gutachtende schon begonnen hatten.
• Keine Reserve an Gutachtenden, sodass Absagen Abstracts mit nur einem Gutachten zurücklassen.
• Entscheidungsschreiben, die die vertraulichen Kommentare wiederholen.
• Späte Änderungen der Annahmeschwelle ohne Nachweis.
• Niemand ist zuständig, verstummte Gutachtende anzumahnen.

Messen, wie das Verfahren gelaufen ist

Betrachten Sie nach den Entscheidungen einige Zahlen: den Anteil fristgerechter Gutachten, die Zeit von der Einreichungsfrist bis zu den Entscheidungsschreiben, die Zahl neu zugewiesener Abstracts und die Streuung der Bewertungen zwischen Gutachtenden. Notieren Sie sie und vergleichen Sie sie mit der nächsten Ausgabe. Fragen Sie Gutachtende auch in einer kurzen Umfrage, ob Aufwand und Anleitung angemessen waren. Die Zahlen zeigen, wo das Verfahren langsam war; die Kommentare sagen, warum.