Unvoreingenommen begutachten: über das doppelblinde Peer Review

Die Debatte um Begutachtungsmodelle gehört zu den Dauerthemen des wissenschaftlichen Publizierens. Befürworter des offenen Peer Review sagen, Transparenz steigere die Qualität; im einfachblinden Modell kennt der Gutachter den Autor, aber der Autor nicht den Gutachter; im doppelblinden Modell sehen beide Seiten die Identität des jeweils anderen nicht.

Die Präferenz der Forschenden ist in dieser Debatte ziemlich eindeutig. In der Umfrage von IOP Publishing zum Stand des Peer Review 2024 geben 52 % der Befragten an, doppelt-anonymes (doppelblindes) Peer Review zu bevorzugen — mit deutlichem Abstand vor dem offenen Modell. Ein weiterer Befund derselben Untersuchung deutet den Grund an: 2024 berichteten 16 % der Forschenden, im Begutachtungsprozess Voreingenommenheit erlebt zu haben. Das ist weniger als die 24 % von 2020; es gibt eine Verbesserung, aber das Problem ist nicht verschwunden.

Voreingenommenheit ist nicht immer böser Wille. Dem Text eines bekannten Namens nachsichtiger zu begegnen, einer Arbeit aus einer unbekannten Institution von vornherein mit Distanz — das sind meist unbewusste Neigungen. Genau dafür gibt es das doppelblinde Modell: Es zwingt dazu, den Text unabhängig von seinem Urheber zu bewerten.

Doppelblind in der Türkei: mehr als eine Präferenz, ein faktischer Standard

Für akademische Zeitschriften in der Türkei ist doppelblindes Peer Review meist nicht einmal eine Frage der Präferenz. Die Bewertungskriterien von TR Dizin — dem nationalen Zeitschriftenindex der Türkei, betrieben von TÜBİTAK ULAKBİM — verlangen für jeden Artikel mindestens zwei Gutachter, nach Möglichkeit aus verschiedenen Institutionen, und fordern, dass Gutachten eine echte wissenschaftliche Bewertung enthalten und die Prozessunterlagen aufbewahrt werden. Der Großteil der Zeitschriften deklariert in seiner Publikationsrichtlinie das doppelblinde Modell. Die Frage lautet also nicht “Soll es doppelblind sein?”, sondern: “Können wir die Doppelblindheit, die wir deklarieren, tatsächlich gewährleisten?”

Diese zweite Frage ist erheblich schwieriger als die erste.

Wo Anonymität leckt

Auf dem Papier ist doppelblindes Peer Review einfach definiert; in der Praxis sickert die Anonymität durch Dutzende kleiner Löcher:

• Die Datei selbst. Im Feld “Autor” der Word-Datei steht der Name; in den PDF-Metadaten wandert der Institutionsname mit. Das Deckblatt wurde entfernt, aber in der Fußnote steht noch der Satz “diese Arbeit setzt unser Projekt X fort”.
• Der E-Mail-Verkehr. Läuft der Prozess per E-Mail, beendet ein “Antworten”-Unfall oder ein falsches CC in einer Sekunde eine monatelang sorgsam gehütete Anonymität.
• Indirekte Hinweise. Der Autorenname statt des Werkcodes in der Nachricht an den Gutachter, die Revisionsdatei mit dem Namen “mueller_artikel_v3.docx” …

Wohlgemerkt: Keines dieser Lecks entsteht aus bösem Willen. Alle sind die natürliche Folge davon, dass Anonymität der menschlichen Aufmerksamkeit anvertraut wird. Und Aufmerksamkeit ist die knappste Ressource eines Sekretariats, das täglich vierzig Einreichungen bewältigt.

Die Aufgabe des Systems: Anonymität von der Aufmerksamkeit entkoppeln

Unsere Haltung dazu ist klar: Doppelblindheit ist keine Höflichkeitsregel, sondern eine Regel, die sich das System zu eigen macht.

In Nasirus sieht der Gutachter auf seinem Bildschirm nicht den Autor, sondern das Werk; auf der Autorenseite leben die Gutachter als “Gutachter 1, Gutachter 2”. Weil die Korrespondenz im System fließt, existiert die Unfallklasse “falsches CC” gar nicht erst. So bleibt die Anonymität von Anfang bis Ende keiner menschlichen Aufmerksamkeit anvertraut — das System betrachtet sie als seine eigene Angelegenheit.

Das hat einen Nebeneffekt: Die Prozessdokumentation, die TR Dizin verlangt — wer wurde zugewiesen, wann kam das Gutachten, wie fiel die Entscheidung —, sammelt sich von selbst an, während die Anonymität gewahrt bleibt. Protokollieren und Identitäten verbergen sind in manuellen Prozessen zwei einander widersprechende Arbeitslasten; im System sind sie zwei Ausgaben desselben Mechanismus.

Ehrlich sein über die Grenzen des Doppelblinden

Wir verteidigen das Modell, aber seine Grenzen gehören dazugesagt: Doppelblinde Anonymität ist keine absolute Anonymität.

In engen Fachgebieten kennen Experten die Arbeitslinien der anderen; den Gutachter, der über “diesen Stil, diesen Datensatz, dieses Zitationsmuster” den Autor errät, wird es immer geben. Auch Selbstzitate (“wie wir in unserer früheren Arbeit gezeigt haben …”) gehören zu den klassischen Verräterstellen — weshalb viele Zeitschriften verlangen, Selbstzitate in der Begutachtungsfassung zu neutralisieren.

Diese Grenzen entwerten das Modell nicht; sie schärfen sein Ziel. Das Ziel des Doppelblinden ist keine Garantie der Unerratbarkeit, sondern eine Garantie der Nicht-Bestätigbarkeit: Der Gutachter kann vermuten, aber nicht wissen; und das Urteil muss dem Text gelten, nicht dem Namen. Aufgabe des Systems ist außerdem, den Lecks, die das Raten erleichtern, keinen Raum zu lassen — damit dem Gutachter nichts bleibt als Spekulation.

Und dann ist da noch das andere Ende des Prozesses: Wenn die Begutachtung endet und das Werk angenommen ist, muss auch definiert sein, wann und wie die Anonymität fällt. Das Team, das in der Produktion mit dem Autor arbeitet, kennt die Identität selbstverständlich; aber die Gutachter bleiben auch nach Abschluss des Prozesses außerhalb der Korrespondenz zwischen Autor und Produktion. Anonymität ist keine Phase, sondern eine Wand-Disziplin.

Die Modelldebatte geht weiter; die Disziplin steht nicht zur Debatte

Die Experimente mit offenem Peer Review laufen und liefern in manchen Feldern wertvolle Ergebnisse; welches Modell das “richtige” ist, hat vermutlich je nach Fach eine andere Antwort. Aber welches Modell auch gewählt wird, eines ändert sich nicht: Die Zeitschrift muss das Modell, das sie deklariert, faktisch, ausnahmslos und belegbar praktizieren. Wenn auf der Richtlinienseite “doppelblind” steht und in der Einladungs-E-Mail an den Gutachter der Autorenname auftaucht, ist das — unabhängig von jeder Modelldebatte — ein Vertrauensproblem.

Um zu sehen, wo in Ihrem eigenen Prozess Anonymität entweichen kann, empfehlen wir eine einfache Übung: Öffnen Sie sämtliche Dateien und Korrespondenz aus dem Begutachtungsprozess des zuletzt angenommenen Artikels und lesen Sie sie mit Autorenaugen — “würde man mich hieran erkennen?” Wenn das Ergebnis Sie überrascht — es überrascht die meisten Zeitschriften —, schreiben Sie uns, um über einen Ablauf zu sprechen, der Anonymität systemseitig schützt.