Değerlendirmede tarafsızlık: çift-kör hakemlik üzerine

Hakemlik modelleri tartışması, akademik yayıncılığın bitmeyen konularından. Açık hakemlik savunucuları şeffaflığın kaliteyi artıracağını söylüyor; tek-kör modelde hakem yazarı biliyor ama yazar hakemi bilmiyor; çift-kör modelde ise iki taraf da birbirinin kimliğini görmüyor.

Araştırmacıların tercihi bu tartışmada oldukça net. IOP Publishing’in 2024 hakemlik durumu araştırmasında katılımcıların %52’si çift-anonim (çift-kör) hakemliği tercih ettiğini söylüyor — açık hakemliğin epey önünde. Aynı araştırmanın bir başka bulgusu, tercihin nedenini de ima ediyor: 2024’te araştırmacıların %16’sı hakemlik sürecinde önyargı yaşadığını belirtmiş. Bu oran 2020’deki %24’ten düşük; iyileşme var ama sorun bitmiş değil.

Önyargı her zaman kötü niyet de değildir. Tanınmış bir ismin metnine daha hoşgörülü bakmak, bilinmeyen bir kurumdan gelen çalışmaya baştan mesafeli durmak — bunlar çoğu zaman farkında olunmayan eğilimlerdir. Çift-kör model tam bunun için vardır: metni, sahibinden bağımsız değerlendirmeye zorlar.

Türkiye’de çift-kör: tercihten öte, fiilî standart

Türkiye’deki akademik dergiler için çift-kör hakemlik çoğunlukla bir tercih meselesi bile değil. TR Dizin değerlendirme kriterleri her makale için — farklı kurumlardan olmasına özen gösterilerek — en az iki hakem şartı koşuyor ve hakem raporlarının gerçek bir bilimsel değerlendirme içermesini, süreç kayıtlarının saklanmasını istiyor. Dergilerin büyük bölümü yayın politikasında çift-kör modeli beyan ediyor. Yani soru “çift-kör mü olsun?” değil; “beyan ettiğimiz çift-körlüğü gerçekten sağlayabiliyor muyuz?”

Bu ikinci soru, ilkinden çok daha zorlu.

Anonimlik nerelerden sızar

Çift-kör hakemliğin kâğıt üzerindeki tanımı basittir; pratikte ise anonimlik onlarca küçük delikten sızar:

• Dosyanın kendisi. Word dosyasının “yazar” alanında ad durur; PDF üstverisinde kurum adı gezer. Kapak sayfası çıkarılmıştır ama dipnottaki “bu çalışma X projemizin devamıdır” cümlesi durmaktadır.
• E-posta trafiği. Süreç e-postayla yürüyorsa, bir “yanıtla” kazası ya da yanlış CC, aylarca titizlikle korunan anonimliği bir saniyede bitirir.
• Dolaylı ipuçları. Hakeme giden yazışmada eser kodu yerine yazar adının geçmesi, revizyon dosyasının adının “aliveli_makale_v3.docx” olması…

Dikkat edin: bu sızıntıların hiçbiri kötü niyetle olmaz. Hepsi, anonimliğin insan dikkatine emanet edilmesinin doğal sonucudur. Ve dikkat, günde kırk başvuruyla uğraşan bir sekreteryanın en kıt kaynağıdır.

Sistemin işi: anonimliği dikkat meselesi olmaktan çıkarmak

Bizim bu konudaki yaklaşımımız net: çift-körlük bir nezaket kuralı değil, sistemin sahiplendiği bir kural olmalı.

Nasirus’ta hakem, ekranında yazarı değil eseri görür; yazar tarafında da hakemler “Hakem 1, Hakem 2” olarak yaşar. Yazışmalar sistemin içinde aktığı için yanlış CC diye bir kaza sınıfı yoktur. Anonimlik, sürecin başından sonuna kimsenin dikkatine emanet edilmez; sistem bunu kendi işi sayar.

Bunun bir yan faydası daha var: TR Dizin’in istediği süreç dokümantasyonu — kim atandı, rapor ne zaman geldi, karar nasıl verildi — anonimlik korunurken kendiliğinden birikir. Kayıt tutmak ile kimlik gizlemek, elle yürüyen süreçlerde birbiriyle çelişen iki iş yüküyken, sistemde aynı mekanizmanın iki çıktısıdır.

Çift-körün sınırları hakkında dürüst olmak

Modelin savunucusuyuz ama sınırlarını da söylemek gerek: çift-kör anonimlik, mutlak anonimlik değildir.

Dar alanlarda uzmanlar birbirinin çalışma çizgisini tanır; “bu üslup, bu veri seti, bu atıf örüntüsü” üzerinden yazarını tahmin eden hakem her zaman olacaktır. Öz-atıflar da (“önceki çalışmamızda göstermiştik ki…”) kimliği ele veren klasik açıklardandır — bu yüzden birçok dergi, değerlendirme nüshasında öz-atıfların nötrleştirilmesini ister.

Bu sınırlar modeli değersizleştirmez; hedefini netleştirir. Çift-körün amacı tahmin edilemezlik garantisi değil, teyit edilememe garantisidir: hakem tahmin edebilir ama bilemez; ve karar, isme değil metne yazılmak zorunda kalır. Sistemin görevi de tahmini kolaylaştıran kaçaklara alan bırakmamaktır ki hakemin elinde spekülasyondan başka bir şey kalmasın.

Bir de sürecin öbür ucu var: değerlendirme bitip eser kabul edildiğinde anonimliğin ne zaman ve nasıl kalkacağı da tanımlı olmalıdır. Üretim aşamasında yazarla çalışan ekip elbette kimliği bilir; ama hakemler, süreç bittikten sonra bile yazar-üretim yazışmalarının dışında kalır. Anonimlik bir aşama değil, bir duvar disiplinidir.

Model tartışması sürecek; disiplin tartışılmaz

Açık hakemlik deneyleri sürüyor ve bazı alanlarda değerli sonuçlar üretiyor; hangi modelin “doğru” olduğu muhtemelen alana göre değişen bir cevap. Ama hangi model seçilirse seçilsin değişmeyen bir şey var: derginin beyan ettiği modeli fiilen, istisnasız ve belgelenebilir şekilde uygulaması gerekir. Politika sayfasında “çift-kör” yazan bir derginin hakem daveti e-postasında yazar adının geçmesi, model tartışmasından bağımsız olarak bir güven sorunudur.

Kendi sürecinizde anonimliğin nereden sızabildiğini görmek için basit bir tatbikat öneriyoruz: son kabul ettiğiniz makalenin hakem sürecindeki bütün dosya ve yazışmaları açın, bir yazar gözüyle “beni buradan tanırlar mıydı?” diye okuyun. Sonuç sizi şaşırtırsa — çoğu dergiyi şaşırtıyor — anonimliği sistemle koruyan bir akışı konuşmak için bize yazın.