La scienza giuridica, vittima della peer review anonima

Anche per stimolare il dibattito avviato da M. Moretti, volentieri pubblichiamo questo testo di G. Resta e V. Zeno Zencovich

1. La dottrina giuridica e l’inarrestabile ascesa della double-blind peer review

La selezione dei prodotti scientifici meritevoli di pubblicazione è stata tradizionalmente affidata, in ambito giuridico, alla libera e responsabile scelta dei comitati editoriali stabiliti nell’ambito delle riviste, dei periodici e delle collane universitarie. La maggior parte delle opere che hanno fatto la storia del diritto occidentale – da Gezetzliches Unrecht und übergesetzliches Recht di Gustav Radbruch, a Property Rules, Liability Rules e Inalienability di Guido Calabresi e Douglas Melamed, per citare due esempi significativi – sono passate attraverso questo filtro.

Ferma restando questa premessa, va immediatamente segnalata una differenza importante tra il sistema tradizionalmente adottato in Europa e quello ormai consolidato in ambiente statunitense. Tale differenza attiene al modo in cui è composto il comitato editoriale e specificamente ai soggetti ai quali sono riservate le scelte finali in ordine all’accettazione o meno di un contributo. In Europa, il comitato editoriale o di direzione (di riviste o collane universitarie) è composto principalmente da accademici e, in misura minore, da altri operatori giuridici. Alcune delle riviste specializzate che hanno fatto la storia della dottrina giuridica tra Ottocento e Novecento recano addirittura nel titolo il nome di un singolo studioso, il quale è stato generalmente il fondatore e principale animatore della rivista, concepita come veicolo di un particolare programma scientifico. Al giorno d’oggi, i comitati editoriali sono più ampi e diversificati al loro interno e hanno il compito di assicurare la qualità e il rilievo scientifico dei contributi pubblicati.

Negli Stati Uniti, almeno per quanto riguarda le riviste giuridiche, l’intero processo di valutazione è quasi esclusivamente nelle mani degli studenti. Il primo esempio di una rivista interamente coordinata e gestita dagli stessi studenti è l’Albany Law School Journal, pubblicata per la prima volta nel 1875. La più prestigiosa delle riviste giuridiche USA, la Harvard Law Review, è stata fondata nel 1887, anch’essa avvalendosi del medesimo meccanismo di valutazione. Al giorno d’oggi, tutte le facoltà di giurisprudenza hanno le proprie riviste, gran parte delle quali sono governate dagli studenti. Esistono ovviamente alcuni esempi di riviste prevalentemente o interamente curate da accademici, ma la conclusione alla quale pervengono le più attente analisi in materia è che “the majority of American law reviews are run by students”. Questo sistema non è andato immune da critiche. Diversi autori, in vari momenti, hanno evidenziato gli inconvenienti di natura procedurale e sostanziale insiti nel meccanismo di valutazione affidato agli studenti. Ciononostante, esso rimane il metodo dominante di selezione degli articoli giuridici negli Stati Uniti.

Anche in Europa il tradizionale sistema di valutazione affidato ai comitati scientifici è stato di recente messo in discussione. Tuttavia, le critiche non provengono tanto dal mondo accademico o dalle professioni, quanto soprattutto dalle istituzioni governative e dalle agenzie di valutazione della ricerca, preoccupate della natura apparentemente non scientifica ed oggettiva di un metodo di selezione di carattere top-down. Si è auspicata – e talora sostanzialmente imposta attraverso meccanismi di penalizzazione – di preferenza l’introduzione della revisione paritaria a doppio cieco, quale meccanismo in grado di assicurare una migliore qualità dei prodotti della ricerca, ridurre i rischi di discriminazione e arbitrio che sarebbero insiti nel sistema tradizionale, e in ultimo equiparare gli standard di valutazione adottati dalle varie discipline scientifiche. Di conseguenza, in Europa si sta assistendo a un “trend towards introducing external peer review by members of a diverse professional group, on top of  the peer editing”. Questa soluzione non è stata accettata ovunque (la Germania ne è l’esempio più illustre) e di fatto non può dirsi esistente una policy unitaria in Europa. Tuttavia, l’opzione del referaggio a doppio cieco sta rapidamente guadagnando terreno, soprattutto nei paesi dell’Europa meridionale.

Secondo questo modello, le pubblicazioni giuridiche possono attingere alla qualifica di alta scientificità soltanto ove siano state previamente sottoposte a un processo di peer-review, da condursi alla stregua dello standard del ‘doppio cieco’. In altri termini: il revisore non sa chi sia l’autore; l’autore ignora chi abbia valutato il suo lavoro.

In questo breve articolo non esamineremo nel dettaglio il processo che ha portato alla generalizzazione del meccanismo del referaggio anonimo a doppio cieco, né ci concentreremo sulle singole varianti adottate a livello nazionale. Piuttosto, intendiamo esprimere alcune riserve circa la ragionevolezza di una simile pratica e formulare alcune specifiche obiezioni rispetto al modo in cui essa è concretamente realizzata in particolare nel nostro paese. Essendo entrambi giuristi, limiteremo i nostri rilievi a questo determinato campo del sapere scientifico senza sconfinare in altre discipline, anche se riteniamo – e una parte della letteratura lo conferma – che argomenti analoghi mantengano la loro validità anche al di fuori del settore del diritto.

2. Anonimato, perché? 

Il primo aspetto sul quale intendiamo riflettere criticamente è il dogma dell’anonimato, che è al cuore del meccanismo del doppio cieco. Siamo profondamente convinti, da un lato, che una comunità accademica sia – e debba essere – trasparente e, dall’altro, che essa sia – e debba essere – imperniata sul fattore reputazionale. Allora perché abbiamo bisogno dell’anonimato?

In primo luogo, affrontiamo il problema dell’anonimato dal lato dell’autore che presenta un nuovo lavoro per la pubblicazione. Perché la sua identità dovrebbe essere schermata al valutatore? La risposta standard è che il revisore potrebbe nutrire un pregiudizio a favore o contro l’autore (come individuo o come membro di un gruppo sociale) e potrebbe essere influenzato in modo favorevole o sfavorevole semplicemente sapendo chi ha scritto il contributo in esame. Pertanto, lo scopo principale dell’anonimato dal lato dell’autore è quello di promuovere l’equità e l’oggettività del processo di valutazione, neutralizzando in radice “prejudice and selection bias”. In secondo luogo, si sostiene che, eliminando gli ostacoli artificiali alla pubblicazione derivanti dai bias individuali e aumentando la concorrenza, la qualità complessiva della ricerca scientifica messa a disposizione del pubblico ne risulterebbe significativamente accresciuta.

Tuttavia, riteniamo che l’anonimato non sia né sufficiente né necessario per raggiungere questi obiettivi.

Non è sufficiente perché in campi di ricerca ristretti – come il diritto, che è altamente settoriale e si esprime nelle lingue nazionali, creando comunità epistemiche necessariamente limitate – l’anonimato non è altro che una foglia di fico. Il valutatore – che è un accademico e come tale conosce i membri del ‘club’ e la loro produzione – può facilmente individuare l’identità dell’autore semplicemente guardando il titolo e scorrendo le note a piè di pagina. A quel punto, potrebbe agevolmente cogliere l’occasione per esprimere il suo profondo disaccordo nei confronti della persona o delle sue convinzioni scientifiche. Inoltre, come sottolinea giustamente Van Gestel, “la revisione a doppio cieco può funzionare per combattere i pregiudizi ad hominem, ma non è in grado di prevenire pregiudizi estetici o ideologici da parte dei revisori, perché questi pregiudizi sono direttamente legati alla forma e al contenuto di una pubblicazione”.

Per altro verso, l’anonimato non è necessario. Oggi esistono sul mercato una miriade di riviste e periodici giuridici, pubblicate sia da case editrici che operano for profit, sia da associazioni scientifiche, sia da Dipartimenti universitari, ad accesso aperto o proprietario, on line o in cartaceo, che trattano i più diversi aspetti del diritto. Questa pluralità – talora anche superflua – sembra costituire la migliore salvaguardia per l’equità e la correttezza del processo di revisione, ben più dell’anonimato. Disporre di un’ampia gamma di opzioni in merito alla sede di pubblicazione di un contributo scientifico è di per sé la migliore garanzia che ogni potenziale pregiudizio sarà alla fine assorbito dalle forze di un mercato aperto.

Guardiamo ora al meccanismo dell’anonimato dal lato del revisore. Da questo punto di vista si sostiene che l’anonimato è necessario per garantire la libertà del processo di valutazione, eliminando il timore di ritorsioni per i giudizi espressi e in particolare per le revisioni sfavorevoli.

A tale argomento si deve però contrapporre il rilievo che, come già notato, una comunità accademica è – e dovrebbe essere – il più trasparente e responsabile possibile. Quando accettiamo di esprimere un giudizio su un membro di quella comunità – valutare un contributo è e deve sempre rimanere un’attività puramente volontaria – ci esponiamo noi stessi alla valutazione della medesima comunità scientifica che ci ha conferito il compito in oggetto. E come un giudice sarà tenuto in alta o bassa considerazione sulla base delle sue decisioni, così anche un professore deve rispondere a un criterio di auto-responsabilità. L’onore comporta oneri.

Peraltro, non ravvisiamo alcun vantaggio nell’agire sotto il velo dell’anonimato. Anzi, si profilano molti svantaggi che devono essere presi in attenta considerazione.

In primo luogo, è necessario preservare un valore che spesso sembra essere dimenticato: il livello di civiltà di una determinata comunità di persone. Questa deriva – come peraltro nella maggior parte delle relazioni sociali – dal rispetto delle buone maniere, dall’uso appropriato di eufemismi e, talvolta, da una certa dose di ipocrisia. Ebbene l’anonimato nelle revisioni scientifiche spesso dischiude la via agli stessi eccessi che caratterizzano la sfera dei social media. Possono esserci conflitti, divergenze, inimicizie, persino pregiudizi inconsci che albergano sotto la superficie, ma non sapendo apertamente chi sia l’autore, è molto facile per il revisore evitare di rendere tali conflitti palesi e di riflesso astenersi dal giudicare. Peraltro il valutatore, come abbiamo già osservato, può abbastanza facilmente penetrare il velo dell’anonimato e scoprire l’identità dell’autore, cogliendo così una facile l’occasione per distruggere la credibilità scientifica del malcapitato. L’autore, invece, non saprà mai il nome del cecchino. In questo modo, la peer-review diventa una roulette, arricchita dall’ultima moda degli elenchi predefiniti dei revisori, rispetto alla quale non si può nemmeno confidare nella saggezza del direttore della rivista o della collana per scegliere il revisore appropriato.

Sono stati adottati molti codici etici per prevenire le possibili iniquità del processo di revisione, ma la loro efficacia è prossima allo zero. Nessuno li legge (scrivere una recensione richiede già molto tempo…); nessuno li applica.

È di capitale importanza, per la credibilità della professione, evitare che il mondo accademico diventi come Facebook, Twitter o qualsiasi altro forum online. Le valutazioni e i feedback non devono essere pubblici: essi sono destinati a essere condivisi tra i valutatori, l’autore e i curatori della sede editoriale (rivista, periodico, collana) in cui il lavoro proposto è destinato a essere pubblicato. È un rapporto che deve rimanere confidenziale e non c’è motivo di renderlo pubblico.

Nutriamo anche qualche dubbio sul fatto che i possibili pregiudizi possano essere meglio neutralizzati attraverso l’anonimato e non, al contrario, assumendosi la responsabilità di ciò che si scrive in sede di valutazione.

In una comunità accademica è essenziale la conoscenza reciproca. Gli studiosi più affermati hanno interesse a conoscere meglio i ricercatori più giovani, i loro interessi di studio, i metodi che utilizzano, le prospettive che sviluppano. Allo stesso tempo, chi è nella fase iniziale del percorso scientifico ha interesse a sapere che i prodotti della propria ricerca sono stati apprezzati da studiosi più affermati o da esperti rinomati in determinati settori disciplinari. Anche le critiche sono fruttuose e produttive, se espresse in maniera equilibrata e con rispetto della persona e del lavoro scientifico oggetto di valutazione. Chiaramente questo non implica un approccio paternalistico, e quindi c’è ampio spazio per guidare, correggere, ammonire, deviare. Ma nel mondo accademico i rapporti intergenerazionali sono essenziali e devono essere costruiti sulla base della conoscenza e del rispetto reciproci.

3. Valutazione, perchè? 

L’anonimato della peer-review non soltanto contrasta con l’ideale di una comunità accademica plurale e aperta a un dibattito anche franco, ma civile. Esso è anche in conflitto con gli obiettivi ultimi ai quali dovrebbe mirare il sistema del referaggio a doppio cieco, e che sono stati in precedenza ricordati.

In primo luogo, ci si dovrebbe chiedere: prima che venisse concepita la peer-review anonima, le riviste giuridiche erano piene di sciocchezze e gli editori stampavano libri di nessun valore? Se si riteneva fosse questo il problema, perché si è pensato al referaggio anonimo come soluzione?

Se un siffatto test viene superato in chiave retrospettiva, si può e si deve rispondere a una domanda fondamentale: la peer-review ha contribuito a un miglioramento significativo della qualità delle pubblicazioni giuridiche? La risposta viene da un attento studioso di questi temi (Van Gestel), il quale ha concluso che: “there is little evidence that peer review generally leads to a higher quality of scholarly publications both at the bottom and the top of the publication ladder”.

Come cultori della comparazione, i quali si trovano necessariamente in costante contatto con la letteratura giuridica di molte giurisdizioni, desideriamo esprimere i nostri dubbi. Il problema non sembra essere quello della qualità, ma piuttosto della quantità.

Assistiamo infatti a un crescente profluvio di pubblicazioni, ovviamente tutte peer-reviewed, il quale rende difficile, se non impossibile, selezionare ciò che vale la pena leggere. Prodotti che spesso non apportano alcun contributo allo stato dell’arte, ma si limitano a ripetere in forma diversa ciò che tutti già sanno. Si potrebbe obiettare che la critica alla qualità dell’editoria giuridica è più antica della stessa peer review. Ma ancora una volta, la vera domanda è: la peer-review costituisce la risposta migliore? È davvero uno strumento in grado di migliorare la qualità degli studi giuridici? O è semplicemente un ennesimo fattore che concorre alla crescente – e ormai insostenibile – burocratizzazione del lavoro accademico?

Non bisogna sottovalutare l’importanza di un elemento che generalmente viene trascurato. La peer review può funzionare soltanto se i revisori sono sufficientemente incentivati a svolgere il loro compito con coscienza e diligenza. Ciò implica almeno due condizioni: a) il numero di referaggi non deve essere troppo elevato; b) deve essere prevista qualche forma di incentivazione, sia essa materiale o immateriale, connessa all’attività di valutazione. Per quanto riguarda il punto a), stiamo vivendo un’inflazione di peer review. Le richieste di referaggi stanno letteralmente esplodendo, anche per effetto delle sconsiderate decisioni prese dalle agenzie governative, che tendono a rendere la peer review anonima direttamente o indirettamente obbligatoria per tutte le pubblicazioni “scientifiche”. Sommersi dalla marea di richieste, gli accademici si trovano sempre più frequentemente di fronte alla seguente alternativa: declinare gentilmente l’invito o scrivere una revisione “burocratica” (annacquando il significato stesso del meccanismo di valutazione). Quest’ultima è la soluzione che di regola comporta minori costi di transazione (cioè relazionali). Per quanto riguarda il punto b), non ci vuole un benthamiano convinto per prevedere che la peer review è destinata a fallire se, a fronte di una domanda crescente di revisioni, non siano messi in campo incentivi adeguati a incoraggiare le persone a distrarre tempo utile alla ricerca o altre attività per svolgere valutazioni accurate. Tali incentivi, si ribadisce, non devono essere necessariamente materiali, e in effetti tutto il sistema della scienza si basa su valori intangibili. Per esempio, essere chiamati a svolgere una valutazione per una rivista molto prestigiosa, o ricevere la richiesta da uno studioso rinomato, è una ricompensa sufficiente per la maggior parte di noi. Ma la situazione cambia quando, come abbiamo detto, la peer review si burocratizza e viene utilizzata da quasi tutte le riviste giuridiche. Più ampia è la domanda, maggiore la frequenza delle richieste, più scarsi sono gli incentivi individuali a prendere sul serio l’intero sistema della valutazione anonima.

E questo solleva l’importante questione dello sfruttamento commerciale del lavoro accademico. La peer review è infatti diventata parte integrante di un complesso meccanismo costituito dall’aumento della concorrenza (internazionale) nell’industria editoriale, dalla crescente pressione sulla spesa pubblica, dalla diffusione di metodi quantitativi di valutazione delle performance e dalla diminuzione dei profitti (o addirittura l’aumento dei costi: si pensi all’open access) per gli autori.

La sua diffusione è dovuta, almeno in parte, alla necessità dei governi di basare le scelte di finanziamento e di reclutamento su criteri formalmente oggettivi e astrattamente ‘misurabili’. La peer review esterna è vista come un meccanismo procedurale atto a garantire che il processo di pubblicazione sia presidiato da salvaguardie idonee ad assicurare l’oggettivo valore scientifico del risultato. È quindi più probabile che tale sistema venga accolto e incoraggiato dai ministeri e dalle agenzie governative di valutazione della ricerca.

Gli editori commerciali hanno un particolare incentivo a non essere esclusi dal mercato e hanno quindi adottato la revisione paritaria in doppio cieco per la maggior parte dei loro prodotti. E su chi vengono fatti gravare i costi del processo di revisione? Essi sono stati spostati interamente sugli accademici. A questi viene chiesto di lavorare gratuitamente (le recensioni sono generalmente non retribuite) e a beneficio degli editori commerciali, se sono coinvolti come revisori. Oppure, se figurano come autori, si trovano di fatto a subire i disagi di un processo di valutazione lungo e opaco. Non è necessario condividere posizioni marxiste per denunziare questo sistema, che porta allo sfruttamento del lavoro non retribuito e aggrava la già esistente asimmetria nella distribuzione dell’allocazione dei profitti nel mercato delle pubblicazioni scientifiche.

4. Valutazione, come?

Se la peer-review è semplicemente uno degli strumenti attraverso i quali conseguire un determinato risultato (la qualità delle pubblicazioni); e se questo modello presenta – a nostro avviso – molti più difetti che pregi, quale potrebbe essere l’alternativa?

I suggerimenti che vorremmo avanzare non sono affatto nuovi e a molti sembreranno un ritorno al passato.

1. Il primo punto si basa sulla premessa, già precedentemente esplicitata, per cui il mondo accademico deve essere inteso come una comunità reputazionale. Si viene valutati in base a ciò che si pubblica, a ciò che – e soprattutto a come – si insegna, al proprio comportamento in pubblico e a ciò che gli studiosi, giovani o meno giovani, stimano e promuovono. L’ultimo profilo si rivela essenziale per il corretto apprezzamento delle riviste giuridiche e della loro funzione scientifica: si ha un’alta opinione di una rivista perché, a seguito di esperienze ripetute nel tempo, si sa che essa pubblica di regola contributi seri, ben scritti e documentati. Pertanto, riteniamo che il primo step per un diverso approccio al tema della valutazione sia quello di restituire al comitato editoriale o di direzione la responsabilità scientifica per i contributi pubblicati, la quale è stata forzatamente – e irresponsabilmente – esternalizzata ai peer reviewer Il progetto culturale della rivista o collana ne esce annacquato. La stessa qualità della pubblicazione non è in tal modo assicurata: il comitato editoriale potrebbe ad esempio aver ritenuto un determinato articolo degno di essere pubblicato (in particolare perché conforme a una determinazione inclinazione, magari critica verso l’approccio dominante, della rivista), ma è stato ucciso dal cecchino e non c’è modo di resuscitarlo.
2. Il secondo punto che intendiamo sottolineare è che la peer-review è un meccanismo di valutazione importato dalle scienze dure. Non soltanto deve notarsi che anche in quel campo della ricerca il sistema è lungi dall’essere è incontroverso. Soprattutto, giova considerare che, trasposto negli studi giuridici esso risulta funzionalmente inappropriato. Mentre nel campo delle scienze dure esiste un problema fondamentale di verifica dei dati sperimentali posti alla base di una determinata assunzione, oltre che la necessaria convalida di un nuovo processo o approccio proposto dagli autori, nel settore degli studi giuridici tutto questo è assente o è molto più limitato. La legge, come ciascun giurista di professione sa bene, è aperta a molteplici interpretazioni. Non soltanto è impossibile verificare se l’interpretazione sia ontologicamente corretta, ma soprattutto non siamo affatto interessati a sapere se l’interpretazione proposta sia corretta, quanto se sia razionalmente convincente, sistematicamente coerente, socialmente desiderabile. Ciò che oggi non è accettabile per l’opinione dominante, può comunque trovare spazio all’interno della riflessione accademica, dell’azione delle corti, o delle stesse opzioni legislative. Come insegna l’esperienza di un Oliver Wendell Holmes, di un Lord Denning o di uno stesso Anthony Scalia, ciò che oggi appare contrario all’opinione prevalente, può diventare maggioritario domani. E in ogni caso, a una teoria che non appare convincente, si deve controbattere sulla stessa base, presentando argomenti sul perché ci si oppone. Un processo dialettico la cui sintesi raramente può essere stabilita dalla dottrina giuridica, e talvolta neanche dai tribunali.

Inoltre, e per fortuna, gli studiosi spesso si schierano apertamente nel sostenere determinate opzioni interpretative: chi è più sensibile ai diritti dei lavoratori fornirà una certa lettura dell’apparato normativo, mentre chi premia il ruolo delle imprese presenterà una rassegna opposta sullo stesso argomento. E rimanendo nel campo del diritto privato si possono trovare molti campi contrapposti: consumatori contro produttori; proprietari contro locatari; mutuatari contro istituti di credito, ecc.

A quali risultati può portarci la scelta casuale di un revisore?

Si dovrebbe, in precedenza, indagare non soltanto sui possibili conflitti di interesse dei referee (ma, come detto, l’autore dovrebbe essere anonimo), ma anche sulle scelte di valore da questi professate in relazione a un determinato tema giuridico?

Qual è il valore aggiunto che la revisione può apportare alla qualità di un articolo: equidistanza? Neutralizzazione delle opzioni politiche valoriali? Correzioni delle scelte interpretative e di policy?

Riportare al comitato editoriale – come qui sosteniamo – la responsabilità di ciò che viene pubblicato dovrebbe avere un ulteriore obiettivo.

Da un lato c’è il rischio – quasi una certezza – che la pubblicazione proposta sia un noioso riassunto di ciò che già si conosce, con una quantità impercettibile di novità. Dall’altro lato, ci si trova spesso di fronte ad articoli stravaganti che mettono insieme aspetti per nulla correlati.

Un gruppo di eminenti studiosi è molto più adatto a esprimere un rifiuto netto, piuttosto che lasciare il revisore solitario in difficoltà, magari perché non è un vero e proprio specialista della materia. E questo è ancora più vero quando l’articolo o il libro sono trasversali e toccano diverse aree del diritto e/o diversi ordinamenti giuridici. E certamente un gruppo di eminenti studiosi – conoscendo l’autore e il suo background, oppure addirittura chiedendo informalmente un’opinione informata a un esperto della materia (come si faceva non di rado nel mondo precedente alla burocratizzazione dell’attività di valutazione) – è in grado di capire se la proposta sia davvero innovativa.

Si ha timore di pensare a cosa sarebbe successo se il Vom Beruf di F.C. von Savigny fosse stato sottoposto a una peer-review in doppio cieco (magari per finire nelle mani di un simpatizzante di A. J. Thibaut); o se The Right to Privacy di Warren e Brandeis fosse stato rivisto da un irriducibile fautore del Primo Emendamento, ovviamente schierato con la stampa che aveva pubblicato il dettagliato reportage sul matrimonio della figlia di Warren.

5. A mo’ di conclusione

In conclusione, riteniamo che la peer-review anonima, dopo averla sperimentata per qualche decennio, non abbia alcun merito reale e appaia come un’ipocrita adesione a metodi estranei alla tradizione europea, i cui obiettivi possono essere adeguatamente raggiunti da una revisione aperta e coscienziosa da parte di chiunque si assuma la responsabilità scientifica di una rivista, di un libro, di una collana.

La peer review, nata con nobili intenzioni, ma trapiantata in un modo estraneo al suo per campi di studio e per contesti istituzionali, si è trasformata in null’altro che un ulteriore fattore della tendenza alla burocratizzazione della scienza. Come tale, sarebbe meglio abbandonarla, prima che arrechi ulteriori danni alla qualità della dottrina giuridica.