In questo post parleremo della pratica di registrare gli esperimenti prima che siano realizzati. Soprattutto spiegheremo perché è importante farlo e come funziona.

In cosa consiste la registrazione?
Registrare un esperimento significa depositare su un registro pubblico online la descrizione dello studio randomizzato che si intende condurre. Le informazioni richieste al momento della registrazione sono le seguenti: titolo; parole chiave; abstract; stato di avanzamento dello studio; principali variabili d’interesse; disegno sperimentale; metodo di randomizzazione; unità di randomizzazione, clustering; dimensione del campione e approvazione di un comitato etico. Sempre più spesso la registrazione è  accompagnata da un piano di pre-analisi (PAP) che descrive in maggior dettaglio come il ricercatore intende condurre l’analisi dei dati (Turitto & Welch 2018).  

Perché farlo? Per favorire la trasparenza e garantire la validità degli studi.
Rendere pubblici gli obiettivi dello studio e la metodologia che sarà adottata consente in primo luogo di poter verificare la validità della ricerca e garantire che sia condotta in modo etico e scientificamente rigoroso. Questo è particolarmente utile quando lo studio richiede che siano prese decisioni che lasciano molta discrezionalità al ricercatore, o quando il ricercatore può avere un forte interesse a far emergere un risultato specifico (Banerjee et al. 2020).

Se un ricercatore è prevalentemente interessato alla pubblicazione dei risultati dello studio su una rivista scientifica, è anche molto desideroso di trovare un risultato statisticamente significativo che renda più probabile tale pubblicazione. Nel caso in cui l’esperimento da lui condotto non abbia avuto alcun impatto sulle variabili di maggior interesse, quel ricercatore può essere dunque tentato di omettere questi risultati e presentare solo quelli relativi alle variabili che mostrano un impatto. Ad esempio, quei risultati che dimostrano che il programma oggetto della valutazione “funziona”.

Se un ricercatore scarta, o non segnala, tutte le variabili che non concordano con il risultato desiderato, non solo pubblicherà uno studio di scarso interesse scientifico, ma, in casi estremi, offrirà informazioni del tutto fuorvianti al lettore. Fino al punto di procurare un danno alla collettività, nel caso in cui qualche amministratore pubblico decida di costruire un intervento sulla base delle conclusioni dello studio.

Per evitare la possibilità che questo accada, anche a seguito di alcuni scandali che si sono verificati in passato – come il caso di Brian Wanskin, professore della Cornell University, dimessosi dopo che diversi suoi articoli sono stati ritirati dalla pubblicazione con l’accusa di manomissione dei dati – si è diffusa  e talora resa obbligatoria la prassi della registrazione.

Ma ci sono anche altri motivi…
Ma la trasparenza e la garanzia di validità non sono gli unici vantaggi della registrazione. I registri, se ampiamente utilizzati, possono facilitare la raccolta comprensiva di studi su un determinato argomento per fare meta-analisi; possono offrire una panoramica degli studi giá esistenti e aiutare i ricercatori ad identificare quali sono le domande di ricerca specifiche che aiuterebbero a colmare i gap nella letteratura. Inoltre, la registrazione degli studi garantisce maggior visibilità e accessibilità alla ricerca corrente, anche prima della pubblicazione (che per alcuni RCT particolarmente complessi puó arrivare a richiedere anni). 

Dove è possibile registrare uno studio randomizzato?
Esistono già diversi registri dedicati ad esperimenti condotti in ambito economico o sociale. Questi registri adottano requisiti diversi.

Il registro probabilmente più rilevante per gli economisti, l’American Economic Association (AEA) Randomized Controlled Trial Registry, accetta solo studi controllati randomizzati, senza alcun vincolo in merito all’argomento o al luogo in cui sono condotti. Invece, nel caso del 3ie’s Registry of International Development Impact Evaluations (RIDIE) è possibile registrare tutti i tipi di valutazione di impatto – regression discontinuity design, esperimenti naturali, differenza nelle differenze e così via – ma è necessario che siano condotti in Paesi in via di sviluppo.

Insomma, se siete in procinto di avviare un esperimento randomizzato e desiderate aumentarne la credibilità scientifica, adesso sapete cosa fare. Registratelo!

Sarah Zaccagni



Questo articolo è liberamente ispirato alle risorse pubblicate da J-PAL nelle pagine relative a “Trial registration” e “Pre-analysis plan”. Si ringraziano Laura Feeney, Cillian Nolan, and Anna Lazzarin a J-PAL per il supporto e la condivisione delle loro risorse. Sul sito https://www.povertyactionlab.org/ si trovano altre risorse utili a compilare una pre-registrazione o un pre-analysis plan. La responsabilitá di quanto scritto nell’articolo è solo dell’autrice.

References

Banerjee, A. V. (2020). Field experiments and the practice of economics. American Economic Review, 110(7), 1937-51.

Duru, M., Sautmann, A., Turitto, J., Welch, K., Bencheikh, I., & Kopper, S. Trial registration.

Duru, M., Sautmann, A., Turitto, J., Welch, K., Bencheikh, I., & Kopper, S. Pre-analysis plans.

Turitto, J., & Welch, K. (2018). Addressing the challenges of publication bias with RCT registration. J-PAL Blog.

Resnick, B., and Belluz, J. (2018) A top Cornell food researcher has had 15 studies retracted. That’s a lot. Brian Wansink is a cautionary tale in bad incentives in science. VOX