Recentemente ho avuto il piacere di essere tra gli organizzatori della giornata di studio su I benefici della crisi della riproducibilità. Nuovi standard di ricerca in psicologia che si è tenuta in Bicocca l’8 giugno 2018.
Questa giornata è stata davvero interessante e ricca di stimoli per chi, come me, fa ricerca nell’ambito della psicologia. Gli interventi sono stati videoregistrati e i filmati sono a disposizione su youtube: qui sotto condivido i link. Il primo intervento, di Massimo Grassi (titolo: Crisi della riproducibilità e Open Science: alle porte di un cambio di paradigma?) https://youtu.be/hkbHqLTWyM4 ha evidenziato il problema della crisi della riproducibilità dei risultati scientifici, alcune possibili cause di questa situazione e possibili soluzioni. Si è parlato di ‘open science’, ossia quell’insieme di iniziative metodologiche, procedurali, ecc., pensate per migliorare le storture dovute alle cattive pratiche di diversa: la condivisione dei dati, script, materiali, l’importanza delle repliche degli studi, gli esperimenti multilaboratorio, la statistica bayesiana, la preregistrazione e gli open badge.
Poi è stata la volta di Franca Agnoli. Il suo intervento si intitolava: Uso (e abuso) di prassi di ricerca problematiche in psicologia https://youtu.be/f8UV4TW7ikQ Franca ci ha parlato di prassi di ricerca problematiche come il cherry picking, il p-hacking, l’ HARKing, mostrando dati raccolti in Italia e all’estero ed evidenziando molte somiglianze tra i dati raccolti in Paesi diversi e in ambiti disciplinari diversi.
Quindi Marcello Gallucci è intervenuto su su: “Condividere progetti e pre-registrare gli studi: I fatti, i vantaggi ed alcuni svantaggi”: https://youtu.be/fHXKthNbB5s Marcello ha evidenziato i vantaggi, ma anche i limiti della condivisione (non solo dei dati, ma anche degli altri elementi del processo di ricerca). Ha anche sottolineato come la condivisione possa aiutare, ma non sia LA soluzione. Un po’ come per il doping nello sport, nel caso della scienza la condivisione dei dati e i connessi sistemi di controllo rendono più difficile la frode scientifica e le prassi problematiche di cui ha discusso Franca, ma non li rendono impossibili.
E’ stata poi la volta di Eraldo Paulesu che nel suo contributo dal titolo “More than pictures: riproducibilità e Open Science per l’imaging funzionale cerebrale” https://youtu.be/fAZS7hytUuA ha raccontato la sua esperienza di come la ricerca sta cambiando, i pregi e i difetti, nell’ambito delle neuroscienze e sottolineato l’importanza della meta-analisi.
Successivamente Irene Mammarella e Simone Cutini hanno raccontato la loro esperienza di open science, nel loro intervento dal titolo “Registered Replication Report of an attentional SNARC experiment for the Perspectives on Psychological Science” https://youtu.be/gB0mSmd0xD4 Irene e Simone ci hanno raccontato la loro esperienza di partecipazione ad un progetto di replica scientifica in crowdsurcing: una ricerca a cui hanno partecipato, congiuntamente, 17 laboratori nel mondo, attraverso l’uso della piattaforma OSF (Open Science Foundation), seguendo un protocollo preregistrato e hanno condiviso con noi alcune riflessioni su quest’esperienza.
Davide Crepaldi, nel suo intervento “L’approccio open-everything: i tanti vantaggi e le molte difficoltà” https://youtu.be/icubDhPEYKI ci ha poi raccontato la sua esperienza, nel creare un laboratorio guidato da una filosofia ‘open everything’: condividere, condividere, condividere: il codice, stimoli, dati, articoli. Man mano che si produce qualcosa, lo si condivide – prima di tutto con il laboratorio, e poi anche al di fuori del laboratorio.
Poi Marco Perugini ci ha parlato di un problema centrale: “Separare il segnale dal rumore: la lezione della crisi della replicabilità in psicologia” https://youtu.be/IZh6PVRMKLc Marco ha velocemente ripreso il tema della crisi della replicabilità: cosa significa replicare un esperimento, i risultati di alcune recenti ricerche di replica di studi psicologici. Ha mostrato che, al di là della mera percentuale di studi che non vengono pubblicati, ci sono altri aspetti problematici: le dimensioni degli effetti, nelle repliche sono molto più basse, alcuni particolari tipi di risultati hanno meno probabilità di essere replicati rispetto ad altri. Ha poi mostrato alcune delle conseguenze positive di questa crisi: si comincia a capire quali effetti siano robusti e quali no, stanno cambiando gli standard di ricerca e di pubblicazione, sta cambiando il livello di consapevolezza e attenzione agli aspetti metodologici e statistici. Ha dato alcuni importanti suggerimenti: tenere conto della potenza statistica, distinguere tra studi esplorativi e confermativi, pensare meta-analiticamente, pensare alle condizioni limite, replicare i risultati nuovi.
L’ultimo intervento è stato quello di Roberto Cubelli: Replicabilità in psicologia: i problemi dell’Open Science e l’esperienza di Cortex https://youtu.be/eoWEGv3aksg Parlando dell’esperienza della rivista Cortex, che dal 2009 ha un’iniziativa di Open Access (accesso libero), Roberto ha sottolineato i vantaggi dell’Open Access e anche le conseguenze negative, principalmente il proliferare di predatory journals. Ha fornito un’interessante spiegazione circa le ragioni alla base delle posizioni assunte da Cortex in merito alle politiche di open access.
Il tutto si è concluso con una tavola rotonda (https://youtu.be/3AgautWnwow), che ha toccato diverse problematiche di natura eterogenea, dagli aspetti legislativi, alle maggiori difficoltà della pre-registrazione in alcuni settori della psicologia, dalla preoccupazione per la perdita di controllo sull’uso che può essere fatto dei propri dati alla necessità di un migliore insegnamento della statistica agli studenti e dottorandi.