I just finished Stuart Ritchie's jaw-dropping book "Science Fictions" which exposes the deleterious effects of fraud, bias, negligence and hype on the constitution of scientific knowledge. Of course this is a a deplorable but all-too-familiar observation, however the book brings a new level of detail. (1/3)
It's reassuring to know that despite the perverse incentives, despite the crooked publication system, science does actually contain the tools to evaluate its own weaknesses, and maybe to heal itself. (3/3)
Another two cents about this book: reading the stories of scientific misconducts, and in particular of fraudsters who were supported by their institutions against all evidence (for example Paolo Macchiarini at Sweden's Karolinska Institutet https://en.wikipedia.org/wiki/Paolo_Macchiarini) reminded me of the way universities also cover up sexual harassment cases almost systematically... It is interesting (and depressing) to see how the "cover up culture" in academia goes way beyond sexual violence at work and seems to include in fact any types of wrongdoings.
Je continue sur le sujet des similarités entre le traitement des violences sexuelles au travail et celui des fraudes scientifiques.
Une ressemblance frappante entre les deux est la réticence exprimée dans l'un et l'autre cas par certains de mes collègues face aux politiques et outils visant à faciliter le signalement de comportements inappropriés ou de suspicions de fraude. Pour les violences sexuelles au travail on pense par exemple à la mise en place de cellules d'écoute au sein de l'université, pour les fraudes scientifiques il s'agit notamment de PubPeer ou autres outils similaires. (1/5)
Dans les deux cas j'ai entendu dans mon entourage académique bon nombre de réactions du type : "si on facilite les signalements il y aura plus d'innocents accusés à tort". Il s'agit d'un raisonnement courant mettant en avant l'importance de la spécificité (ne pas risquer de dénoncer tant qu'un soupçon de doute persiste) au dépends de la sensibilité (plus on facilite la prise de parole, plus les situations de violence ou harcèlement sexuel et sexiste seront détectées tôt ou évitées). (2/5)
@CeNestQuUneTheorie a décrit en détail le fonctionnement et la généralité de ce "compromis" sensibilité/spécificité au travers de plusieurs exemples dans un article de blog : https://zet-ethique.fr/2021/02/13/des-biais-de-lideologie-et-des-biais-ideologiques-partie-3-tous-les-modeles-sont-faux-mais-certains-sont-utiles/. (3/5)
Bien sûr, éviter que des non-cas soient considérés comme des cas peut sembler un enjeu tout à fait légitime quand la réputation de personnalités scientifiques est en jeu, mais il faut avoir conscience du fait que, pour un "système de détection" donné, il rentre mécaniquement en opposition avec l'autre enjeu : permettre aux vrais cas (de fraude ou de harcèlement) d'être identifiés et traités. (4/5)
A titre d'exemple, certains de mes collègues se sont émus lorsqu'une enquête interne pour harcèlement à été ouverte au sein de notre établissement (avec création d'une adresse mail permettant de recueillir les témoignages relatifs à la personne mise en cause), arguant que cela compromettait la présomption d'innocence. Pourtant cette procédure est non seulement tout à fait légale mais également absolument nécessaire : comment imaginer sans cela recueillir des preuves pour ensuite évaluer la gravité de la situation et la nature de la sanction disciplinaire? (Dans cet exemple, ce type de discours s'appuie bien sûr également sur la tolérance sociale qui entoure et cautionne ce genre de violences). (5/5)
*dépens
@leovarnet I'm more pessimistic. Do you know Elisabeth Bik's work on images, especially in the biosciences? I'm worried about AI generating fakes. Real scientists, a minority of those holding the title, should find out themselves and go on.
@Waldemar Indeed, this is worrisome. But one thing I discovered from this book is 1) how difficult it is to fake a dataset convincingly (data pulled out of thin air don't have the properties we'd expect of data collected in the real world and this kind of fraud can be revealed by data forensics) 2) in practice, fraudsters turn out to be quite "careless" when they fake their data/figures... I mean, in most of Bik's cases the authors did not bother doing better than copy-pasting with at most a splicing/resizing... Far from a deep-fake :)
@leovarnet Those she catches (and she's fantastic!) are the easiest to catch I'd assume. And the era of deep-fakes is just starting. I imagine fraudsters do the minimal need effort to fool the system. The system doesn't require so much effort after all.
@Waldemar you're absolutely right, we can safely assume that other fraudsters use or will use more advanced "faking approaches". In fact, scientific fraud is much more widespread than most scientists want to believe, but at the same time there are unsuspected ways to fight against it. In a 2014 (now-retracted) Science paper, Michael LaCour faked his results by reusing the data from another survey and adding some additional jiggling. And yet two other political scientists were able to disclose the fraud by showing that the dataset showed some weird statistical anomalies.
(But of course the best solutions are systemic ones, like removing the publication pressure from the scientists' shoulders and encouraging replication studies)
@Waldemar My opinion is that "real scientists" already know themselves, in a sense: for example, experts of a given field are able to predict which studies will replicate or not. The problem is for the general public and the constitution of a common knowledge...
A particularly enlightening insight is the estimation of the prevalence of fraud (e.g. how often do biologists fake the figures in their papers?), publication bias, p-hacking, and even numerical errors in published papers... There are public records (such as Retraction Watch), very clever tools (such as statcheck http://statcheck.io/), and tests (e.g. the GRIM test https://en.wikipedia.org/wiki/GRIM_test) (2/3)