Les dessous du peer review ou la falsification des évaluations par les pairs

Un récent article paru dans le Washington Post sous le titre “Major publisher retracts 64 scientific papers in fake peer review outbreak“, ou “Un éditeur connu rétracte 64 publications scientifiques dans une épidémie de faux examens par des pairs”, déclare qu’un certain nombre de publications, supposément vérifiées selon la méthode consacrée de l’examen par des pairs, n’ont en fait pas été vérifiées du tout. Non pas que les éditeurs des revues ne le voulaient pas, mais parce qu’il existe tout un éventail de techniques de fraude utilisées par les rédacteurs de ces papiers pour tromper les éditeurs – et donc les lecteurs professionnels, les pouvoirs publics et, au bout du compte, le public.

Ces techniques sont la création de fausses adresses mail, de faux collègues, d’identités réelles volées pour créer de fausses évaluations, ou encore des auteurs qui publient des avis à la gloire de leurs propres publications, qu’ils font ensuite passer pour des avis indépendants. L’éditeur en question, Springer, annonçait donc le 18 août par cette déclaration qu’il retirait 64 publications dont les évaluations, suite à une enquête interne, se révélaient être bidon. Ceci survient quelques mois après une autre rétractation, par la revue BioMed Central cette fois, de 43 publications. En 2014, l’éditeur SAGE Publications retirait 60 articles du Journal of Vibration and Control suite à la découverte d’un réseau “d’examen par des pairs” fictif où les auteurs évaluaient leurs papiers, et ceux de leurs collègues, sous de faux noms.

Selon le blog Retraction Watch, qui piste les rétractions d’articles scientifiques sous toutes leurs formes (fraude, plagiat, etc..), cela porte à 230 le nombre de publications dépubliées depuis 3 ans pour fraude dans leur évaluation. Cela fait peu au regard des dizaines de milliers de papiers publiés chaque année, mais ce phénomène semble récent, inconnu avant 2012. Aujourd’hui, ce syndrôme de dépublication par évaluation frauduleuse représente 15% de l’ensemble des retraits. Pour Ivan Oransky, journaliste scientifique et co-fondateur de Retraction Watch, ce phénomène fait penser à un virus qui serait resté dormant depuis des années pour se réveiller aujourd’hui. Et il n’est certain de savoir s’il s’agit effectivement d’un phénomène nouveau, ou d’une capacité nouvelle de détection de ce type de fraude.

La fraude est parfois le fait d’auteurs écrivant leurs propres évaluations ou évaluant de manière exagérément positive les travaux de leurs collègues (avec retour d’ascenseur au moment voulu, bien sûr), mais c’est aussi le fait d’agences vendant des services d’évaluation ! Selon une déclaration du Committee on Publication Ethics (COPE), “Certaines agences vendent des services, allant de la pré-écriture de manuscrits à la fourniture de contacts créés de toutes pièces pour les évaluateurs au cours du processus d’évaluation, pour ensuite fournir ces avis aux revues via ces fausses adresses. Certaines de ces adresses portent le nom de vrais scientifiques mais diffèrent de celles fournies par leurs instituts, ou sont associées à des publications antérieures, ou sont complètement fictives”. (1)

Cela dit, il n’est pas toujours évident de savoir si l’auteur d’un papier faussement évalué est lui-même coupable : il peut avoir agit de bonne foi, s’attachant les services de ce type d’agence sur recommandation de la revue ou de collègues. Un peu comme le sportif dopé qui ne sait pas que son entraîneur lui a donné in produit interdit. Il paraît que ça existe… Les éditeurs sont désormais conscients du problème et mettent en place des garde-fous, mais le problème principal reste la pression qui est mise sur les chercheurs pour publier le plus possible. Mieux vaut publier n’importe quoi que ne pas publier, et la fraude émerge naturellement.

La dépublication d’un article pour fraude dans le processus d’évaluation n’implique pas nécessairement que l’article est faux, juste que son objectivité n’est pas garantie par un processus reconnu par la communauté scientifique – l’évaluation par les pairs. Ce système est en soi imparfait car, au-delà des problèmes de fraude et de copinage entre chercheurs, existe le problème du biais : dans une communauté donnée il existe des préjugés qui font que certains sujets sont rejetés car déconsidérés d’office, ou difficiles à analyser au travers de méthodes scientifiques classiques basées sur l’objectivité et la reproductibilité pure et dure. Le phénomène de la mémoire de l’eau est pour cela emblématique, tout comme la démonstration de la nature anthropique du réchauffement climatique.

Dans un monde matérialiste idéal, la vérité scientifique existerait indépendamment du fait que l’on y croit ou pas, qu’on la connaisse ou non. Un comité d’évaluation ne ferait que vérifier si la méthode utilisée est correcte. Dans la réalité, la recevabilité d’une étude est non seulement dépendante de la pertinence de la méthode, mais aussi et surtout des enjeux politiques / académiques / financiers qui s’y attachent. Les évaluateurs ne peuvent faire abstraction de leurs croyances, intérêts et biais cognitifs. Dans le monde réel l’idée de l’existence d’une évaluation objective, surtout dans un domaine où tout le monde a les mêmes intérêts et la même culture, est en soi une illusion.

Une tentative de réponse à ce problème est le Open Peer Review, une philosophie de l’évaluation transparente pouvant avoir lieu avant et après la publication d’un article. Cette démarche pourrait aller jusqu’au “crowd-sourced peer review“, l’équivalent pour l’évaluation d’articles du crowdfunding pour le financement de projets par le public. Un tel système ne remplacerait sans doute pas totalement le système classique, mais pourrait en être un excellent supplément.

(1) “Some agencies are selling services, ranging from authorship of pre-written manuscripts to providing fabricated contact details for peer reviewers during the submission process and then supplying reviews from these fabricated addresses,” it said. “Some of these peer reviewer accounts have the names of seemingly real researchers but with email addresses that differ from those from their institutions or associated with their previous publications, others appear to be completely fictitious.”