Ce que nous dit la COVID de l'édition scientifique

Voilà plus d'un an maintenant que la pandémie de la COVID-19 se propage dans le monde avec les ravages que l'on connaît. Effet secondaire du virus : depuis que l'Organisation Mondiale de la Santé a déclaré la COVID-19 comme une urgence de santé publique de portée internationale le 30 janvier 2020, la pandémie a fait naître un tsunami de publications scientifiques. Le phénomène est si important qu'en mai de l'an passé, un éditorialiste de la revue Science s'inquiétait : "Les scientifiques se noient dans les articles sur le COVID-19. De nouveaux outils peuvent-ils les maintenir à flot ?"

Même si la masse des publications est démesurée, même si elle semble résister à toute analyse, il semble possible, en surfant à la surface de la vague, de tirer quelques leçons de l'observation de ce phénomène sans précédent. Ce que la COVID met en lumière, ce sont certaines failles structurelles de l'édition scientifique. Elles préexistaient à la pandémie, mais cette dernière les exacerbe tout en leur procurant un surcroît de visibilité. On voit cependant émerger de nouveaux mécanismes de contrôle qui permettent d'accompagner l'accélération de la diffusion des travaux sans le céder à la qualité ou l'intégrité.

Nicholas M Fraser. https://github.com/nicholasmfraser/covid19_preprints CC0. Source : Github.

Une crise de confiance dans l'édition scientifique

Ce qui va suivre est une sorte de compendium de ce que l'édition dite scientifique peut produire de pire. Les cas de figure examinés préexistaient à la COVID, et ils lui survivront. Ils sont autant de symptômes constitutifs d'un syndrome  multifactoriel, dû aussi bien au dévoiement de certaines maisons d'édition, qu'aux modèles mêmes de financement public de la recherche médicale, ou qu'à l'inconduite de certains auteurs.

1. Les éditeurs "prédateurs"

C'est l'un de ces innombrables canulars scientifiques qui ont tant fait rire : des chercheurs ont soumis à divers comités éditoriaux de revues un papier truffé de jeux de mots et de plaisanteries, de sorte qu'il suffisait d'en lire ne serait-ce qu'une ou deux lignes pour comprendre immédiatement que le papier entier était une gigantesque supercherie. Construit en écho à une sentence censément prophétique (ou pas) du Pr Didier Raoult, ledit papier se proposait d'évaluer le potentiel d'une combinaison d'hydroxychloroquine et d'azithromycine pour la prévention des accidents de trottinettes".  Le brillant article était cosigné par Willard Oodendijk [«Bite en bois» en néerlandais] (Belgian Institute of Technology and Education (BITE), Couillet, Belgique), le célèbre chien Némo Macron (Palais de l'Elysée, Paris, France), Florian Cova (Institut de la Science à l'Arrache, Neuneuchâtel, Suisse), Sylvano Trottinetta (Collectif Laissons les Vendeurs de Trottinette Prescrire, France), Otter F. Hantome (Université de Melon, Melon, France). L'article se concluait doctement par cette analyse impeccable :

Dans notre étude, l'hydroxychloroquine est associée à un risque diminué d'accidents de trottinette.Il est urgent de prescrire de l'hydroxychloroquine à tous les usagers de trottinette. Est-ce que nous pouvons publier quoi que ce soit tout de suite ? Je crois que la question, elle est vite répondue,et la revue par les pairs n'a jamais été une méthode scientifique, de toute façon.

Eh bien, aussi stupéfiant que cela puisse paraître, cet article a été accepté et publié tel quel dans la revue Asian Journal of Medicine and Health (article rétracté après la révélation du canular). Pourquoi ? Parce qu'il s'agit d'une revue qui appartient à l'un de ces éditeurs dits "prédateurs", prêts à publier sur leurs plateformes n'importe quoi en accès libre sans contrôle de la qualité ou de l'intégrité. La seule motivation de ces "revues" est la source lucrative que constitue le paiement par les auteurs de frais de publication (Article Processing Charges). 

A la fin de l'année 2019, des chercheurs et éditeurs de dix pays se sont mis d'accord sur une définition de l'édition prédatrice :

"Les revues et les éditeurs prédateurs sont des entités qui privilégient l’intérêt personnel au détriment de la recherche et se caractérisent par des informations fausses ou trompeuses, un non-respect des bonnes pratiques éditoriales et de publication, un manque de transparence et/ou l’utilisation de pratiques de démarchage agressives et sans discernement." [Traduction de Marlène Delhaye]

La revue Asian Journal of Medicine and Health n'est hélas pas un cas isolé. Les revues publiées par des éditeurs prédateurs sont légions. On peut s'en rendre compte en allant sur des sites dédiés listant les revues motivées par l'appât du gain : la Beall's list (arrêtée en janvier 2017 à la suite de menaces de poursuites judiciaires venant de différents éditeurs), Stop Predatory Journals, et la liste de Cabells (sous paywall). Le Directory of Open Access Journals a également dressé une liste noire.

Dernier (gros) éditeur prédateur repéré récemment : MDPI, éditeur multi-disciplinaire et nativement Open Access. Paolo Crosatto, chercheur en économie à l’INRAE, a fait part sur le réseau social Twitter, de sa dernière étude sur la façon dont MDPI grossit artificiellement ses chiffres en créant des milliers de numéros spéciaux raccrochés à des revues phares :

Updated 2021 data on @MDPI special sssues.

8 journals have more than 1000 open special issues.

35 have more than 1 *per day*.

Sustainability has 8.7 *per day*.

This is predatory publishing.

Stand clear of them. pic.twitter.com/1KaVLm2POj

— Paolo Crosetto (@PaoloCrosetto) March 12, 2021

MDPI develops good journals. Once this is done, they open ten, fifty, a thousand special issues to that journal. These are of varied quality but out of the control of the original editors.

And in general how do you keep high quality of you publish a special issue every 3 hours?

— Paolo Crosetto (@PaoloCrosetto) March 13, 2021

2. les " usines à articles"

Eilzabeth Bik est une biologiste qui s'est spécialisée en intégrité scientifique à partir de 2013. En février 2021, elle a mis au jour une "usine à articles" chinoise. Voici la définition qu'elle en propose dans son billet de blog :

Une  usine à articles [paper mill] est une entreprise louche qui produit des papiers scientifiques à la demande. Elle vend ces articles à des médecins chinois, par exemple, qui ont besoin de publier un article scientifique dans une revue internationale pour obtenir leur diplôme de médecine, mais qui n'ont pas le temps de faire de la recherche dans le cadre de leur programme de formation. Les droits d'auteur sur des articles prêts à être soumis ou déjà acceptés sont vendus aux étudiants en médecine pour des sommes considérables, comme le décrit par exemple Mara Hvistendahl dans "China's Publication Bazaar" dans Science, 2013. Il n'est pas certain que les expériences décrites dans ces articles aient réellement été réalisées. Certaines de ces usines à articles peuvent avoir des laboratoires qui produisent des images ou des résultats réels, mais ces images peuvent être vendues à plusieurs auteurs pour représenter différentes expériences. Ainsi, les données incluses dans ces articles sont souvent falsifiées ou fabriquées.

Au final, l'usine à articles en question a produit plus de 560 articles à partir de la même photographie initiale de bandes de western blot. La plupart ont été publiés entre 2018 et 2020, les plus anciens remontent à 2016. D'après les données de l'étude mises à jour, les principales revues ayant accepté ces papiers sont les suivantes :

 On s'aperçoit donc qu'un grand nombre de manuscrits ont été acceptés, passant sans difficulté apparente l'épreuve de l'examen par les pairs. Cela n'est pas sans susciter quelques interrogations sur les défaillances manifestes du contrôle effectué par les comités de lecture.

3. SIGAPS : tu publies ou tu trépasses...

Au sein des CHU, le volume de publications conditionne le montant des budgets de financement des laboratoires hospitaliers ; par conséquent, qu'importe la qualité des papiers, qu'importent également les montants des frais de publication,  du moment que la publication des articles déclenche la perception de crédits de fonctionnement... Voilà résumée la philosophie du système SIGAPS, acronyme désignant le Système d’Interrogation, de Gestion et d’Analyse des Publications Scientifiques. Conçu par le CHRU de Lille et étendu à l'ensemble des CHU en 2007, le logiciel est destiné à recenser et évaluer les publications scientifiques au sein des centres hospitaliers.

Ces publications rapportent des "points SIGAPS" à l'établissement dont dépend le laboratoire. La détermination du nombre de points obtenus pour chaque publication tient compte de deux paramètres principaux : le classement de la revue en fonction de son facteur d'impact dans le Journal Citation Report, et le positionnement du chercheur dans l'ordre des cosignataires. Le mécanisme de calcul est très bien expliqué sur cette page du Laboratoire Commun RISCA (Nantes) :

 

Chaque point SIGAPS est indexé sur une valeur monétaire réévaluée tous les 4 ans. Par ailleurs, ces mêmes points jouent sur l'avancement de carrière des personnels hospitalo-universitaires :

 

On ne peut que s'étonner d'un tel mécanisme d'évaluation adossé quasi exclusivement au calcul du facteur d'impact, lequel est largement décrié depuis la déclaration DORA de 2012 sur l'évaluation de la recherche,  notamment pour son manque de valeur scientifique et l'opacité des méthodes de calcul ("les données utilisées pour calculer les facteurs d’impact ne sont ni transparentes ni ouvertement accessibles au public").

Par ailleurs, depuis l'article en 1968 de Robert K. Merton consacré à l'Effet Matthieu, on sait très bien qu'en pratique, l'ordre des auteurs dépend très souvent d'arrangements internes, la première place ou la dernière étant le plus souvent allouée au directeur de laboratoire, quand bien même ce dernier n'a participé que marginalement (ou pas du tout) à la rédaction de l'article.

Au final, SIGAPS encourage les chercheurs à publier le plus possible quelle que soit la qualité des revues. On l'a vu : même une revue non classée rapporte 1 point SIGAPS. On comprend mieux pourquoi un chercheur comme Didier Raoult en arrive au score stratosphérique de 2018 articles publiés entre 1979 et 2018, comme nous l'apprend une étude menée en 2019 par un chercheur de Stanford à partir d'un dépouillement de la base Scopus.

, et

Extrait du tableau "Table_S4_career_2018.xlsx" avec tri décroissant et
filtre sur les auteurs rattachés à des institutions françaises

4. Le poids des réseaux d'influence

Le druide des calanques ne cesse de se targuer d'avoir cosigné un nombre très conséquent d'articles. Or cette propension à publier rapidement s'explique pour partie par les liens de proximité avec les membres des comités éditoriaux.

Comme le remarque le journaliste scientifique David Larousserie, en mars 2020, "Didier Raoult a publié dans l'International Journal of Antimicrobial Agents un article cosigné par son collègue Jean-Marc Rolain… éditeur en chef du journal (qui compte aussi trois autres chercheurs de Marseille)".

D'autres articles de Didier Raoult sont parus dans la revue New Microbes and New Infections, diffusée sur la plateforme sciencedirect de l'éditeur Elsevier. Yves Gingras et Mahdi Khelfaoui ont effectué une étude bibliométrique portant sur la revue.

Penchons-nous à présent sur ces publications françaises. On observe d’abord que 337 contiennent au moins une adresse institutionnelle de chercheurs basés à Marseille, soit 90 % du total français. En augmentant la focale, on trouve ensuite que 234 d’entre-elles, soit les deux-tiers, sont co-signées par le chercheur Didier Raoult.

Cette hégémonie des adresses institutionnelles marseillaises se comprend mieux à la lumière de l'examen de la composition du comité éditorial :

Le rédacteur en chef est basé à Marseille, et parmi les six autres membres français du comité éditorial associé, composé de quinze membres, on retrouve cinq chercheurs de Marseille et un de Paris. (...) Bien que toutes les publications soient censées être évaluées par des spécialistes indépendants et extérieurs, mais choisis par les responsables de la revue, il demeure que la forte composant locale – soit près de la moitié du total – du comité de direction de la revue, peut contribuer à expliquer la domination des publications très locales dans cette revue dite « internationale ».

Créer de toutes pièces une revue destinée à véhiculer principalement les travaux d'une seule institution, et composer un comité éditorial assez peu représentatif du caractère international du domaine de recherche envisagé, mais composé majoritairement de chercheurs attachés localement à la même tutelle, de façon à publier in fine "des articles refusés par les autres revues" (selon les termes peu amènes d'une évaluation HCERES de 2017) : voilà résumée la méthode employée par certains chercheurs pour contrôler une revue et y publier ce que bon leur semble, avec la complaisance des membres du comité éditorial.

5. De la falsification artisanale à la falsification algorithmique

Revenons aux travaux d'Elizabeth Bik. En 2015, nous rapporte le Times Higher Education, "elle et d'autres universitaires ont scanné les images de plus de 20 000 articles provenant de 40 revues. Ils ont constaté que 782 articles, soit 3,8 %, posaient problème. Depuis lors, 10 % de ces articles ont été rétractés, et 30 % ont été corrigés. Mais 60 % sont restés inchangés."

Didier Raoult l'a traitée de "cinglée" devant le Sénat en septembre 2020... Il n'aurait pas dû... Depuis, Elizabeth Bik, ne cesse d'examiner une à une les publications du Panoramix de l'HCQ, et le fait est qu'il lui donne beaucoup de grain à moudre. Dernière fraude détectée : les illustrations d'un article paru en 2010 dans la revue Frontiers in Biology procèdent par retouches successives à partir du copié-collé d'une image datée de 2005 et provenant... de Wikipedia.

#ImageForensics
Two sets of API tests (used for the identification of bacterial species by looking at which enzymatic reactions they can perform).

* Top: Escherichia coli.
* Bottom: Shigella dysenteriae

Published by that famous French microbiologist.

Tell me what you see. pic.twitter.com/alnfivgtwp

— Elisabeth Bik 💉1/2 (@MicrobiomDigest) March 18, 2021

Bonjour, je confirme que l’image de la galerie API, a été faite par mes soins et placée sur Wikipedia le 5 février 2007, et prise le 7 octobre 2005.

— Jean-Louis Philippin (@phijl48) March 24, 2021

Ce genre de pratique dont le pré-requis consiste en une maîtrise sommaire du logiciel Photoshop, est monnaie courante, y compris au sein de l'ancienne équipe de recherche de l'actuelle Ministre de l'Enseignement Supérieur et de la Recherche...

La fraude peut également résulter du recours à des logiciels conçus pour générer aléatoirement des papiers, dont le texte est grammaticalement correct mais dépourvu de sens. Or il se trouve que certains sont parfois acceptés pour publication.

SCIgen et Mathgen sont deux logiciels conçus pour générer aléatoirement et automatiquement des papiers scientifiques dépourvus de sens.

Le plus connu, SCIgen (pour Science Generator) trouve son origine dans un canular : des chercheurs du Massachusetts Institute of Technology (MIT) l'ont créé pour prouver que les conférences accepteraient des articles dénués de sens - et, comme ils l'ont dit, "pour maximiser l'amusement". Moins connu, le logiciel Mathgen a été conçu à partir du code de SCIgen, et dans le même état d'esprit. Le logiciel Automatic SBIR Proposal Generator propose un service similaire. Ces logiciels sont souvent utilisés à mauvais escient pour générer de faux articles acceptés par des maisons d'édition.

Depuis les travaux pionniers en 2012 de Cyril et Dominique Labbé, il ne se passe pas un jour sans que les chercheurs ne décèlent un nouvel article généré automatiquement grâce à ces logiciels. La plateforme SCIgen detection mise au point par Cyril Labbé, permet de vérifier si un article dont le sens paraît suspect, a été écrit partiellement ou totalement par un logiciel. D'autres travaux plus récents ont permis d'élaborer l'outil Seek & Blastn, permettant de détecter finement des séquences de nucléotides suspectes dans des publications en sciences de la vie en les comparant à une base de données génomique.

La plupart des articles détectés comme suspects sont ensuite généralement listés et "flaggés" sur le site PubPeer, dont nous reparlerons un peu plus loin.

Une vague de publications sans précédent

1. La double dynamique des publications et des preprints

Durant les premiers mois de la pandémie, les publications dans des revues à comité de lecture n'ont cessé de paraître à un rythme de plus en plus accru.  De février à mai 2020, les soumissions aux revues Elsevier ont augmenté de 92% pour les titres de santé et de médecine. Dans le même temps, certains éditeurs publiant des revues dans le domaine biomédical, ont pris la décision d'accélérer le processus de relecture par les pairs. Comme le note une étude très documentée, un certain nombre de revues ont annoncé clairement sur leur site leur décision d'accélérer le traitement éditorial des articles relatifs à la COVID-19, notamment PLOS, certaines revues Wiley, certaines revues Elsevier, certaines revues Sage et les revues PeerJ.

Le délai médian entre la réception et l'acceptation des articles COVID-19 s'est considérablement accéléré, passant à 6 jours, ce qui n'avait été jamais vu jusque là :

En moyenne, 367 articles COVID-19 ont été publiés par semaine, tandis que le délai médian entre la soumission et l'acceptation des articles COVID-19 était de 6 jours seulement. En comparaison, quatre articles ont été publiés par semaine sur Ebola, alors que le délai médian d'acceptation des articles était plus de deux fois plus long, soit 15 jours. Le délai médian d'acceptation était beaucoup plus lent pour les articles sur les MCV, soit 102 jours, et seuls 374 articles (3 %) ont été acceptés dans la semaine suivant leur soumission, contre 1 250 articles pour COVID-19 (59 %)

Le délai entre la soumission et la publication s'est également considérablement réduit :

Depuis le début de la pandémie, par exemple, 14 revues médicales publiant le plus de contenu COVID-19 ont réduit de moitié le délai moyen entre la soumission et la publication, le ramenant de 177 à 60 jours, selon les recherches de Serge Horbach de l'Université Radboud.

Une étude postérieure de plus grande ampleur indique que les preprints COVID-19 de MedRxiv sont parus dans des revues à comité de lecture après un temps d'examen médian de 72 jours, soit deux fois plus vite que les preprints du serveur sur d'autres sujets. 

Concernant le volume de manuscrits relatifs à la COVID-19 apparus à compter de février 2020, on peut dire qu'on a assisté à une vague de preprints sans précédent. D'après une étude diffusée sur bioRxiv en février 2021 :

10 232 préprints liés à COVID-19 ont été publiés sur bioRxiv et medRxiv au cours des 10 premiers mois de la pandémie ; en comparaison, seuls 78 preprints liés au virus Zika et 10 preprints liés au virus Ebola ont été postés sur bioRxiv pendant toute la durée de l'épidémie respective du virus Zika (2015-2016) et de l'épidémie du virus Ebola en Afrique de l'Ouest

Pour autant, il serait totalement abusif de dire que la vague des preprints a détrôné les publications dans des revues à comité de lecture. Pour une raison simple : la majorité des preprints finissent par être pris en charge par des maisons d'édition pour être relus et publiés ultérieurement. D'après les données fournies par la plateforme Dimensions (consultée le 17 avril), les articles publiés représentent 79,9% du corpus relatif à la COVID-19, tandis que les preprints représentent seulement 11,5%.

COVID-19 Report. Source : Dimensions.

Où trouve-t-on les preprints relatifs à la COVID-19 ? D'après une étude parue en décembre 2020, "plus de la moitié des preprints sont parus sur l'un des trois sites suivants : medRxiv, SSRN et Research Square. (...) Plus des 2/3 de tous les preprints postés sur medRxiv, qui n'a été lancé qu'en juin de l'année dernière, concernaient COVID-19."

L'étude de février 2021 déjà citée complète le panorama :

Bien qu'il s'agisse de l'un des serveurs de prépublications les plus récents, medRxiv a hébergé le plus grand nombre de preprints (7 882) ; viennent ensuite SSRN (4 180), Research Square (4 089), RePEc (2 774), arXiv (2 592), bioRxiv (2 328), JMIR (1 218) et Preprints.org (1 020) ; tous les autres serveurs de prépublications ont hébergé moins de 1.000 preprints.

La même étude démontre que les preprints COVID-19 "ont reçu une attention significative de la part des scientifiques, des organismes de presse, du grand public et des organes de décision, ce qui représente un changement par rapport à la façon dont les prépublications sont normalement partagées (compte tenu des modèles observés pour les prépublications non COVID-19)".

2. Nécessité de l'évaluation 

 2.1 évaluation post-publication

L'accélération du processus de publication n'est pas sans susciter des inquiétudes quant à l'intégrité scientifique. L'affaire dite du "Lancetgate" en est un bon exemple. On en connaît les grandes lignes. Deux études parues coup sur coup dans deux des plus prestigieuses revues de médecine, le New England Journal of Medicine (le 1er mai 2020) et le Lancet (le 22 mai), abordaient la question des traitements de la COVID-19 en se fondant sur les données fournies par les dossiers médicaux de 169 hôpitaux dans 11 pays. Ce jeu de données était fourni par la société Surgisphere, propriété de Sapan Desai, l'un des co-auteurs des deux articles. Or Surgisphere n'a jamais été en mesure de fournir la preuve de l'existence de ces fichiers.

Le 28 mai, une lettre ouverte lancée par l'épidémiologiste James Watson et cosignée  par 200 chercheurs est adressée aux auteurs de l'article paru dans le Lancet ainsi qu'à son directeur, Richard Horton, pour soulever dix questions portant sur l'intégrité et l'éthique des travaux.

Comme la société Surgisphere n'est pas en mesure de fournir les données sources, faisant valoir des accords de confidentialité la liant aux hôpitaux, les deux articles sont finalement retirés le 4 juin.

Plusieurs enseignements peuvent être tirés de ce cas d'école. Tout d'abord, l'inconduite scientifique des auteurs n'a en aucune façon été repérée par les reviewers, censés contrôler les manuscrits, les relire et les valider. Le #Lancetgate met donc au jour des failles au niveau du contrôle par les pairs. Par ailleurs, c'est probablement le contexte particulier de l'urgence sanitaire qui a pu expliquer que ces deux articles aient pu passer l'étape de la relecture : la crise sanitaire a, semble-t-il, accru les chances qu'un article relatif à la COVID soit publié, quelle qu'en soit la qualité. Plus fondamental : il n'y aurait jamais eu de "Lancetgate" si les données sources de Surgisphere avaient été d'emblée partagées. Le comité éditorial du Lancet aurait dû rendre obligatoire le partage des données de recherche, conformément aux grands principes de la Science Ouverte. Enfin, pour en revenir à notre propos sur l'évaluation post-publication, une leçon optimiste peut malgré tout être tirée de cette sinistre affaire : il faut souligner l'extrême réactivité dont a fait preuve la communauté scientifique pour mettre en doute les résultats des deux études, une fois qu'elles ont été publiées. L'article du NEJM sera resté en ligne moins de 5 semaines, celui du Lancet moins de deux semaines. C'est donc grâce à une très forte réactivité de la communauté scientifique que les publications frauduleuses ont pu être rapidement retirées. L'évaluation post-publication devient un élément-clé du contrôle de l'intégrité scientifique. Même si ce type d'évaluation ex-post n'est pas nouveau, ce qui frappe est la vitesse avec laquelle la fraude ou l'inconduite peuvent être détectées. Cette vitesse s'explique en grande partie par la force des réseaux sociaux, de Tweeter en particulier, comme on le verra un peu plus loin.

2.2. Contrôle préalable des preprints et évaluation

Contrairement à une idée reçue, la plupart des plateformes de preprints mettent en œuvre des mesures de filtrage de façon à écarter des manuscrits véhiculant de façon manifeste de fausses informations. C'est ainsi que bioRxiv dispose d'un filtre bloquant la mise en ligne de travaux de prédiction de médicaments in silico, c'est-à-dire de "médicaments" dont la composition est entièrement déterminée par une modélisation informatique (d'où la référence au silicium des composants d'ordinateurs), sans le moindre essai in vivo. La journaliste scientifique Diana Kwon recense en ces termes une étude consacrée au filtrage des serveurs de preprints :

Une analyse de 44 serveurs a révélé que la plupart d'entre eux disposent de systèmes de contrôle de la qualité. Soixante-quinze pour cent d'entre eux ont fourni publiquement des informations sur leurs procédures de filtrage, et 32 % ont fait participer les chercheurs à l'examen des articles selon des critères tels que la pertinence du contenu. (...) BioRxiv et medRxiv ont un processus de vérification à deux niveaux. Dans un premier temps, les articles sont examinés par le personnel interne qui vérifie les problèmes tels que le plagiat et le caractère incomplet. Ensuite, les manuscrits sont examinés par des universitaires bénévoles ou des spécialistes en la matière qui recherchent les contenus non scientifiques et les risques pour la santé ou la biosécurité. BioRxiv utilise principalement des chercheurs principaux ; medRxiv utilise des professionnels de la santé. Parfois, les examinateurs signalent les articles pour un examen plus approfondi par Sever et d'autres membres de l'équipe de direction. Sur bioRxiv, cet examen est généralement effectué dans les 48 heures. Sur medRxiv, les articles sont examinés de plus près car ils peuvent avoir un rapport plus direct avec la santé humaine, et le délai d'exécution est donc généralement de quatre à cinq jours.

Pour autant, le filtrage a priori des preprints est insuffisant pour repérer tout type de fraude scientifique. C'est pourquoi, l'évaluation plus approfondie des preprints se fera le plus souvent ailleurs, par le biais de commentaires directement sur les plateformes de preprints ou bien sur les réseaux sociaux. Ainsi de ce preprint qui affirmait que quatre insertions dans le virus COVID-19 étaient similaires au virus de l'immunodéficience humaine-1. Les critiques de ce document sur Twitter, ainsi que sur bioRxiv ont conduit à son retrait rapide

Pour désengorger les comités éditoriaux des revues, les presses du MIT ont créé une revue "superposée" (overlay journal) intitulée Rapid Reviews : COVID-19 (RR:C19). Elle propose des relectures rapides des preprints qui lui sont soumis, et permet ainsi d'accélérer l'examen par les pairs des recherches liées au COVID-19 tout en fournissant "des informations scientifiques vérifiées en temps réel que les décideurs politiques et les responsables de la santé pourront utiliser." Avec le soutien de la fondation britannique Wellcome, d'autres chercheurs ont lancé la plateforme de reviewing rapide Outbreak Science Rapid PREreview ; les critiques y sont ouvertes, mais les commentateurs peuvent rester anonymes s'ils le souhaitent. A partir du moment, où, sous le coup de l'urgence sanitaire, l'activité de relecture par les pairs est sous-traitée partiellement par des plateformes indépendantes, la raison d'être des éditeurs paraît sérieusement écornée. Les preprints gagnent en légitimité et sont davantage recensés dans les corpus relatifs à la COVID-19. Les avis des pairs, s'ils sont positifs, consacrent les manuscrits comme des travaux qui pourraient être cités et diffusés quasiment avec la même légitimité que des articles publiés dans des revues à comité de lecture. Cependant, l'usage de ces plateformes ne doit pas être surévalué.

 

2.3. Twitter, PubPeer : Pour le meilleur et le PubPeer

Décrié par certains comme outil de délation, parce qu'il a permis de mettre en cause, parfois par le biais de l'anonymat, les travaux de chercheurs renommés ou connus (en France : Olivier Voinnet, Catherine Jessus, Anne Peyroche...), PubPeer ("The online Journal club") est une plateforme créée en 2012 dans le but d'offrir un forum de discussion aux chercheurs pour commenter, voire critiquer les articles publiés. PubPeer organise donc une évaluation par les pairs après publication.

PubPeer met également en cause indirectement la qualité du contrôle par les pairs dans les revues dans lesquelles les articles détectés ont été publiés. Mais il se pourrait que PubPeer soit un mal nécessaire, dans la mesure où ces commentaires aident "à assainir la littérature scientifique", comme l'admet Olivier Voinnet.

Le double bandeau vert de PubPeer est souvent vécu comme infamant par les auteurs de l'article incriminé. Une fois installée l'extension PubPeer sur votre navigateur, le double bandeau s'affiche automatiquement dès lors que l'article en question a été commenté et signalé sur PubPeer comme étant problématique. 

PubPeer participe pleinement d'une évaluation ouverte, la plupart des commentaires étant rédigés par des scientifiques peu ou prou au fait des connaissances sur les sujets abordés dans les articles examinés. PubPeer accueille des commentaires portant aussi bien sur des publications que des preprints.

Twitter est également investi par la communauté scientifique pour partager des commentaires ou des doutes sur tel ou tel preprint ou telle ou telle publication. L'utilisation de Twitter pour évaluer les publications ou les manuscrits fournit un examen public supplémentaire qui peut compléter ou corriger le processus traditionnel d'évaluation par les pairs, plus opaque et plus lent. Au regard des statistiques, Twitter est de loin le réseau social le plus utilisé pour commenter des articles, même si, comme l'indiquent les auteurs du graphe ci-dessous, les chiffres doivent être nuancés, dans la mesure où un grand nombre d'articles sont partagés sur Twitter par des robots.

Source : "Open Science Saves Lives: Lessons from the COVID-19 Pandemic". 30/10/2020. bioRxiv

3. Un paywall en recul

Contrairement aux prévisions de chercheurs qui concluaient qu'au 1er juin 2020, "près de la moitié de tous les articles de l'étude COVID-19 pourraient se trouver derrière des murs payants si la tendance actuelle se poursuit", d'après les données fournies par la plateforme Dimensions, la part des articles relatifs à la COVID-19 sous paywall se monte à 25,7 % à la mi-avril 2021. Cette érosion apparente de la part des articles accessibles uniquement par achat ou abonnement, est à mettre en regard de la part des articles diffusés selon le modèle "bronze" (26,3%). La terminologie "bronze" désigne l'ensemble des publications librement disponibles sur le site web d'un éditeur, mais sans licence ouverte. Il s'agit donc d'un ensemble assez instable : à tout moment l'éditeur peut décider de remettre ces contenus sous paywall. Il n'en reste pas moins que, dans le contexte de la pandémie, bon nombre d'éditeurs ont supprimé la barrière de l'accès payant pour les corpus d'articles relatifs à la COVID-19 : British Medical Journal, Cambridge University Press, Elsevier, Journal of The American Medical Association, New England Journal of Medicine, Oxford University Press, Proceedings of the National Academy of Sciences, Sage Publishing, Springer Nature, Taylor&Francis, Wiley, Wolters Kluwer et bien d'autres éditeurs encore.

COVID-19 Report. Source : Dimensions.

 

4. Echange de bons procédés

Au final, il apparaît qu'au cours de cette "course effrénée à la publication", un cercle vertueux s'est créé par lequel l'article publié dans une revue à comité de lecture et le manuscrit ont échangé partiellement  l'un l'autre leurs qualités, par effet de miroir. Les revues à comité de lecture ont opté pour le raccourcissement des délais de soumission-acceptation et aceptation-publication, la suppression temporaire des paywalls, et le reviewing a été renforcé par l'évaluation post-publication. Les preprints, eux, ont été filtrés en amont (double voire triple contrôle manuel pour medRxiv et bioRxiv) et sont de plus en plus soumis à des évaluations par des pairs en temps réel, lesquelles sont la garantie d'une meilleure qualité en cas de publication ultérieure.

 

	filtrage préalable	délai entre soumission et acceptation	délai entre acceptation et publication	peer reviewing	commentaire post publication	paywall (revues accessibles sur abonnement)
articles	filtrage fréquent	délai raccourci	délai raccourci	systématique	de plus en plus fréquent (PubPeer, réseaux sociaux...)	Souvent levé temporaire-ment (revues bronze)
preprints	filtrage manuel ou algorithmique pour la majorité des serveurs de preprints	sans objet	sans objet	de plus en plus fréquent : PubPeer, Zenodo, ASAPbio, Review Commons, Twitter, revues "superposées" (overlay journals) comme  RR:C19, plateformes de reviewing accéléré comme OutbreakScience PREreview	sans objet	sans objet

 

5. Comment suivre le cycle de vie des preprints ?

Au milieu de ce tsunami de papiers, comment assurer le suivi du cycle de vie des articles, du preprint à la publication ?

Partons de ce chiffre : "au début du mois de décembre 2020, près d'un quart des preprints de medRxiv liés à COVID avaient été publiés dans des revues." Comment tracer le parcours de ces publications, surtout si le lien preprint-publication fourni par medRxiv n'est pas systématiquement indiqué ?

Non seulement les serveurs de preprints ne font pas systématiquement le lien avec la version publiée, mais les revues elles-mêmes ne pointent que rarement vers le preprint. Le risque est de compter deux fois ou plus un même article :

Un autre problème est que les preprints peuvent amener des chercheurs extérieurs à compter deux fois les résultats. Si un chercheur tente de rassembler des recherches dans le cadre d'une synthèse narrative ou quantitative et qu'il compte un article évalué par des pairs, il doit ignorer le preprint associé pour éviter de surpondérer cette cohorte. Idéalement, les serveurs de prépublications identifient le moment où l'article est publié, mais ce lien automatique dépend du fait que le titre et les auteurs restent les mêmes, et peut échouer si ceux-ci changent entre la prépublication et l'examen par les pairs. De même, le journal concerné devrait identifier la version préimprimée comme faisant partie de l'enregistrement de la publication, ce qui devrait être le cas, mais ne l'est pas toujours.

L'enjeu n'est pas simplement d'ordre bibliométrique, mais de santé publique : "L'établissement d'un lien entre les prépublications et les publications est de la plus haute importance, car il permet aux lecteurs de disposer de la dernière version d'un travail désormais certifié. (...) Le fait de négliger les preuves publiées se traduit par des examens systématiques partiels, voire inexacts, sur des questions liées à la santé, par exemple".

L'étude du cas de la plateforme COVID19 Preprint Tracker fournit des éléments de réponse à ces problématiques. Le contexte de sa conception est le suivant : des épidémiologistes du CRESS (UMR 1153 INSERM) réalisent depuis début 2020 une revue en temps réel de la littérature scientifique du COVID19. Leurs résultats sont diffusés sur la plateforme COVID-NMA et exploités par l’Organisation Mondiale de la Santé. La sélection des preprints est donc faite manuellement. S'est alors posé un problème de taille : comment suivre en temps réel la mise à jour des preprints (versioning)  et leur publication éventuelle ? La tâche de suivi était effectuée manuellement, et était devenue insoutenable avec l'augmentation du nombre de manuscrits.
D'où l'idée de recourir à un algorithme adossé à la base mondiale CrossRef pour automatiser l'enrichissement des métadonnées du corpus. C'est le principe même de fonctionnement de la plateforme COVID19 Preprint Tracker, mise au point par le chercheur en sciences de l'information Guillaume Cabanac :

[Les algorithmes] identifient les nouvelles versions au jour le jour et relient les preprints publiés aux articles qui en résultent, dès leur parution. Les articles et preprints sont également contextualisés par des indicateurs de citation dans la sphère académique et de mise en visibilité dans la sphère publique (indicateur d’attention Altmetrics et indicateurs PubPeer permettant de détecter les controverses scientifiques et les lanceurs d’alerte). Ces éléments sont centralisés sous forme d’un tableau de bord en ligne mis à jour quotidiennement et utilisé quotidiennement par les épidémiologistes.

Les métadonnées de chaque preprint repéré par des épidémiologistes sont automatiquement enrichies par les algorithmes au fur et à mesure de la progression du manuscrit dans les étapes du cycle de vie de l'édition, depuis les premières mises à jour jusqu'à la publication. L'outil permet également de compléter les métadonnées défectueuses des serveurs de preprints. D'après un test réalisé sur un échantillon de 343 preprints, les serveurs de preprints ne fournissent le lien preprint-publication que dans 39,7% des cas, tandis que  COVID19 Preprint Tracker permet de rehausser le score à près de 91,5 %.

Capture d'écran. COVID19 Preprint Tracker

 ***

"La Science Ouverte sauve des vies : leçons de la pandémie de COVID-19"

Tel est le titre d'un preprint déposé sur bioRxiv le 30 octobre 2020 et qui fera probablement date. Co-signé par 371 chercheurs en sciences biomédicales, le texte tire les leçons de la pandémie : si les principes de la Science Ouverte étaient pleinement mis en œuvre, du temps et de l'énergie pourraient être gagnés :

L'adoption pleine et entière des principes de la science ouverte aurait pourtant permis d'économiser de précieuses ressources de recherche : l'examen ouvert par les pairs aurait permis de détecter les conflits d'intérêts éditoriaux et de savoir si les manuscrits avaient fait l'objet d'un examen approfondi ; l'adoption de rapports enregistrés aurait renforcé la conception des études et les plans d'analyse des données ; l'utilisation correcte et contrôlée des preprints aurait facilité la communication des premiers résultats entre les chercheurs ; le renforcement des politiques de partage ou d'examen des données brutes aurait pu éviter le scandale de Surgisphere ; et le plein accès ouvert aurait pu accélérer la recherche de solutions à la pandémie dans les contextes médical et socio-économique. En outre, l'examen des statistiques aurait pu contribuer à rendre les études et leurs résultats plus robustes et à limiter l'impact de l'exagération ou de la mauvaise interprétation des résultats. 

L'évaluation des chercheurs doit être également réformée : elle doit être qualitative plus que quantitative. Il n'est que de songer au système abominable de points SIGAPS qui poussent les chercheurs hospitalo-universitaires à publier toujours davantage, si possible dans une revue ayant un facteur d'impact élevé, pour étoffer les dotations budgétaires de leur établissement.

Les chercheurs ont fait valoir que l'adoption de la transparence devrait être couplée à l'adoption d'un ensemble plus diversifié de paramètres pour évaluer les chercheurs ou au rejet pur et simple des paramètres afin de limiter réellement les pratiques de recherche douteuses. Une adoption plus large de ces principes de la science ouverte ne peut être réalisée sans l'aval et le soutien des institutions, des éditeurs et des organismes de financement. Des initiatives internationales, telles que la Déclaration sur l'évaluation de la recherche (DORA), ont été mises en place pour réformer le processus d'évaluation et de financement de la recherche, en favorisant la qualité de la recherche plutôt que la quantité de résultats. Les universitaires de haut niveau ont également été identifiés comme des agents clés dans le soutien de la recherche ouverte. Pour que les principes de la Science Ouverte soient clairement et largement adoptés, tous les acteurs de la communauté scientifique ont un rôle à jouer : les chercheurs établis devraient encourager une transition vers une recherche transparente ; les institutions et les agences de financement devraient diversifier les évaluations de la recherche ; les revues, les comités éditoriaux et les agences de financement devraient faire de toutes les pratiques de la Science Ouverte la norme de facto pour les soumissions (en particulier les données ouvertes et les rapports enregistrés) ; les éditeurs devraient s'efforcer de rendre tous les articles en Accès Ouvert ; et les décideurs politiques et les comités d'examen internationaux devraient envisager d'ouvrir les données sensibles aux examinateurs ou aux parties de confiance pour une validation externe.

Et si ces réformes sont nécessaires, c'est que "la Science Ouverte sauve des vies"... On n'a jamais lu meilleur argument. Espérons que les auteurs de ce vibrant plaidoyer seront entendus.