Voilà plus d'un an maintenant que la pandémie de la COVID-19 se propage dans le monde avec les ravages que l'on connaît. Effet secondaire du virus : depuis que l'Organisation Mondiale de la Santé a déclaré la COVID-19 comme une urgence de santé publique de portée internationale le 30 janvier 2020, la pandémie a fait naître un tsunami de publications scientifiques. Le phénomène est si important qu'en mai de l'an passé, un éditorialiste de la revue Science s'inquiétait : "Les scientifiques se noient dans les articles sur le COVID-19. De nouveaux outils peuvent-ils les maintenir à flot ?"
Même si la masse des publications est démesurée, même si elle semble résister à toute analyse, il semble possible, en surfant à la surface de la vague, de tirer quelques leçons de l'observation de ce phénomène sans précédent. Ce que la COVID met en lumière, ce sont certaines failles
structurelles de l'édition scientifique. Elles préexistaient à
la pandémie, mais cette dernière les exacerbe tout en leur procurant un surcroît de visibilité. On voit cependant émerger de nouveaux mécanismes de contrôle qui permettent d'accompagner l'accélération de la diffusion des travaux sans le céder à la qualité ou l'intégrité.
 |
| Nicholas M Fraser. https://github.com/nicholasmfraser/covid19_preprints CC0. Source : Github. |
Une crise de confiance dans l'édition scientifique
Ce qui va suivre est une sorte de compendium de ce que l'édition dite scientifique peut produire de pire. Les cas de figure examinés préexistaient à la COVID, et ils lui survivront. Ils sont autant de symptômes constitutifs d'un syndrome multifactoriel, dû aussi bien au dévoiement de certaines maisons d'édition, qu'aux modèles mêmes de financement public de la recherche médicale, ou qu'à l'inconduite de certains auteurs.
1. Les éditeurs "prédateurs"
C'est l'un de ces innombrables canulars scientifiques qui ont tant fait rire : des chercheurs ont soumis à divers comités éditoriaux de revues un papier truffé de jeux de mots et de plaisanteries, de sorte qu'il suffisait d'en lire ne serait-ce qu'une ou deux lignes pour comprendre immédiatement que le papier entier était une gigantesque supercherie. Construit en écho à une sentence censément prophétique (ou pas) du Pr Didier Raoult, ledit papier se proposait d'évaluer le potentiel d'une combinaison d'hydroxychloroquine et d'azithromycine pour la prévention des accidents de trottinettes". Le brillant article était cosigné par Willard Oodendijk [«Bite en bois» en néerlandais] (Belgian Institute of Technology and Education (BITE), Couillet, Belgique), le célèbre chien Némo Macron (Palais de l'Elysée, Paris, France), Florian Cova (Institut de la Science à l'Arrache, Neuneuchâtel, Suisse), Sylvano Trottinetta (Collectif Laissons les Vendeurs de Trottinette Prescrire, France), Otter F. Hantome (Université de Melon, Melon, France). L'article se concluait doctement par cette analyse impeccable :
Dans notre étude, l'hydroxychloroquine est associée à un risque diminué d'accidents de trottinette.Il est urgent de prescrire de l'hydroxychloroquine à tous les usagers de trottinette. Est-ce que nous pouvons publier quoi que ce soit tout de suite ? Je crois que la question, elle est vite répondue,et la revue par les pairs n'a jamais été une méthode scientifique, de toute façon.
Eh bien, aussi stupéfiant que cela puisse paraître, cet article a été accepté et publié tel quel dans la revue Asian Journal of Medicine and Health (article rétracté après la révélation du canular). Pourquoi ? Parce qu'il s'agit d'une revue qui appartient à l'un de ces éditeurs dits "prédateurs", prêts à publier sur leurs plateformes n'importe quoi en accès libre sans contrôle de la qualité ou de l'intégrité. La seule motivation de ces "revues" est la source lucrative que constitue le paiement par les auteurs de frais de publication (Article Processing Charges).
A la fin de l'année 2019, des chercheurs et éditeurs de dix pays se sont mis d'accord sur une définition de l'édition prédatrice :
"Les revues et les éditeurs prédateurs sont des entités qui privilégient l’intérêt personnel au détriment de la recherche et se caractérisent par des informations fausses ou trompeuses, un non-respect des bonnes pratiques éditoriales et de publication, un manque de transparence et/ou l’utilisation de pratiques de démarchage agressives et sans discernement." [Traduction de Marlène Delhaye]
La revue Asian Journal of Medicine and Health n'est hélas pas un cas isolé. Les revues publiées par des éditeurs prédateurs sont légions. On peut s'en rendre compte en allant sur des sites dédiés listant les revues motivées par l'appât du gain : la Beall's list (arrêtée en janvier 2017 à la suite de menaces de poursuites judiciaires venant de différents éditeurs), Stop Predatory Journals, et la liste de Cabells (sous paywall). Le Directory of Open Access Journals a également dressé une liste noire.
Dernier (gros) éditeur prédateur repéré récemment : MDPI, éditeur multi-disciplinaire et nativement Open Access. Paolo Crosatto, chercheur en économie à l’INRAE, a fait part sur le réseau social Twitter, de sa dernière étude sur la façon dont MDPI grossit artificiellement ses chiffres en créant des milliers de numéros spéciaux raccrochés à des revues phares :
Updated 2021 data on @MDPI special sssues.
— Paolo Crosetto (@PaoloCrosetto) March 12, 2021
8 journals have more than 1000 open special issues.
35 have more than 1 *per day*.
Sustainability has 8.7 *per day*.
This is predatory publishing.
Stand clear of them. pic.twitter.com/1KaVLm2POj
MDPI develops good journals. Once this is done, they open ten, fifty, a thousand special issues to that journal. These are of varied quality but out of the control of the original editors.
— Paolo Crosetto (@PaoloCrosetto) March 13, 2021
And in general how do you keep high quality of you publish a special issue every 3 hours?
2. les " usines à articles"
Eilzabeth Bik est une biologiste qui s'est spécialisée en intégrité scientifique à partir de 2013. En février 2021, elle a mis au jour une "usine à articles" chinoise. Voici la définition qu'elle en propose dans son billet de blog :
Une usine à articles [paper mill] est une entreprise louche qui produit des papiers scientifiques à la demande. Elle vend ces articles à des médecins chinois, par exemple, qui ont besoin de publier un article scientifique dans une revue internationale pour obtenir leur diplôme de médecine, mais qui n'ont pas le temps de faire de la recherche dans le cadre de leur programme de formation. Les droits d'auteur sur des articles prêts à être soumis ou déjà acceptés sont vendus aux étudiants en médecine pour des sommes considérables, comme le décrit par exemple Mara Hvistendahl dans "China's Publication Bazaar" dans Science, 2013. Il n'est pas certain que les expériences décrites dans ces articles aient réellement été réalisées. Certaines de ces usines à articles peuvent avoir des laboratoires qui produisent des images ou des résultats réels, mais ces images peuvent être vendues à plusieurs auteurs pour représenter différentes expériences. Ainsi, les données incluses dans ces articles sont souvent falsifiées ou fabriquées.
Au final, l'usine à articles en question a produit plus
de 560 articles à partir de la même photographie initiale de bandes de
western blot. La plupart ont été publiés entre 2018 et 2020, les plus
anciens remontent à 2016. D'après les données de l'étude mises à jour, les principales revues ayant accepté ces papiers sont les suivantes :
On s'aperçoit donc qu'un grand nombre de manuscrits ont été acceptés, passant sans difficulté apparente l'épreuve de l'examen par les pairs. Cela n'est pas sans susciter quelques interrogations sur les défaillances manifestes du contrôle effectué par les comités de lecture.
3. SIGAPS : tu publies ou tu trépasses...
Au sein des CHU, le volume de publications conditionne le montant des budgets
de financement des laboratoires hospitaliers ; par conséquent,
qu'importe la qualité des papiers, qu'importent également les montants
des frais de publication, du moment que la publication des articles
déclenche la perception de crédits de fonctionnement... Voilà résumée la
philosophie du système SIGAPS,
acronyme désignant le Système d’Interrogation, de Gestion et d’Analyse
des Publications Scientifiques. Conçu par le CHRU de Lille et étendu à
l'ensemble des CHU en 2007, le logiciel est destiné à recenser et
évaluer les publications scientifiques au sein des centres hospitaliers.
Ces publications rapportent des "points SIGAPS" à l'établissement dont dépend le laboratoire. La détermination du nombre de points obtenus pour chaque publication tient compte de deux paramètres principaux : le classement de la revue en fonction de son facteur d'impact dans le Journal Citation Report, et le positionnement du chercheur dans l'ordre des cosignataires. Le mécanisme de calcul est très bien expliqué sur cette page du Laboratoire Commun RISCA (Nantes) :
Chaque point SIGAPS est indexé sur une valeur monétaire réévaluée tous les 4 ans. Par ailleurs, ces mêmes points jouent sur l'avancement de carrière des personnels hospitalo-universitaires :
On ne peut que s'étonner d'un tel mécanisme d'évaluation adossé quasi exclusivement au calcul du facteur d'impact, lequel est largement décrié depuis la déclaration DORA de 2012 sur l'évaluation de la recherche, notamment pour son manque de valeur scientifique et l'opacité des méthodes de calcul ("les données utilisées pour calculer les facteurs d’impact ne sont ni transparentes ni ouvertement accessibles au public").
Par ailleurs, depuis l'article en 1968 de Robert K. Merton consacré à l'Effet Matthieu, on sait très bien qu'en pratique, l'ordre des auteurs dépend très souvent d'arrangements internes, la première place ou la dernière étant le plus souvent allouée au directeur de laboratoire, quand bien même ce dernier n'a participé que marginalement (ou pas du tout) à la rédaction de l'article.
Au final, SIGAPS encourage les chercheurs à publier le plus possible quelle que soit la qualité des revues. On l'a vu : même une revue non classée rapporte 1 point SIGAPS. On comprend mieux pourquoi un chercheur comme Didier Raoult en arrive au score stratosphérique de 2018 articles publiés entre 1979 et 2018, comme nous l'apprend une étude menée en 2019 par un chercheur de Stanford à partir d'un dépouillement de la base Scopus.
 , et |
| Extrait du tableau "Table_S4_career_2018.xlsx" avec tri décroissant et filtre sur les auteurs rattachés à des institutions françaises |
4. Le poids des réseaux d'influence
Le druide des calanques ne cesse de se targuer d'avoir cosigné un nombre très conséquent d'articles. Or cette propension à publier rapidement s'explique pour partie par les liens de proximité avec les membres des comités éditoriaux.
Comme le remarque le journaliste scientifique David Larousserie, en mars 2020, "Didier Raoult a publié dans l'International Journal of Antimicrobial Agents un article cosigné par son collègue Jean-Marc Rolain… éditeur en chef du journal (qui compte aussi trois autres chercheurs de Marseille)".
D'autres articles de Didier Raoult sont parus dans la revue New Microbes and New Infections, diffusée sur la plateforme sciencedirect de l'éditeur Elsevier. Yves Gingras et Mahdi Khelfaoui ont effectué une étude bibliométrique portant sur la revue.
Penchons-nous à présent sur ces publications françaises. On observe d’abord que 337 contiennent au moins une adresse institutionnelle de chercheurs basés à Marseille, soit 90 % du total français. En augmentant la focale, on trouve ensuite que 234 d’entre-elles, soit les deux-tiers, sont co-signées par le chercheur Didier Raoult.
Le rédacteur en chef est basé à Marseille, et parmi les six autres membres français du comité éditorial associé, composé de quinze membres, on retrouve cinq chercheurs de Marseille et un de Paris. (...) Bien que toutes les publications soient censées être évaluées par des spécialistes indépendants et extérieurs, mais choisis par les responsables de la revue, il demeure que la forte composant locale – soit près de la moitié du total – du comité de direction de la revue, peut contribuer à expliquer la domination des publications très locales dans cette revue dite « internationale ».
5. De la falsification artisanale à la falsification algorithmique
Revenons aux travaux d'Elizabeth Bik. En 2015, nous rapporte le Times Higher Education, "elle et d'autres universitaires ont scanné les images de plus de 20 000 articles provenant de 40 revues. Ils ont constaté que 782 articles, soit 3,8 %, posaient problème. Depuis lors, 10 % de ces articles ont été rétractés, et 30 % ont été corrigés. Mais 60 % sont restés inchangés."
Didier Raoult l'a traitée de "cinglée" devant le Sénat en septembre 2020... Il n'aurait pas dû... Depuis, Elizabeth Bik, ne cesse d'examiner une à une les publications du Panoramix de l'HCQ, et le fait est qu'il lui donne beaucoup de grain à moudre. Dernière fraude détectée : les illustrations d'un article paru en 2010 dans la revue Frontiers in Biology procèdent par retouches successives à partir du copié-collé d'une image datée de 2005 et provenant... de Wikipedia.
#ImageForensics
— Elisabeth Bik 💉1/2 (@MicrobiomDigest) March 18, 2021
Two sets of API tests (used for the identification of bacterial species by looking at which enzymatic reactions they can perform).
* Top: Escherichia coli.
* Bottom: Shigella dysenteriae
Published by that famous French microbiologist.
Tell me what you see. pic.twitter.com/alnfivgtwp
Bonjour, je confirme que l’image de la galerie API, a été faite par mes soins et placée sur Wikipedia le 5 février 2007, et prise le 7 octobre 2005.
— Jean-Louis Philippin (@phijl48) March 24, 2021
Ce genre de pratique dont le pré-requis consiste en une maîtrise sommaire du logiciel Photoshop, est monnaie courante, y compris au sein de l'ancienne équipe de recherche de l'actuelle Ministre de l'Enseignement Supérieur et de la Recherche...
La fraude peut également résulter du recours à des logiciels conçus pour générer aléatoirement des papiers, dont le texte est grammaticalement correct mais dépourvu de sens. Or il se trouve que certains sont parfois acceptés pour publication.
SCIgen et Mathgen sont deux logiciels conçus pour générer aléatoirement et automatiquement des papiers scientifiques dépourvus de sens.
Le
plus connu, SCIgen (pour Science Generator) trouve son origine dans un
canular : des chercheurs du Massachusetts Institute of Technology (MIT)
l'ont créé pour prouver que les conférences accepteraient des articles dénués de sens - et, comme ils l'ont dit, "pour maximiser l'amusement". Moins connu, le logiciel Mathgen a été conçu à partir du code de SCIgen, et dans le même état d'esprit. Le logiciel Automatic SBIR Proposal Generator
propose un service similaire. Ces logiciels sont souvent utilisés à
mauvais escient pour générer de faux articles acceptés par des maisons
d'édition.
Depuis les travaux pionniers en 2012 de Cyril et Dominique Labbé,
il ne se passe pas un jour sans que les chercheurs ne décèlent un nouvel article généré
automatiquement grâce à ces logiciels. La plateforme SCIgen detection
mise au point par Cyril Labbé, permet de vérifier si un article dont le
sens paraît suspect, a été écrit partiellement ou totalement par un
logiciel. D'autres travaux plus récents ont permis d'élaborer l'outil Seek & Blastn,
permettant de détecter finement des séquences de nucléotides suspectes
dans des publications en sciences de la vie en les comparant à une base
de données génomique.
La plupart des articles détectés comme suspects sont ensuite généralement listés et "flaggés" sur le site PubPeer, dont nous reparlerons un peu plus loin.
Une vague de publications sans précédent
1. La double dynamique des publications et des preprints
Durant les premiers mois de la pandémie, les publications dans des revues à comité de lecture n'ont cessé de paraître à un rythme de plus en plus accru. De février à mai 2020, les soumissions aux revues Elsevier ont augmenté de 92% pour les titres de santé et de médecine. Dans le même temps, certains éditeurs publiant des revues dans le domaine biomédical, ont pris la décision d'accélérer le processus de relecture par les pairs. Comme le note une étude très documentée, un certain nombre de revues ont annoncé clairement sur leur site leur décision d'accélérer le traitement éditorial des articles relatifs à la COVID-19, notamment PLOS, certaines revues Wiley, certaines revues Elsevier, certaines revues Sage et les revues PeerJ.
Le délai médian entre la réception et l'acceptation des articles COVID-19 s'est considérablement accéléré, passant à 6 jours, ce qui n'avait été jamais vu jusque là :
En moyenne, 367 articles COVID-19 ont été publiés par semaine, tandis que le délai médian entre la soumission et l'acceptation des articles COVID-19 était de 6 jours seulement. En comparaison, quatre articles ont été publiés par semaine sur Ebola, alors que le délai médian d'acceptation des articles était plus de deux fois plus long, soit 15 jours. Le délai médian d'acceptation était beaucoup plus lent pour les articles sur les MCV, soit 102 jours, et seuls 374 articles (3 %) ont été acceptés dans la semaine suivant leur soumission, contre 1 250 articles pour COVID-19 (59 %)
Le délai entre la soumission et la publication s'est également considérablement réduit :
Depuis le début de la pandémie, par exemple, 14 revues médicales publiant le plus de contenu COVID-19 ont réduit de moitié le délai moyen entre la soumission et la publication, le ramenant de 177 à 60 jours, selon les recherches de Serge Horbach de l'Université Radboud.
Une étude postérieure de plus grande ampleur indique que les preprints COVID-19 de MedRxiv sont parus dans des revues à comité de lecture après un temps d'examen médian de 72 jours, soit deux fois plus vite que les preprints du serveur sur d'autres sujets.
Concernant le volume de manuscrits relatifs à la COVID-19 apparus à compter de février 2020, on peut dire qu'on a assisté à une vague de preprints sans précédent. D'après une étude diffusée sur bioRxiv en février 2021 :
10 232 préprints liés à COVID-19 ont été publiés sur bioRxiv et medRxiv au cours des 10 premiers mois de la pandémie ; en comparaison, seuls 78 preprints liés au virus Zika et 10 preprints liés au virus Ebola ont été postés sur bioRxiv pendant toute la durée de l'épidémie respective du virus Zika (2015-2016) et de l'épidémie du virus Ebola en Afrique de l'Ouest
Pour autant, il serait totalement abusif de dire que la vague des preprints a détrôné les publications dans des revues à comité de lecture. Pour une raison simple : la majorité des preprints finissent par être pris en charge par des maisons d'édition pour être relus et publiés ultérieurement. D'après les données fournies par la plateforme Dimensions (consultée le 17 avril), les articles publiés représentent 79,9% du corpus relatif à la COVID-19, tandis que les preprints représentent seulement 11,5%.
 |
| COVID-19 Report. Source : Dimensions. |
Où trouve-t-on les preprints relatifs à la COVID-19 ? D'après une étude parue en décembre 2020, "plus de la moitié des preprints sont parus sur l'un des trois sites suivants : medRxiv, SSRN et Research Square. (...) Plus des 2/3 de tous les preprints postés sur medRxiv, qui n'a été lancé qu'en juin de l'année dernière, concernaient COVID-19."
L'étude de février 2021 déjà citée complète le panorama :
Bien qu'il s'agisse de l'un des serveurs de prépublications les plus récents, medRxiv a hébergé le plus grand nombre de preprints (7 882) ; viennent ensuite SSRN (4 180), Research Square (4 089), RePEc (2 774), arXiv (2 592), bioRxiv (2 328), JMIR (1 218) et Preprints.org (1 020) ; tous les autres serveurs de prépublications ont hébergé moins de 1.000 preprints.
La même étude démontre que les preprints COVID-19 "ont reçu une attention significative de la part des scientifiques, des organismes de presse, du grand public et des organes de décision, ce qui représente un changement par rapport à la façon dont les prépublications sont normalement partagées (compte tenu des modèles observés pour les prépublications non COVID-19)".
2. Nécessité de l'évaluation
2.1 évaluation post-publication
L'accélération du processus de publication n'est pas sans susciter des inquiétudes quant à l'intégrité scientifique. L'affaire dite du "Lancetgate" en est un bon exemple. On en connaît les grandes lignes. Deux études parues coup sur coup dans deux des plus prestigieuses revues de médecine, le New England Journal of Medicine (le 1er mai 2020) et le Lancet (le 22 mai), abordaient la question des traitements de la COVID-19 en se fondant sur les données fournies par les dossiers médicaux de 169 hôpitaux dans 11 pays. Ce jeu de données était fourni par la société Surgisphere, propriété de Sapan Desai, l'un des co-auteurs des deux articles. Or Surgisphere n'a jamais été en mesure de fournir la preuve de l'existence de ces fichiers.
Le 28 mai, une lettre ouverte lancée par l'épidémiologiste James Watson et cosignée par 200 chercheurs est adressée aux auteurs de l'article paru dans le Lancet ainsi qu'à son directeur, Richard Horton, pour soulever dix questions portant sur l'intégrité et l'éthique des travaux.
Comme la société Surgisphere n'est pas en mesure de fournir les données sources, faisant valoir des accords de confidentialité la liant aux hôpitaux, les deux articles sont finalement retirés le 4 juin.
Plusieurs enseignements peuvent être tirés de ce cas d'école. Tout d'abord, l'inconduite scientifique des auteurs n'a en aucune façon été repérée par les reviewers, censés contrôler les manuscrits, les relire et les valider. Le #Lancetgate met donc au jour des failles au niveau du contrôle par les pairs. Par ailleurs, c'est probablement le contexte particulier de l'urgence sanitaire qui a pu expliquer que ces deux articles aient pu passer l'étape de la relecture : la crise sanitaire a, semble-t-il, accru les chances qu'un article relatif à la COVID soit publié, quelle qu'en soit la qualité. Plus fondamental : il n'y aurait jamais eu de "Lancetgate" si les données sources de Surgisphere avaient été d'emblée partagées. Le comité éditorial du Lancet aurait dû rendre obligatoire le partage des données de recherche, conformément aux grands principes de la Science Ouverte. Enfin, pour en revenir à notre propos sur l'évaluation post-publication, une leçon optimiste peut malgré tout être tirée de cette sinistre affaire : il faut souligner l'extrême réactivité dont a fait preuve la communauté scientifique pour mettre en doute les résultats des deux études, une fois qu'elles ont été publiées. L'article du NEJM sera resté en ligne moins de 5 semaines, celui du Lancet moins de deux semaines. C'est donc grâce à une très forte réactivité de la communauté scientifique que les publications frauduleuses ont pu être rapidement retirées. L'évaluation post-publication devient un élément-clé du contrôle de l'intégrité scientifique. Même si ce type d'évaluation ex-post n'est pas nouveau, ce qui frappe est la vitesse avec laquelle la fraude ou l'inconduite peuvent être détectées. Cette vitesse s'explique en grande partie par la force des réseaux sociaux, de Tweeter en particulier, comme on le verra un peu plus loin.
Une analyse de 44 serveurs a révélé que la plupart d'entre eux disposent de systèmes de contrôle de la qualité. Soixante-quinze pour cent d'entre eux ont fourni publiquement des informations sur leurs procédures de filtrage, et 32 % ont fait participer les chercheurs à l'examen des articles selon des critères tels que la pertinence du contenu. (...) BioRxiv et medRxiv ont un processus de vérification à deux niveaux. Dans un premier temps, les articles sont examinés par le personnel interne qui vérifie les problèmes tels que le plagiat et le caractère incomplet. Ensuite, les manuscrits sont examinés par des universitaires bénévoles ou des spécialistes en la matière qui recherchent les contenus non scientifiques et les risques pour la santé ou la biosécurité. BioRxiv utilise principalement des chercheurs principaux ; medRxiv utilise des professionnels de la santé. Parfois, les examinateurs signalent les articles pour un examen plus approfondi par Sever et d'autres membres de l'équipe de direction. Sur bioRxiv, cet examen est généralement effectué dans les 48 heures. Sur medRxiv, les articles sont examinés de plus près car ils peuvent avoir un rapport plus direct avec la santé humaine, et le délai d'exécution est donc généralement de quatre à cinq jours.
Pour autant, le filtrage a priori des preprints est insuffisant pour repérer tout type de fraude scientifique. C'est pourquoi, l'évaluation plus approfondie des preprints se fera le plus souvent ailleurs, par le biais de commentaires directement sur les plateformes de preprints ou bien sur les réseaux sociaux. Ainsi de ce preprint qui affirmait que quatre insertions dans le virus COVID-19 étaient similaires au virus de l'immunodéficience humaine-1. Les critiques de ce document sur Twitter, ainsi que sur bioRxiv ont conduit à son retrait rapide
Pour désengorger les comités éditoriaux des revues, les presses du MIT ont créé une revue "superposée" (overlay journal) intitulée Rapid Reviews : COVID-19 (RR:C19). Elle propose des relectures rapides des preprints qui lui sont soumis, et permet ainsi d'accélérer l'examen par les pairs des recherches liées au COVID-19 tout en fournissant "des informations scientifiques vérifiées en temps réel que les décideurs politiques et les responsables de la santé pourront utiliser." Avec le soutien de la fondation britannique Wellcome, d'autres chercheurs ont lancé la plateforme de reviewing rapide Outbreak Science Rapid PREreview ; les critiques y sont ouvertes, mais les commentateurs peuvent rester anonymes s'ils le souhaitent. A partir du moment, où, sous le coup de l'urgence sanitaire, l'activité de relecture par les pairs est sous-traitée partiellement par des plateformes indépendantes, la raison d'être des éditeurs paraît sérieusement écornée. Les preprints gagnent en légitimité et sont davantage recensés dans les corpus relatifs à la COVID-19. Les avis des pairs, s'ils sont positifs, consacrent les manuscrits comme des travaux qui pourraient être cités et diffusés quasiment avec la même légitimité que des articles publiés dans des revues à comité de lecture. Cependant, l'usage de ces plateformes ne doit pas être surévalué.
2.3. Twitter, PubPeer : Pour le meilleur et le PubPeer
Décrié par certains comme outil de délation, parce qu'il a permis de mettre en cause, parfois par le biais de l'anonymat, les travaux de chercheurs renommés ou connus (en France : Olivier Voinnet, Catherine Jessus, Anne Peyroche...), PubPeer ("The online Journal club") est une plateforme créée en 2012 dans le but d'offrir un forum de discussion aux chercheurs pour commenter, voire critiquer les articles publiés. PubPeer organise donc une évaluation par les pairs après publication.
PubPeer met également en cause indirectement la qualité du contrôle par les pairs dans les revues dans lesquelles les articles détectés ont été publiés. Mais il se pourrait que PubPeer soit un mal nécessaire, dans la mesure où ces commentaires aident "à assainir la littérature scientifique", comme l'admet Olivier Voinnet.
Le double bandeau vert de PubPeer est souvent vécu comme infamant par les auteurs de l'article incriminé. Une fois installée l'extension PubPeer sur votre navigateur, le double bandeau s'affiche automatiquement dès lors que l'article en question a été commenté et signalé sur PubPeer comme étant problématique.
Twitter est également investi par la communauté scientifique pour partager des commentaires ou des doutes sur tel ou tel preprint ou telle ou telle publication. L'utilisation de Twitter pour évaluer les publications ou les manuscrits fournit un examen public supplémentaire qui peut compléter ou corriger le processus traditionnel d'évaluation par les pairs, plus opaque et plus lent. Au regard des statistiques, Twitter est de loin le réseau social le plus utilisé pour commenter des articles, même si, comme l'indiquent les auteurs du graphe ci-dessous, les chiffres doivent être nuancés, dans la mesure où un grand nombre d'articles sont partagés sur Twitter par des robots.
 |
| Source : "Open Science Saves Lives: Lessons from the COVID-19 Pandemic". 30/10/2020. bioRxiv |
3. Un paywall en recul
Contrairement aux prévisions de chercheurs qui concluaient qu'au 1er juin 2020, "près de la moitié de tous les articles de l'étude COVID-19 pourraient se trouver derrière des murs payants si la tendance actuelle se poursuit", d'après les données fournies par la plateforme Dimensions, la part des articles relatifs à la COVID-19 sous paywall se monte à 25,7 % à la mi-avril 2021. Cette érosion apparente de la part des articles accessibles uniquement par achat ou abonnement, est à mettre en regard de la part des articles diffusés selon le modèle "bronze" (26,3%). La terminologie "bronze" désigne l'ensemble des publications librement disponibles sur le site web d'un éditeur, mais sans licence ouverte. Il s'agit donc d'un ensemble assez instable : à tout moment l'éditeur peut décider de remettre ces contenus sous paywall. Il n'en reste pas moins que, dans le contexte de la pandémie, bon nombre d'éditeurs ont supprimé la barrière de l'accès payant pour les corpus d'articles relatifs à la COVID-19 : British Medical Journal, Cambridge University Press, Elsevier, Journal of The American Medical Association, New England Journal of Medicine, Oxford University Press, Proceedings of the National Academy of Sciences, Sage Publishing, Springer Nature, Taylor&Francis, Wiley, Wolters Kluwer et bien d'autres éditeurs encore.
 |
| COVID-19 Report. Source : Dimensions. |
4. Echange de bons procédés
Au final, il apparaît qu'au cours de cette "course effrénée à la publication", un cercle vertueux s'est créé par lequel l'article publié dans une revue à comité de lecture et le manuscrit ont échangé partiellement l'un l'autre leurs qualités, par effet de miroir. Les revues à comité de lecture ont opté pour le raccourcissement des délais de soumission-acceptation et aceptation-publication, la suppression temporaire des paywalls, et le reviewing a été renforcé par l'évaluation post-publication. Les preprints, eux, ont été filtrés en amont (double voire triple contrôle manuel pour medRxiv et bioRxiv) et sont de plus en plus soumis à des évaluations par des pairs en temps réel, lesquelles sont la garantie d'une meilleure qualité en cas de publication ultérieure.
| filtrage préalable | délai entre soumission et acceptation | délai entre acceptation et publication | peer reviewing | commentaire post publication | paywall (revues accessibles sur abonnement) | ||
| articles | filtrage fréquent | délai raccourci | délai raccourci | systématique | de plus en plus fréquent (PubPeer, réseaux sociaux...) | Souvent levé temporaire-ment (revues bronze) | |
| preprints | filtrage manuel ou algorithmique pour la majorité des serveurs de preprints | sans objet | sans objet | de plus en plus fréquent : PubPeer, Zenodo, ASAPbio, Review Commons, Twitter, revues "superposées" (overlay journals) comme RR:C19, plateformes de reviewing accéléré comme OutbreakScience PREreview | sans objet |
sans objet |
5. Comment suivre le cycle de vie des preprints ?
Partons de ce chiffre : "au début du mois de décembre 2020, près d'un quart des preprints de medRxiv liés à COVID avaient été publiés dans des revues." Comment tracer le parcours de ces publications, surtout si le lien preprint-publication fourni par medRxiv n'est pas systématiquement indiqué ?
Non seulement les serveurs de preprints ne font pas systématiquement le lien avec la version publiée, mais les revues elles-mêmes ne pointent que rarement vers le preprint. Le risque est de compter deux fois ou plus un même article :
Un autre problème est que les preprints peuvent amener des chercheurs extérieurs à compter deux fois les résultats. Si un chercheur tente de rassembler des recherches dans le cadre d'une synthèse narrative ou quantitative et qu'il compte un article évalué par des pairs, il doit ignorer le preprint associé pour éviter de surpondérer cette cohorte. Idéalement, les serveurs de prépublications identifient le moment où l'article est publié, mais ce lien automatique dépend du fait que le titre et les auteurs restent les mêmes, et peut échouer si ceux-ci changent entre la prépublication et l'examen par les pairs. De même, le journal concerné devrait identifier la version préimprimée comme faisant partie de l'enregistrement de la publication, ce qui devrait être le cas, mais ne l'est pas toujours.
L'enjeu n'est pas simplement d'ordre bibliométrique, mais de santé publique : "L'établissement d'un lien entre les prépublications et les publications est de la plus haute importance, car il permet aux lecteurs de disposer de la dernière version d'un travail désormais certifié. (...) Le fait de négliger les preuves publiées se traduit par des examens systématiques partiels, voire inexacts, sur des questions liées à la santé, par exemple".
L'étude du cas de la plateforme COVID19 Preprint Tracker fournit des éléments de réponse à ces problématiques. Le contexte de sa conception est le suivant : des épidémiologistes du CRESS (UMR 1153 INSERM) réalisent depuis début 2020 une revue en temps réel de la littérature scientifique du COVID19. Leurs résultats sont diffusés sur la plateforme COVID-NMA et exploités par l’Organisation Mondiale de la Santé. La sélection des preprints est donc faite manuellement. S'est alors posé un problème de taille : comment suivre en temps réel la mise à jour des preprints (versioning) et leur publication éventuelle ? La tâche de suivi était effectuée manuellement, et était devenue insoutenable avec l'augmentation du nombre de manuscrits.
D'où l'idée de recourir à un algorithme adossé à la base mondiale CrossRef pour automatiser l'enrichissement des métadonnées du corpus. C'est le principe même de fonctionnement de la plateforme COVID19 Preprint Tracker, mise au point par le chercheur en sciences de l'information Guillaume Cabanac :
[Les algorithmes] identifient les nouvelles versions au jour le jour et relient les preprints publiés aux articles qui en résultent, dès leur parution. Les articles et preprints sont également contextualisés par des indicateurs de citation dans la sphère académique et de mise en visibilité dans la sphère publique (indicateur d’attention Altmetrics et indicateurs PubPeer permettant de détecter les controverses scientifiques et les lanceurs d’alerte). Ces éléments sont centralisés sous forme d’un tableau de bord en ligne mis à jour quotidiennement et utilisé quotidiennement par les épidémiologistes.
 |
| Capture d'écran. COVID19 Preprint Tracker |
***
"La Science Ouverte sauve des vies : leçons de la pandémie de COVID-19"
Tel est le titre d'un preprint déposé sur bioRxiv le 30 octobre 2020 et qui fera probablement date. Co-signé par 371 chercheurs en sciences biomédicales, le texte tire les leçons de la pandémie : si les principes de la Science Ouverte étaient pleinement mis en œuvre, du temps et de l'énergie pourraient être gagnés :
L'adoption pleine et entière des principes de la science ouverte aurait pourtant permis d'économiser de précieuses ressources de recherche : l'examen ouvert par les pairs aurait permis de détecter les conflits d'intérêts éditoriaux et de savoir si les manuscrits avaient fait l'objet d'un examen approfondi ; l'adoption de rapports enregistrés aurait renforcé la conception des études et les plans d'analyse des données ; l'utilisation correcte et contrôlée des preprints aurait facilité la communication des premiers résultats entre les chercheurs ; le renforcement des politiques de partage ou d'examen des données brutes aurait pu éviter le scandale de Surgisphere ; et le plein accès ouvert aurait pu accélérer la recherche de solutions à la pandémie dans les contextes médical et socio-économique. En outre, l'examen des statistiques aurait pu contribuer à rendre les études et leurs résultats plus robustes et à limiter l'impact de l'exagération ou de la mauvaise interprétation des résultats.
L'évaluation des chercheurs doit être également réformée : elle doit être qualitative plus que quantitative. Il n'est que de songer au système abominable de points SIGAPS qui poussent les chercheurs hospitalo-universitaires à publier toujours davantage, si possible dans une revue ayant un facteur d'impact élevé, pour étoffer les dotations budgétaires de leur établissement.
Les chercheurs ont fait valoir que l'adoption de la transparence devrait être couplée à l'adoption d'un ensemble plus diversifié de paramètres pour évaluer les chercheurs ou au rejet pur et simple des paramètres afin de limiter réellement les pratiques de recherche douteuses. Une adoption plus large de ces principes de la science ouverte ne peut être réalisée sans l'aval et le soutien des institutions, des éditeurs et des organismes de financement. Des initiatives internationales, telles que la Déclaration sur l'évaluation de la recherche (DORA), ont été mises en place pour réformer le processus d'évaluation et de financement de la recherche, en favorisant la qualité de la recherche plutôt que la quantité de résultats. Les universitaires de haut niveau ont également été identifiés comme des agents clés dans le soutien de la recherche ouverte. Pour que les principes de la Science Ouverte soient clairement et largement adoptés, tous les acteurs de la communauté scientifique ont un rôle à jouer : les chercheurs établis devraient encourager une transition vers une recherche transparente ; les institutions et les agences de financement devraient diversifier les évaluations de la recherche ; les revues, les comités éditoriaux et les agences de financement devraient faire de toutes les pratiques de la Science Ouverte la norme de facto pour les soumissions (en particulier les données ouvertes et les rapports enregistrés) ; les éditeurs devraient s'efforcer de rendre tous les articles en Accès Ouvert ; et les décideurs politiques et les comités d'examen internationaux devraient envisager d'ouvrir les données sensibles aux examinateurs ou aux parties de confiance pour une validation externe.Et si ces réformes sont nécessaires, c'est que "la Science Ouverte sauve des vies"... On n'a jamais lu meilleur argument. Espérons que les auteurs de ce vibrant plaidoyer seront entendus.
