Publications et pré-publications à la chaîne, résultats rétractés pour insuffisance méthodologique ou carrément soupçons de fraude scientifique… La crise du Covid-19 a mis en lumière et exacerbé les travers de la production scientifique, égratignant au passage les revues les plus prestigieuses. Mais, même imparfaites, celles-ci restent pour le moment quasiment incontournables.
Une explosion : depuis le début de la pandémie, le nombre d’études publiées a atteint des sommets. Entre grandes revues et prépublications en accès libre (pré-prints), les résultats de tout ordre se bousculent, se contredisant parfois, à toute vitesse. Boostées par les réseaux sociaux, les controverses, habituellement cantonnées au monde académique, flambent au grand jour, sur fond de soupçons : de liens d’intérêts, de méthodologie bancale, voire de données frauduleuses. Dans ce concert dissonant, la petite musique du doute généralisé risque de l’emporter. Comment s’y retrouver quand même une revue comme The Lancet, fleuron du mastodonte de la publication scientifique Elsevier, sort écornée par ce que l’on a appelé le « LancetGate », pour avoir publié le 22 mai – avant de rapidement la rétracter – une étude sur l’hydroxychloroquine fondée sur une base de données aussi gigantesque… qu’erronée ?
En pleine crise du Covid et au cœur de la polémique sur l’hydroxychloroquine, cet épisode a mis à nu les dessous de la recherche et de la publication, questionnant la fiabilité du « contrôle qualité » mis en place par les éditeurs. En France, plusieurs médecins, sociétés savantes et associations sont ainsi montés au créneau en septembre pour dénoncer, dans une tribune intitulée « Halte à la fraude scientifique », les dérives de certaines publications.
Faut-il pour autant jeter le bébé avec l’eau du bain ? Longtemps placées sur un piédestal, les revues médicales primaires ont-elles perdu en légitimité et doivent-elles revoir leur modèle ?
La revue par les pairs, un garde-fou utile…
À l’inverse des plateformes de pré-prints comme MedRxiv, les grandes revues soumettent le travail, avant publication, à une révision : le peer review. Ces « pairs » extérieurs, chargés – bénévolement – de décortiquer, commenter, critiquer voire réfuter l’étude sont choisis parmi des experts du sujet. « Si les grandes revues sont en général fiables, c’est que les articles y sont revus par des scientifiques eux-mêmes à fort impact », confie Elisabeth Bik, consultante en intégrité scientifique. Le travail est épluché selon une grille de lecture spécifique à chaque revue et chaque type d’étude, en s’attachant toujours à vérifier la méthodologie employée. Si elle est jugée inappropriée, l’étude devrait être retoquée.
… mais pas infaillible
« La plupart des chercheurs sont de bonne foi et leurs erreurs aussi », poursuit Elisabeth Bik. Mais le filtre comporte des failles, dont une, de taille, a été mise en lumière par le LancetGate : les reviewers – et même les auteurs – n’ont pas forcément accès aux données sources. Dans ce contexte, les experts peuvent peiner à vérifier la solidité des données qui servent de support à l’étude. Ainsi, pour l’étude du Lancet sur l’hydroxychloroquine, seul l’un des signataires de l’étude avait la main sur les données fournies par sa sulfureuse société, Surgisphere. Pour circonscrire les risques, « le NEJM précise depuis trois ans si les auteurs ont accepté de partager leurs données », observe le Dr Denis Pouchain, généraliste à Vincennes. Le 17 septembre, les éditeurs des revues de la marque The Lancet ont aussi resserré les mailles du filet. Désormais, pour toute étude impliquant une large base de données, il faut attester que plus d’un auteur de l’article y a eu accès et a pu les vérifier. Un examinateur académique au moins doit aussi pouvoir se pencher dessus.
Le problème ne sera pas complètement résolu pour autant, souligne Denis Pouchain : « une grande partie des études publiées sont des essais thérapeutiques : donner accès aux données, c’est parfois livrer des secrets industriels » que l’industrie pharmaceutique ne souhaite pas partager.
De plus, dans des milieux surspécialisés où tout le monde se connaît, « les relecteurs peuvent avoir des conflits d’intérêts non financiers (amitiés/inimitiés, connaissances, courants de pensées et écoles…) qui influencent les décisions et les évaluations, dénonce le Dr Hervé Maisonneuve, médecin de santé publique et ancien président de l’Association européenne des rédacteurs scientifiques. C’est probablement assez important, mais personne n’en parle ». La relecture en double insu tend à limiter les collusions mais elle n’est pas systématique.
Des choix de publications biaisés ?
Les limites de la relecture ne sont pas les seuls écueils. « J’espère que les chercheurs cherchent pour le bien des patients, soupire le Dr Philippe Bizouarn (co-auteur d’un éditorial publié cet automne appelant à plus de responsabilité et d’éthique dans la recherche clinique et épidémiologique). Mais Prescrire pointe depuis longtemps cette obsession de la course à la publication (publier ou périr), pour augmenter son point d’impact en tant que chercheur. » Dans le paysage actuel de la recherche, détaille Denis Pouchain, exposer ses résultats n’est en effet pas totalement désintéressé. En France, publier dans une revue scientifique, c’est s’assurer un score Sigaps, qui peut varier de 1 à 32 points, notamment selon le facteur d’impact de la revue qui accepte l’étude. Chaque point Sigaps se traduit en euros (648 euros le point en 2017) alloués par le ministère à l’établissement de l’équipe de recherche. « Plus on publie, plus on obtient donc de financements, résume le Dr Pouchain, d’où la tentation de publier jusque dans des revues de 2e ou 3e niveau, moins regardantes sur les qualités méthodologiques du travail. »
Du côté des éditeurs, « la notoriété des auteurs et le potentiel de citation de l’étude jouent également dans les biais de publication », avance le Dr Hervé Maisonneuve.
Malgré tout, exposer son travail dans une revue sérieuse reste une gageure. « Le rédacteur en chef du BMJ, hebdomadaire, m’avait confié ne publier que 5 % de toutes les propositions qu’il reçoit », se souvient Denis Pouchain. Le choix varie quelque peu selon la ligne éditoriale de la publication, « le NEJM centré sur la thérapeutique, le BMJ plus orienté sur les études de cohortes, le JAMA sur des études observationnelles originales mais pas forcément de bonne qualité ». Mais les critères de sélection – l’originalité de l’étude, son exclusivité et enfin la qualité de sa méthode – se déclinent globalement toujours dans cet ordre, énumère le généraliste, « sachant qu’in fine, ce sera toujours l’avis du rédacteur en chef qui l’emporte ».
Un modèle économique en mutation
Le modèle économique historique des revues reposant sur l’abonnement a-t-il vécu ? Depuis le début des années 2000, de nombreux chercheurs plaident dans ce sens au nom du libre accès à la science. Cela a conduit les revues à évoluer, avec notamment l’apparition d’un système de droits d’acceptation de publication (ou APC) allant de 1 500 à 3 000 dollars voire au-delà, payés par les auteurs en « contrepartie » d’un accès libre à leurs résultats. « Le premier paiement d’APC est intervenu en 2002 dans une revue du groupe BMC », détaille Hervé Maisonneuve. Le groupe PLOS a suivi.
Après avoir longtemps résisté, le domaine médical s’y est mis aussi.
Depuis quelques années, certaines revues composent entre les ressources des abonnements qui diminuent et celles des APC qui augmentent.
Par exemple, le JAMA a créé le JAMA Open network, fondé sur ce principe.
Le Lancet a opéré sa mue il y a près de trois ans. Dans ce journal « hybride », la moitié des articles est consultable sur abonnement, l’autre moitié est en accès gratuit car financée par le système APC.
Des critiques anciennes mais amplifiées par la pandémie
Si elle revient en pleine lumière, sous l’effet loupe du Covid, « la question de la fiabilité des publications ne date pas d’hier, rappelle le Dr Bizouarn. Depuis les années 1990, un grand mouvement critique s’est levé aux États-Unis pour souligner les imperfections des études scientifiques : des spécialistes y ont démontré que la moitié des publications comportent des erreurs. »
La pandémie n’a fait que bousculer un peu plus les choses, les plateformes de pré-prints publiant à tour de bras et les plus grandes revues accélérant le processus de publication et de révision, voire créant de nouvelles rubriques pour alléger les standards de publication.
« On peut comprendre que le monde ait besoin de savoir ce qui marche contre un nouveau virus, poursuit Elisabeth Bik. Mais la science a besoin de lenteur. Conduire une étude solide nécessite de bien réfléchir à son design, de sélectionner soigneusement les patients et à toute étape, il y a toujours le risque de raccourcis, d’erreurs, de fraude : la bonne science ne peut être faite au pas de charge. » Parce qu’il y avait une « urgence qui a touché d’un coup le monde entier, on a assisté à une héroïsation des chercheurs, analyse le Dr Bizouarn, et n’importe quel résultat publié sur n’importe quel support est devenu une injonction à changer de pratique ».
Des résultats à relativiser
Un non-sens, prévient-il, considérant qu’aucun résultat d’étude ne devrait jamais être pris pour argent comptant : « La science qui se fait n’est pas une religion. Elle est toujours incertaine, avance à petits pas et en médecine, il faut toujours douter. Aucun article scientifique n’est jamais assez définitif pour inciter à un changement de pratique médicale. Et que l’on soit spécialiste ou généraliste, il ne faut jamais oublier de se poser la question : quel intérêt tels résultats ont-ils pour mon malade à moi ? »
L’effet loupe de la crise du Covid sur la fiabilité des revues scientifiques ne doit pas occulter la vraie question, confirme le Pr Eric Galam, professeur de médecine générale et contributeur à la revue Médecine. Outre que « l’on n’a pas le temps, scruter les études scientifiques n’a pas une grande pertinence pour un généraliste. Notre rôle, de toute façon, n’est pas de chercher et trouver de nouveaux médicaments, ni de décider si l’hydroxychloroquine est efficace pour nos patients. Le généraliste est un praticien. » Et dans la pratique quotidienne, impossible de faire aveuglément confiance aux études publiées dans les revues : « l’evidence-based medicine à notre niveau, c’est de savoir si les données s’appliquent à NOS patients. » Et cela exige forcément de rester critique, rappelle Eric Galam : « Les données publiées sont rarement étudiées sur des femmes enceintes ou des plus de 65 ans, qui sont les patients assis en face de moi. Le généraliste a besoin d’outils solides, validés et opératoires. »
Malgré tous ces bémols, « je pense que les grandes revues ont encore de beaux jours devant elles du fait du double langage des chercheurs eux-mêmes : on reconnaît les dérives, mais on cherche à publier dans ces revues prestigieuses », conclut le Dr Maisonneuve.
Et pour le moment, la publication d’une étude dans une revue reste le principal juge de paix qui entérine ses résultats, comme l’a bien montré l’arrivée des premiers vaccins anti-Covid. Malgré un enjeu majeur et des résultats encourageants annoncés par les fabricants, de nombreuses voix ont appelé à la prudence tant que les données des essais n’étaient pas publiées…
L’impact factor, un indicateur de notoriété imparfait ?
Pour savoir à quelle publication se fier, « un moyen utile est de connaître l’impact factor (IF) de la revue », conseille le Dr Pouchain. Moyenne du nombre de citations des articles publiés sur deux ans par une revue, « cet indicateur figure en général en première page de son site ». Les impact factors sont aussi recensés sur le site bioxbio.com, qui donne un aperçu de l’écart de notoriété entre le NEJM ou le Lancet, en tête, avec des IF respectifs de 74 699 et 60 392 en 2019, loin devant une revue comme Clinical Diabetology et son IF à 0,14. « L’atout du facteur d’impact réside dans sa simplicité d’utilisation. Cependant, nombreuses sont les dérives sur le facteur d’impact et les manipulations sont connues », souligne Hervé Maisonneuve, qui plaide, à l’instar de l’Académie des sciences, pour l’abandon de cet indicateur.
