Il y a quelques années, deux chercheurs ont sélectionné les 50 ingrédients les plus utilisés dans un livre de recettes et regardé combien avaient été associés à un risque ou à un bénéfice face au cancer, dans diverses études publiées dans les revues scientifiques. La réponse : 40 sur 50. « Tout ce que nous mangeons est-il lié au cancer ? » se sont-ils ensuite demandé dans un article publié en 2013.
Concurrence entre revues et appétit des médias
Leur question touche à un problème connu mais persistant dans le monde de la recherche : trop d'études utilisent des échantillons trop petits pour aboutir à des conclusions généralisables.
Mais la pression pesant sur les chercheurs, la concurrence entre les revues et l'appétit insatiable des médias pour des études annonçant révolutions ou découvertes majeures, fait que ces articles continuent d'être publiés. « La majorité des articles publiés, même dans les revues sérieuses, sont mauvais », confie l'un des auteurs, John Ioannidis, professeur de médecine à Stanford.
Ce pourfendeur de la mauvaise recherche scientifique a démontré en 2005 dans un article retentissant « pourquoi la plupart des études publiées sont fausses ». Depuis, dit-il, seuls quelques progrès ont été faits.
« Une formation superficielle en statistiques »
Quelques revues exigent que les auteurs fournissent leurs données brutes et publient préalablement leur protocole. Une transparence permettant d'éviter que les chercheurs triturent leurs méthodes et données afin de trouver un résultat, quel qu'il soit. Elles permettent à d'autres de vérifier ou « répliquer » l'étude.
Car lorsqu'elles sont refaites, les expériences aboutissent rarement aux mêmes résultats. Seul un tiers de 100 études publiées dans les trois revues de psychologie les plus prestigieuses ont pu être reproduites par des chercheurs, lors d'une analyse publiée en 2015.
La médecine, l'épidémiologie, les essais cliniques de médicaments et les études sur la nutrition ne font guère mieux, insiste John Ioannidis, notamment lors de réplications. « Dans les sciences biomédicales et ailleurs, les scientifiques n'ont qu'une formation superficielle en statistiques et en méthodologie », ajoute John Ioannidis. Trop d'études portent ainsi sur seulement quelques individus, empêchant de généraliser à une population entière, car les participants retenus ont peu de chance d'être représentatifs.
Alimentation, café et vin rouge
« Le régime alimentaire est l'un des domaines les plus consternants », continue le professeur Ioannidis, et pas seulement à cause des conflits d'intérêts avec l'industrie agroalimentaire. Les chercheurs partent souvent en quête de corrélations dans d'immenses bases de données, sans hypothèse de départ. En outre, « mesurer un régime alimentaire est extrêmement difficile », explique-t-il.
Même quand la méthode est bonne, avec une étude randomisée, où les participants sont choisis aléatoirement, l'exécution laisse parfois à désirer. Une célèbre étude de 2013 sur les bienfaits du régime méditerranéen contre les maladies du cœur a dû être retirée en juin par le New England Journal of Medicine, car les participants n'avaient pas tous été recrutés aléatoirement ; les résultats ont été revus à la baisse.
Pour John Ioannidis, les médias doivent mieux expliquer à leurs lecteurs les incertitudes inhérentes à la recherche scientifique, et résister au sensationnalisme. « Le problème, c'est la succession sans fin d'études sur le café, le chocolat et le vin rouge », se plaint-il. « Il faut qu'on arrête ».
(Avec AFP)
Pause exceptionnelle de votre newsletter
En cuisine avec le Dr Dominique Dupagne
[VIDÉO] Recette d'été : la chakchouka
Florie Sullerot, présidente de l’Isnar-IMG : « Il y a encore beaucoup de zones de flou dans cette maquette de médecine générale »
Covid : un autre virus et la génétique pourraient expliquer des différences immunitaires, selon une étude publiée dans Nature