GUIDE: 7 étapes pour détecter les fausses découvertes scientifiques

Le chocolat peut faire perdre du poids, a indiqué le journaliste américain John Bohannon qui a induit le monde en erreur l’année dernière. En collaboration avec deux producteurs allemands de télévision, il a inventé une fausse étude pour dire que ceux qui ont un régime faible en glucides perdent plus de poids en consommant du chocolat.

Beaucoup d’organes de presse comme le Huffington Post, le Daily Star, au Royaume-Uni, et le Times of India, ont repris le reportage. La révélation de Bohannon avait mis en colère et dans l’embarras beaucoup de journalistes.

Ce n’était pas la première fois que cela arrivait: un communiqué de presse succulent appuyé par une science douteuse véhiculant une histoire qui suscite l’intérêt des rédacteurs en chef et des journalistes. Mais cette fois-ci, on les attendait au tournant.

Le reportage scientifique est difficile parce qu’il très improbable qu’une personne connaisse tout des différents et divers sujets de la science. Une compréhension de l’astrophysique ne signifie pas que la personne la personne a assez de connaissances en chimie, en biologie ou en ingénierie nucléaire.

Les scientifiques ont également une aura de sérieux et d’autorité : nous sommes plus enclins à croire un scientifique qu’un politicien, par exemple. Et cela rend également difficile la tâche consistant à les appeler pour combler des vides dans leurs articles.

Donc comment peut-on savoir qu’on on est en face de quelqu’un qui dit des inepties ? Les journalistes peuvent commencer en se posant ces questions :

1- La revue est-elle authentique ?

La première chose à voir est l’étude qui appuie le communiqué de presse ou l’article

Même si l’expression « étude académique » donne une impression de validité, le sérieux de l’étude est également un défaut dans la cuirasse.

Le simple fait de publier une étude dans une revue scientifique ne signifie pas qu’elle est valide. Il y a une hiérarchie des revues, certaines étant plus respectées que d’autres :  Science, Nature et Cell, par exemple, sont peut-être des références en matière de publication scientifique. Elsevier, l’un des principaux éditeurs académiques, dispose d’une base de données d’articles et de publications revus par les pairs, appelée Scopus.

Mais toutes les revues ne sont pas authentiques. Dans un blog publié sur le site Public Library of Science (PLOS), le Docteur Eve Carlson donne 11 conseils pour savoir si une revue est bonne. Son plus important conseil est de vérifier si la revue a un rédacteur en chef ou s’il y a un scientifique qui le connait.

Les revues scientifiques sont respectées en partie parce qu’elles ont un processus strict de revue par les pairs. Le processus soumet les articles de recherche scientifique à un examen minutieux et indépendant d’autres experts qualifiés et ceci, avant leur publication.

Cela permet d’éliminer les fausses affirmations et les conclusions trafiquées, même si ce n’est malheureusement pas toujours le cas. En 2014 et 2015, certains grands noms de l’édition académique comme Springer Nature, Wiley et Elsevier ont découvert que des chercheurs faisaient eux-mêmes la revue de leurs propres articles. Mais les publications fabriquées sont une exception et non une règle.

2- Qui est le scientifique ?

Quelqu’un peut mettre « Dr » ou « Prof » à côté de son nom, mais cela ne veut pas dire qu’il faut le croire aveuglément ;

Demandez si l’expert est d’une institution qui a une bonne réputation. Regardez les scientifiques et leurs institutions pour vous assurer qu’ils sont habilités à se prononcer sur le sujet.

Le portail en ligne Research Gate est un bon endroit pour commencer à fouiller dans l’histoire de l’édition académique (et de s’assurer que quelqu’un en fait partie) ou bien Google Scholar.

L’universitaire a-t-il publié avant ? (La réponse devrait être affirmative).

Que pensaient ses pairs de sa recherche? (Vous pouvez retrouver cela en vérifiant tout autre travail réalisé dans ce domaine et en contactant d’autres chercheurs – voir 5^e point). En évaluant la validité d’une affirmation scientifique, il faut retenir que l’opinion des pairs d’un expert est plus importante que celle populaire.

Si l’un des journalistes ayant couvert cette étude sur le chocolat avait recherché sur Google « Dr Johannes Bohannon », il se serait rendu compte que lui et son institut - the Institute of Diet and Health – étaient faux.

3 - Comment la recherche a-t-elle été menée?

En examinant l’étude, la question la plus importante que vous pouvez vous poser est de savoir quelle est la taille de l’échantillon. C’est un bon avertissement, si l’étude (ou communiqué de presse) ne mentionne pas la taille de l’échantillon. « L’étude » sur le chocolat ne l’a pas fait, peut-être parce qu’il n’y avait que 15 personnes comme échantillon.

Comparez cela à l’étude portant sur plus de 2.300 Finlandais de plus de 21 ans, qui a montré que les hommes qui pratiquent le sauna étaient moins exposés à la mort par arrêt cardiaque. La taille de l’échantillon et l’étendue de l’étude font que le résultat est plus convaincant et beaucoup plus significatif, du point de vue statistique, que ce qui est arrivé au poids de 15 individus sur une période de 21 jours.

4- Montre-t-elle une causalité ou une corrélation?

Même si la vaste étude sur le sauna parlait de « lien », elle ne disait pas que le sauna faisait vivre les hommes beaucoup plus longtemps. C’est parce qu’il y a une différence entre « lien » (également appelé « association » et « corrélation ») et « cause ».

Quand deux choses arrivent au même moment, cela ne veut pas dire que l’une a occasionné l’autre. En fait, cette combinaison (causalité et corrélation) est l’une des erreurs les plus communes en science et reportage sur la santé.

Rebecca Goldin, professeur de mathématiques aux Etats-Unis, également directeur de l’organisation à but non lucratif Sense about Statistics (STATS), a donné l’exemple suivant pour expliquer la différence de la manière suivante :

« La prise du petit-déjeuner a longtemps été associée au succès à l’école pour les élèves de l’élémentaire. Il serait facile de conclure que le petit-déjeuner améliore les performances des élèves. Est-ce une relation causale – le petit-déjeuner en tant que tel fait-il de meilleurs élèves ? Ou bien s’agit-il d’une simple corrélation : peut-être que la non-prise du petit-déjeuner  est en corrélation avec les autres défis chez les enfants qui font d’eux de mauvais élèves, comme des parents peu instruits, le pire statut socio-économique, moins d’attention aux études à la maison et des attentes plus faibles ».

Que vous lisiez un article scientifique ou que vous écriviez sur la science, posez-vous toujours cette question: parle-t-on de « causalité » ou de « corrélation » ?

5- Qu’en pense la communauté scientifique?

Ne croyez jamais aveuglément à la parole d’un individu. Les scientifiques tirent profit en voyant leur nom et leur œuvre mis en exergue dans les médias. Cette attention médiatique entraîne souvent un profil plus important et des financements à la hausse, comme le montre un article sur l’engagement public publié par le UK Reserach Council.

Même si la revue par les pairs est utile pour tester la validité du travail d’un expert, elle n’est qu’un point de départ. Il vous faut trouver un interlocuteur évoluant dans le même domaine, quelqu’un qui n’est pas impliqué dans la recherche (en revue) et qui n’est affilié à l’institution de l’expert.

Par exemple, quand le Professeur Lee Berger de l’Université de Witwatersrand a annoncé l’année dernière la découverte d’une nouvelle espèce d’hominidé, Homo naledi, très peu de journalistes ont demandé à des experts internationaux du même domaine leurs opinions. S’ils l’avaient fait, ils se seraient rendu compte que l’opinion internationale est divisée sur ce sujet.

6- Quelle autre recherche a été effectuée?

La science arrive rarement dans le vide. Sur les grands sujets (génétique, physique des particules, exo-planètes, technologies nucléaires, ondes gravitationnelles, fracturation hydraulique), un peu partout dans le monde, des experts mènent des recherches.

Si tous les autres experts d’un domaine précis disent que X occasionne le cancer et qu’une nouvelle étude dit que X n’occasionne pas le cancer, vous devez vous demander si elle est crédible.

7- Qui a financé la recherche?

Il y a un principe de base du journalisme qui est également vrai pour la science: cherchez l’origine de l’argent. La recherche scientifique coûte cher et il faut quelqu’un pour la financer.

Souvent les gouvernements financent la science dans leurs pays, ou bien les philanthropes (comme la Fondation Bill & Melinda Gates ou le Wellcome Trust, une fondation basée au Royaume-Uni) ou encore l’industrie. Il y a beaucoup d’exemples – comme l’effet de la cigarette sur le cancer et la climatologie --  où les bailleurs ont dicté, brouillé ou manipulé les résultats.

C’est pourquoi il est toujours important de savoir qui finance la recherche et si cela crée un conflit d’intérêt, comme ce fut le cas quand Coca-Cola finance la recherche sur l’obésité au moment où les boissons sucrées augmentent le risque d’obésité.

Traduit de l'anglais par Assane Diagne