Le chocolat fait maigrir, et autres études bidons que la science "fast food" nous pond

Les bisous des mamans ne servent à rien, ils ne guérissent pas les bobos des enfants. C’est prouvé scientifiquement. Les chercheurs du Smack, le Study Of Maternal And Child Kissing, ont exposé, volontairement, 943 gamins à de petits traumatismes. Un morceau de chocolat déposé sur une table basse et bim ! la tête qui se cogne. Un doudou placé près d’une source de chaleur et ouch ! la main qui se brûle. Ils ont ensuite observé l’effet du baiser maternel sur la douleur. Résultat : les petits embrassés par les douces lèvres de leur génitrice n’ont pas cessé de brailler plus vite que ceux qui n’ont pas eu d’étreinte, bien au contraire. 

Dans le même genre de cliché battu en brèche, figurez-vous que le chocolat favorise la perte de poids. C’est tout autant scientifiquement prouvé. L’Institut du régime et de la santé a soumis des sujets à trois types de diète. Résultat : le groupe qui devait manger chaque jour une barre chocolatée a maigri plus vite que les deux autres.

C’est une blague ?

Bon, avant de laisser chouiner dans son coin un bambin qui se prend un gadin ou de faire une razzia sur les tablettes de Lindt, un petit détail : aucune de ces deux études n’est vraie. Pas plus le Smack que l’Institut du régime et de la santé n’existent. Il s’agit de canulars, montés de toutes pièces par de vrais scientifiques ou des journalistes spécialisés pour interpeller sur une habitude devenue un peu trop commune dans le domaine de la recherche : un grand nombre de publications sont biaisées, exagérées, approximatives, voire complètement bidons. «J’ai écrit cet article satirique pour attirer l’attention sur beaucoup d’erreurs communes et de faiblesses de la recherche clinique», explique Mark Tonelli, le professeur à l’université de Washington qui a imaginé l’étude sur les bisous guérisseurs et son protocole fictif. Le Journal For Evaluation In Clinical Practice l’a publiée en toute connaissance de cause. Sans doute a-t-il pensé que l’absurdité de la recherche, les incongruités disséminées ici et là dans le texte trahiraient aisément la blague. Raté. Plusieurs médias américains ont pris l’information au pied de la lettre et l’ont relayée, scandalisés. «J’ai encore du mal à croire que quelqu’un ayant lu l’étude dans son intégralité puisse penser qu’elle est véridique, avoue Mark Tonelli, qui assure n’avoir voulu piéger personne. Même le résumé contenait des indices suffisants pour attirer l’attention, comme l’utilisation du mot « bobos ».» 

« Les mesures sont comme des tickets de loterie. Chacune a une chance d’être gagnante. » John Bohannon, journaliste

Avec son «régime chocolat», le journaliste et docteur pour l’occasion John Bohannon a, lui, berné sciemment la presse experte et grand public. Son article a été publié sans encombre dans une revue scientifique, moyennant 600 € de droit d’entrée, avant de connaître la consécration ultime en s’affichant à la une de Bild, le quotidien le plus populaire d’Allemagne. L’étude, il l’a vraiment menée, sur de vraies (mais rares) personnes, avec de vraies barres chocolatées, et sur une multitude de critères. Mais de façon totalement aléatoire, sans base solide. «Si vous mesurez un grand nombre de données sur un petit nombre de personnes, vous êtes pratiquement assurés d’obtenir un résultat « statistiquement significatif », a expliqué John Bohannon au site io9. Les mesures sont comme des tickets de loterie. Chacune a une petite chance d’être gagnante au sens d’un résultat « significatif » autour duquel on peut écrire une histoire que l’on peut vendre aux médias. Plus vous achetez de tickets, plus vous avez de chances de gagner. Nous ne savions pas exactement ce qui allait ressortir – le gros titre aurait pu être que le chocolat améliore le sommeil ou fait baisser la pression artérielle, mais nous savions que les chances d’obtenir un résultat « statistiquement significatif » étaient plutôt bonnes.» John Bohannon avait déjà pointé les faiblesses des publications scientifiques en 2013 : il avait soumis une étude sur une nouvelle molécule anticancéreuse volontairement truffée de grossières erreurs à plus de 300 revues en libre accès sur Internet. La moitié d’entre elles avaient retenu ses écrits, et seules une trentaine lui avaient demandé de corriger certains points.

Publier à tout prix

Les études scientifiques sont partout, sur tous les thèmes possibles et imaginables, des plus pointues aux plus loufoques, des plus révolutionnaires aux plus insignifiantes. Pas une minute ne se passe sans qu’il en soit indexé une nouvelle. Au moins 50 millions ont été recensées depuis que sont apparues les premières revues, en 1665. Parmi elles, des recherches de grande qualité. Mais aussi un paquet d’âneries, érigées au rang de science en vertu de leur publication dans un journal qui se dit scientifique. De la «junk science», vite fabriquée, vite consommée. Entre les résultats embellis, les données inventées, les chiffres arrangés pour coller à l’hypothèse de départ, les méthodologies bancales ou même les fraudes pures et simples, un nombre considérable de recherches publiées sont fausses ou exagérées, comme le soulignait en octobre 2014 John Ioannidis, dans un article au titre provocateur : «How To Make More Published Research True» («Comment faire pour que plus de publications scientifiques soient vraies»). Neuf ans plus tôt, ce professeur à l’université Stanford s’était fendu d’un autre article du même acabit : «Why Most Published Research Findings Are False» («Pourquoi la plupart des résultats de recherche publiés sont faux»). Un problème pas nouveau, donc. Et toujours pas résolu. «Dans toutes les disciplines, il y a au moins 50 % de biais», indique Hervé Maisonneuve, professeur associé de santé publique et auteur du blog redactionmedicale.typepad.com. Biomédecine, informatique, sciences humaines, sociologie… aucun domaine n’est épargné. 

Régulièrement, une partie de la communauté scientifique tire la sonnette d’alarme, qui en fabriquant une étude parodique piégeuse, qui en tentant vainement de dupliquer des expériences, qui en lisant, tout simplement, les articles de la première à la dernière ligne. Régulièrement, les résultats sont accablants. En 2015, par exemple, la psychologie s’est fait épingler pour son manque de sérieux et de rigueur. Un groupe de chercheurs a voulu reproduire une centaine d’études qui présentaient, sur le papier au moins, les fameux «résultats statistiquement significatifs». Ces «vérificateurs» n’ont pas réussi à répliquer plus d’un tiers d’entre elles. L’année précédente, l’éditeur Springer et l’Institute Of Electrical And Electronic Engineers retiraient de leurs bases de données plus de 120 études en sciences informatiques rédigées… par des logiciels de génération automatique ! «Difficile de comprendre comment des papiers comme ceux-là ont pu être publiés», témoigne Cyril Labbé, informaticien et maître de conférence à l’université Grenoble Alpes, qui a débusqué ces invraisemblables intrus. «Grammaticalement, les phrases étaient correctes, mais les mots n’étaient pas reliés entre eux, ils n’avaient rien à voir les uns avec les autres. Normalement, après avoir lu trois phrases, on doit se rendre compte que c’est n’importe quoi !» Le pire, c’est qu’en théorie ces articles avaient été relus et approuvés par des pairs ! Et qu’ils ont peut-être même contribué à la renommée de leurs auteurs. Ike Antkare, un chercheur en sciences informatiques sorti de nulle part, est ainsi devenu en un rien de temps l’un des savants les plus populaires au monde, surclassant Albert Einstein dans le très regardé baromètre Google Scholar, grâce à une abondante littérature. Vous ne le connaissez pas ? Normal : il n’existe pas. Cyril Labbé l’a inventé et lui a attribué une centaine de publications sans queue ni tête à l’aide d’un programme informatique, lui permettant d’accéder à la popularité scientifique. «J’ai voulu dénoncer cette volonté de tout quantifier et alerter sur ce management par le chiffre qui existe dans la recherche, indique l’enseignant-chercheur. On met aujourd’hui l’accent sur la publication de nouvelles choses, au détriment de la vérification, beaucoup moins valorisée. C’est une conséquence du « publish or perish ».»

Des revues devenues toutes-puissantes

Publish or perish. «Publier ou périr.» Voilà, résumée en trois petits mots, l’une des principales raisons de cette lente dérive de la science. L’expression est apparue à la fin des années 30. A partir des années 80, elle se transforme en injonction, voire en tyrannie pour les chercheurs : il faut publier, toujours plus, sous peine de ne plus être financé, de ne plus exister. Celui qui ne publie pas assez, ou sur des sujets jugés pas assez «vendeurs», est considéré comme non «efficient». Dès lors, la valeur d’un auteur ne se jauge plus à l’aune de ses trouvailles, mais à son «index H», sorte d’indice de popularité personnelle, et à l’impact des revues dans lesquelles il case ses travaux. La valeur d’un article ne se mesure plus à son contenu mais à la notoriété du journal dans lequel il est édité. Si à 50 ans, t’as pas publié dans Science ou Nature, t’as raté ta vie… «Quand j’entends des collègues valoriser un chercheur parce qu’il a publié dans Nature, je rétorque : « Tu ne veux pas nous expliquer plutôt ce qu’il a trouvé ? », raconte Alain Trautmann, chercheur émérite en immunologie des cancers au CNRS. Dans les comités d’évaluation, j’ai pu passer pour un emmerdeur. Lorsque je lis une publication, je cherche en quoi elle est originale, je regarde ce qu’on peut en retirer. Aujourd’hui, cette exigence élémentaire n’est plus respectée.» Pour ce chercheur, à l’origine en 2004 du mouvement «Sauvons la recherche», les racines du mal se trouvent dans l’avènement du néolibéralisme, où tout doit être compté, quantifié, évalué. «Derrière le malaise de la recherche, il y a un problème beaucoup plus général : depuis les années 80, nos sociétés ont accepté de mettre l’économie au cœur de leur fonctionnement. Les notions de comptabilité systématique et de rentabilité ont été portées au pinacle, sans qu’on n’ait plus le droit de les discuter, poursuit Alain Trautmann. Les services publics, dont le secteur de la recherche, n’ont pas échappé à cette tendance qui a pris le nom de « new public management ». Les publications scientifiques sont alors devenues un élément de mesure pour distribuer des financements, bien loin de leur vocation première : permettre aux scientifiques d’échanger des informations. C’est un changement profond de logique, avec une inversion de la fin et des moyens : on publie d’abord pour avoir plus de moyens financiers et non plus pour produire une connaissance originale.» Comme le déplore John Ioannidis, à Stanford, «la science est passée du statut d’activité pratiquée par une poignée de dilettantes à une industrie mondiale où plus de 15 millions de personnes ont signé plus de 25 millions d’articles scientifiques pour la seule période 1996-2011».

Dans cette spirale, où l’on produit de la «science au poids», nombre de publications pèchent. «La plupart des chercheurs sont honnêtes. Mais ils sont pris dans des systèmes où ils sont obligés de dériver un peu», constate Hervé Maisonneuve. Parce qu’un scientifique voudra absolument obtenir le résultat auquel il pensait au départ, parce qu’un laboratoire valorisera davantage des travaux positifs, parce qu’un auteur aura négocié avec une entreprise, certains trichent, à plus ou moins grande échelle, de façon plus ou moins volontaire. Hervé Maisonneuve a répertorié trois grandes catégories de déviances : la fraude (fabrication, falsification, plagiat), la méconnaissance méthodologique (nombre insuffisant de sujets, erreurs statistiques, méthodes de travail faibles ou inappropriées) et toute cette zone grise des pratiques «discutables» (données tordues, omises, sélectionnées, changement de critères de jugement en cours de route…).

On parle alors de «l’effet chrysalide». «Pour métamorphoser vos piteux résultats en beaux articles, vous avez deux pratiques : proposer des hypothèses a posteriori pour qu’elles correspondent aux données obtenues ; torturer les données pour qu’elles répondent aux hypothèses», expliquait, avec ironie, en 2014 le Journal Of Management. Dans une tribune parue récemment dans Libération, Olivier Postel-Vinay, le fondateur et directeur du magazine Books, pointait ces «diverses motivations […] à l’œuvre, qui souvent se conjuguent. Intérêt de carrière («publish or perish»), intérêt financier (soutien d’un groupe industriel, d’une administration, d’un groupe de pression), intérêt intellectuel (publier dans un sens qui conforte ses publications précédentes même si elles sont douteuses), intérêt idéologique (les chercheurs ne sont pas immunisés contre les préférences politiques et les croyances du jour)». Et de citer quelques exemples : en 1998, un article paru dans The Lancet indiquait que le vaccin infantile contre la rougeole multipliait les risques d’autisme. Or, le principal auteur avait touché des sommes importantes de la part d’un cabinet d’avocats spécialisés dans les procès contre les labos. Dans l’autre sens, nombre d’articles ont été publiés à partir de 1999 pour s’alarmer du dysfonctionnement sexuel masculin et féminin, signés par des scientifiques à la colle avec des industriels vendant des petites pilules bleues, et désireux d’en vendre aussi des roses.

Et la recherche, la vraie ? 

Face à ces dérives, trois grandes institutions scientifiques européennes, l’Académie des sciences en France, la Royal Society en Grande-Bretagne et la Leopoldina en Allemagne, tentent depuis peu de redonner une définition et ses lettres de noblesse à la publication scientifique, la vraie. «Comment avoir confiance ? Aujourd’hui, nous sommes noyés sous le nombre d’articles. La quantité a pris le pas sur la qualité. Trop de publications risquent de tuer la publication», s’inquiète Bernard Meunier, le président de l’Académie des sciences. L’une de ses bêtes noires, ce sont les «journaux voyous» qui prolifèrent sur la Toile. Montés en deux ou trois clics, ils sont en accès libre et acceptent pratiquement tous les articles qui leur sont soumis, moyennant un droit d’entrée facturé à l’auteur, sans qu’il n’y ait de relecture sérieuse des textes. Bien conscients que nombre de chercheurs ont un besoin presque vital de publier, ils n’ont pas de problème pour attirer les auteurs payants.

A-t-on vraiment besoin de savoir que les nouveaux sèche-mains automatiques propagent davantage de virus que les anciens ? 

En 2014, 477 revues de ce type étaient répertoriées, contre 18 seulement trois ans plus tôt. «Tous ces journaux ruinent la réputation scientifique des publications sérieuses et affectent largement le respect que les citoyens peuvent avoir pour la recherche scientifique», rappelait Bernard Meunier dans un discours devant ses pairs fin 2015. «Le monde a changé depuis l’Internet rapide. Toutes les informations sont à disposition, sans aucune hiérarchie. Tout est au même niveau. Alors qu’avant, quand les publications étaient imprimées, il y avait une certaine sélection.» En quoi cette surabondance sert-elle l’intérêt général ? A-t-on vraiment besoin de savoir que les blondes sont plus intelligentes que les brunes ou les rousses (ou inversement) ? Que les nouveaux sèche-mains automatiques propagent davantage de virus que les anciens ? Documentaliste au CNRS, l’écrivain Georges Perec s’était déjà moqué en son temps de certaines absurdités de la recherche. Son hilarante «Démonstration expérimentale d’une organisation tomatotopique chez la cantatrice» est un chef-d’œuvre en la matière.

Dans un article riche en graphiques et en références (les célèbres Marks et Spencer, Atthou et Ratathou, Maotz et Toung ou encore McHulott, Mac Haskett et Massinture), Perec étudiait l’effet du jet de tomates sur la chanteuse soprano. Au-delà de la blague, persiste un problème de fond. «Il y a forcément des biais, et du déchet, dans les travaux de quelqu’un qui publie 50 ou 60 papiers par an», cingle Alain Trautmann. «Peut-être même que 80 % de la recherche ne sert à rien, ajoute Hervé Maisonneuve, en s’appuyant sur les travaux de John Ioannidis. C’est de l’argent dépensé à tort.» Des financements dont seront peut-être privés des scientifiques prometteurs et innovants, mais qui travaillent dans un champ pas assez «glamour» selon les critères de beauté des industriels ou des éditeurs. «On assiste à une forme d’autocensure. Certains se disent : « Je ne vais pas explorer cette thématique parce qu’elle ne sera pas financée »», reconnaît Alain Trautmann. Les équipes qui ont planché sur le CRISPR-Cas9, plus connu sous le nom des «ciseaux de l’ADN», ont ainsi eu quelques difficultés pour accéder à de grandes revues, le sujet n’étant pas «à la mode, se souvient Bernard Meunier. Aujourd’hui, tout le monde se bat pour les publier !». La communauté scientifique est-elle prête, enfin, à séparer le bon grain de l’ivraie ? «La bonne nouvelle, c’est qu’il y a une vraie prise de conscience, se réjouit Hervé Maisonneuve. La mauvaise, c’est que tout le monde attend que ce soit le voisin qui commence à changer ses pratiques.» C’est scientifiquement prouvé.