En 2010, deux économistes célèbres, Carmen Reinhart et Kenneth Rogoff, ont publié un article confirmant ce que de nombreux politiciens conservateurs en matière budgétaire soupçonnaient depuis longtemps : la croissance économique d’un pays s’effondre si la dette publique dépasse un certain pourcentage du PIB. Le journal est tombé dans les oreilles réceptives du futur chancelier du Royaume-Uni, George Osborne, qui l’a cité à plusieurs reprises dans un discours décrivant ce qui allait devenir le manuel politique du Royaume-Uni. austérité ère : sabrer dans les services publics pour rembourser la dette nationale.
Il y avait juste un problème avec l’article de Reinhart et Rogoff. Ils ont par inadvertance omis cinq pays de leur analyse : ils n’ont calculé les chiffres que sur 15 pays au lieu des 20 qu’ils pensaient avoir sélectionnés dans leur feuille de calcul. Lorsque certains économistes moins connus ont corrigé cette erreur et quelques autres irrégularités, la partie la plus intéressante des résultats a disparu. La relation entre la dette et le PIB existait toujours, mais les effets d’une dette élevée étaient plus subtils que le précipice drastique évoqué dans le discours d’Osborne.
Les scientifiques, comme le reste d’entre nous, ne sont pas à l’abri des erreurs. «Il est clair que les erreurs sont partout, et une petite partie de ces erreurs modifieront les conclusions des articles», explique Malte Elson, professeur à l’Université de Berne en Suisse qui étudie, entre autres, les méthodes de recherche. Le problème est que peu de gens recherchent ces erreurs. Les erreurs de Reinhart et Rogoff n’ont été découvertes qu’en 2013 par un étudiant en économie dont les professeurs avaient demandé à sa classe d’essayer de reproduire les conclusions d’articles économiques de premier plan.
Avec ses collègues chercheurs en métasciences Ruben Arslan et Ian Hussey, Elson a mis au point un moyen de détecter systématiquement les erreurs dans la recherche scientifique. Le projet, appelé ERREUR-est calqué sur primes de bugs dans l’industrie du logiciel, où les pirates sont récompensés pour avoir trouvé des erreurs dans le code. Dans le projet d’Elson, les chercheurs sont payés pour rechercher d’éventuelles erreurs dans des articles et reçoivent des bonus pour chaque erreur vérifiée qu’ils découvrent.
L’idée est née d’une discussion entre Elson et Arslan, qui encourage les scientifiques à trouver des erreurs dans ses propres travaux en leur proposant de leur acheter une bière s’ils identifient une faute de frappe (plafonnée à trois par article) et 400 € (430 $) pour une erreur qui modifie la conclusion principale du document. « Nous étions tous deux au courant de documents dans nos domaines respectifs qui étaient totalement erronés en raison d’erreurs prouvables, mais il était extrêmement difficile de corriger le dossier », explique Elson. Toutes ces erreurs publiques pourraient poser un gros problème, a expliqué Elson. Si un chercheur en doctorat passait ses études à rechercher un résultat qui s’avérait être une erreur, cela pourrait représenter des dizaines de milliers de dollars gaspillés.
La vérification des erreurs ne fait pas partie intégrante de la publication d’articles scientifiques, explique Hussey, chercheur en métasciences au laboratoire d’Elson à Berne. Lorsqu’un article est accepté par une revue scientifique, comme Nature ou Science– il est envoyé à quelques experts dans le domaine qui donnent leur avis sur la qualité du document, sa logique et sa contribution précieuse au domaine. Cependant, ces pairs évaluateurs ne vérifient généralement pas les erreurs et, dans la plupart des cas, n’ont pas accès aux données brutes ou au code dont ils auraient besoin pour éliminer les erreurs.
