Le 1er février, Le Monde lançait en fanfare un outil de vérification de l’information, Decodex. Dix jours plus tard, une adresse IP du journal s’est retrouvée bloquée pendant neuf mois sur Wikipédia pour… avoir introduit de fausses informations sur l’encyclopédie libre. Le journaliste scientifique du Monde, Pierre Barthélémy, a en effet créé (et laissé en place pendant plusieurs semaines) un article presque entièrement faux, consacré à un philosophe grec méconnu, Léophane. Le but de Pierre Barthélémy : faire“une expérience pour un article sur la vérifiabilité des infos sur Internet à l’heure des fake news”.
Quel lien entre la controverse autour de Decodex et les agissements de P. Barthélémy ? Certes ces deux événements ne sont pas directement liées. Mais les deux s’inscrivent dans un contexte particulier : le sentiment d’évoluer dans une « ère post-vérité » où l’exactitude des informations est sans importance et où toutes les sources se valent quelles que soient leurs approches de qualité des informations. Le point de départ de Decodex — aider les lecteurs du Monde à “se repérer face à une vague toujours plus forte de fausses informations” — et la prétendue exploration de P. Barthélémy semblent ainsi complémentaires. Nous ne commenterons pas ici la démarche de Decodex.
Nous avons demandé un droit de réponse au Monde spécifiquement après la publication d’un article par P. Barthélémy où il détaille son approche. Notre positionnement est multiple : scientifiques, éditorialistes et contributeurs à Wikipédia, nous identifions de graves problèmes dans la démarche de P. Barthélémy. Ces manquements sont aussi bien en amont qu’en aval de la publication de son article. La gravité des faits commis par P. Barthélémy et le manque apparent d’évaluation de l’impact de ses agissements s’ajoutent à l’outrage qui est le nôtre et celui de collègues, constaté à travers diverses discussions ces derniers jours.
Cette semaine c’est l’Open Access Week. Pour marquer l’occasion, de nombreuses ressources sont publiées (#teasing : reviendez demain pour une nouveauté de et par Pierre-Carl 🙂 ).
Parmi ces ressources, figshare a édité une compilation d’articles traitant des données ouvertes dans le domaine de la recherche scientifique. Pour rappel, figshare est la première plate-forme au monde à proposer la publication de jeux de données issus d’expérimentation scientifique ainsi que des figures et autres supports n’ayant pas trouvé de place dans un article scientifique « officiel ». Séquence émotion pour votre serviteure qui était en thèse au même moment que Mark, le fondateur de figshare, avec qui on avait organisé une compétition de blogs scientifiques et co-écrit la toute première FAQ de figshare.
Mais revenons à nos moutons. Le rapport de figshare, intitulé The State of Open Data, est une sélection de divers papiers de recherche écrits par des scientifiques de différentes universités, de représentants associatifs et d’experts du secteur privé. Le sujet est assez vaste et parle des données ouvertes en général, même si les données de la recherche y ont une place notable. N’y cherchez pas par contre de participation française…
Que disent les chercheurs ?
Deux articles présentent les conclusions du questionnaire adressé à la communauté scientifique par figshare. Le questionnaire a recueilli les réponses d’environ 2 000 personnes. Les données brutes anonymisées sont disponibles sur figshare. J’en ai utilisé pour illustrer certains points de la discussion.
Deux grandes dimensions ressortent des réponses : les défis structurels et ceux liés à la culture de l’ouverture de la recherche. Cette dernière englobe les questions « classiques » du genre « mais pourquoi devrais-je ouvrir mes données alors que mes collègues n’en font rien ? », « est-ce que mes concurrents vont utiliser mes données pour me devancer dans la publication et donc, avoir les financements pour lesquels je rempile ? » ou encore « peut-on se rendre compte que j’ai un peu exagéré les résultats obtenus ? ». La question de la reconnaissance des efforts individuels d’ouverture des données revient à différents endroits dans le rapport et notamment dans l’article de David Groenewegen (directeur de recherche à l’université Monash, Australie ; pp. 34-36). Ces questionnements sont « humains », pour reprendre le qualificatif des auteurs, mais je ne m’y attarderai pas.
La dimension structurelle qui émerge de ce questionnaire est discutée en de plus amples détails. Elle englobe des questionnements plus pratiques tels que « qu’est-ce que je dois faire pour ouvrir mes données ? », « quel(s) est(sont) le(s) bon(s) format(s) ? », « ai-je la permission de mon agence de financement de partager les données de mes recherches ? » ou encore « partager OK, mais n’est-ce pas du travail supplémentaire pour moi et qui ne reçoit aucune reconnaissance ? ».
Les réponses recueillies permettent de dresser un état des lieux de la connaissance et l’utilisation des données ouvertes en recherche. Bien évidemment, la méthodo peut être critiquée, mais les observations que l’on peut faire ont un intérêt qualitatif et méritent d’être soulignées.
La majorité des interrogés (n = 1 915) connaissent l’existence de données scientifiques ouvertes, soit des données librement accessibles et réutilisables.Parmi les interrogés, une proportion importante a déjà fait des démarches d’ouverture de données.Une majorité des interrogés (n = 1 777) a déjà réutilisé des données ouvertes qu’une autre équipe de recherche a mises à disposition.Une proportion non-négligeable des interrogés juge que les données ouvertes réutilisées ont été importantes pour leur projet de recherche. La proportion de ceux ayant répondu “pas du tout important” est pratiquement de 0 %.
Et parlant de recherche et d’obtention de financements, le monstre des citations s’impose. Les réponses sont assez intéressantes ici :
Parmi ceux ayant déjà rendu leurs données de recherche ouvertes, une proportion non négligeable estime que la citation de ces jeux de données est au moins aussi importante qu’une citation d’article, si ce n’est plus (10 % des interrogés).
De manière assez surprenante quand même, les interrogés avouent ne pas toujours bien savoir comment citer les jeux de données réutilisés.
Au-delà des observations autour des pratiques, on peut également tirer quelques conclusions supplémentaires également intéressantes :
Une majorité des chercheurs (y compris des jeunes chercheurs) ont besoin d’accompagnement légal pour naviguer les complexités contractuelles de leurs financements. Ce besoin est exprimé aussi bien par les chercheurs ayant déjà publié des données en open data que par ceux qui ne l’ont jamais fait auparavant.
Parmi ceux ayant déjà rendu leurs données de recherche ouvertes, une proportion non négligeable a cependant des difficultés pour définir le conditions légales et, ainsi, le “niveau d’ouverture” desdites données.Le paysage des financements est très embrouillé : une majorité ne sait pas qui financera les démarches d’ouverture de données.
La question des licences est loin d’être anodine. Je vous recommande vivement la lecture de cette brève “twitterstorm” de John Wilbanks, anciennement à l’origine de Science Commons (l’initiative liée à la science chez Creative Commons) et aujourd’hui, l’un des piliers de Sagebio. Il souligne la complexité inhérente de la notion de propriété intellectuelle et son rapport peu amène avec l’objet “données” :
Le rôle des bibliothécaires a énormément évolué : ceux-ci se retrouvent au croisement des connaissances sur les données, le code et les cadres légaux ;
La perception de la publication scientifique a aussi énormément changé : un article n’est plus l’objet unique, statique, composé de texte gravé dans le marbre. Comme on l’a déjà dit par ailleurs sur ce blog, l’article scientifique est devenu la pub pour votre recherche ; ainsi, la routine éditoriale implique aujourd’hui la publication conjointe de l’article, des données produites dans le cadre de l’étude, du code utilisé pour les analyser et, dans certains cas, de fichiers multimédias annexes. La publication scientifique est donc une version de la connaissance du sujet pouvant évoluer.
Le volume a une importance (ou, plus prosaïquement, size matters) : si vous vous intéressez un peu au monde des données, vous ne serez pas étonné-e que l’attention (médiatique, financière) se porte le plus souvent sur le big data (les mégadonnées dont la volumétrie dépasse les terabytes). Cependant, les small data restent fermées : seulement 22 % des chercheurs indiquant produire des mégabytes partagent leurs données. Mais c’est aussi là que se cachent la diversité et les informations importantes mais trop souvent négligées, à savoir les résultats négatifs, les figures rejetées de l’article final, etc.
Ces observations font donc ressortir l’importance de trois éléments structurels du processus par lequel on rend publiques des données issues de la recherche scientifique :
Les métadonnées : il s’agit de ce que l’on appelle communément des données sur les données (date de création du fichier, son format, etc.). Dans la mesure où une publication devient une version d’enregistrement de la connaissance, une quantité invraisemblable de métadonnées vient avec cet objet : on a aussi bien celles générées par l’utilisateur que celles générées par le traitement automatique. Il y a par ailleurs de nombreux éléments du processus de recherche qui ne figurent pas (encore) au firmament des objets à ouvrir : les protocoles expérimentaux utilisés, les réglages des appareils, etc. La quantité de métadonnées accompagnant la publication de données et résultats scientifiques ne fera donc que croître et on se retrouve rapidement dépassé-e par les volumes à appréhender et gérer.
La « curation » : autrement dit, le fait de choisir ce qui est pertinent pour un sujet donné. Faire de la veille implique de faire ces choix-là et passe par diverses étapes qui enlèvent ce qui est peu pertinent et qualifient les sources retenues pour une exploitation future. Mais si on a des outils plutôt corrects pour suivre les publications de nos pairs, comment gérer l’invraisemblable quantité de métadonnées dont je parlais juste ci-dessus ? Les auteurs soulignent ainsi le besoin de toujours créer des outils pour structurer les métadonnées et les travailler pour faciliter leur curation et (ré)utilisation ultérieures.
La revue par les pairs : j’allais parler de Retraction Watch (même si les auteurs ne le font pas), de la publication de résultats négatifs ou neutres et de diverses autres initiatives telles que Software Carpentry, Run my Code, etc. mais je vais laisser pour une prochaine fois.
« L’économie politique de la recherche »
Dr Sabina Leonelli (University of Exeter, Royaume-Uni, pp. 7-12) met l’accent sur l’impact des données ouvertes sur l’économie et la politique de la recherche tel que l’on peut le penser à partir des conceptions que l’on a des données scientifiques :
Que la recherche soit mue par des données plutôt que par des théories, des hypothèses, des modèles ou des changements de politiques publiques reste un sujet de débat. Ce qui est clair [cependant], c’est que les données sont de plus en plus conceptualisées comme des produits dont la valeur est inhérente à la recherche scientifique, plutôt que comme des composantes du processus de recherche qui n’ont pas de valeur propre.
Elle ajoute que les réutilisations que l’on peut faire de ces données ne ressemblent pas toujours celles que l’on fait traditionnellement des publications scientifiques. Ainsi, il est important de bien analyser pourquoi le mouvement en faveur des données ouvertes est devenu aussi populaire dans le discours scientifique et politique contemporain. Pour ce faire, elle propose d’articuler la réflexion autour des quatre dimensions suivantes :
Les données ouvertes (mouvement open data) sont une plateforme commune où les chercheurs, les institutions de recherche et les bailleurs de fonds peuvent échanger autour des difficultés pratiques de l’ouverture et la réutilisation des données issues de la recherche.
Les données ouvertes contribuent à une discussion plus large autour de la transparence et de la légitimité des financements ainsi que à celle du retour sur investissement, piliers des politiques publiques de la recherche et préoccupations des bailleurs de fonds.
Le mouvement open data s’aligne sur des défis plus globaux tels que les acteurs désormais incontournables de la recherche issus de centres scientifiques hors de la zone euro-américaine.
Les données ouvertes sont un exemple de l’introduction de la recherche scientifique dans des logiques de marché. Assez pragmatiquement, ce point aborde la conception des données comme des objets politiques, sociaux et financiers. « L’idée même des données scientifiques comme artéfacts pouvant être vendus, échangés et réutilisés pour créer de nouvelles formes de valeur est indissolublement liée à la logique de marché où les données sont des objets d’échange ». De même, l’idée de libre circulation de données scientifiques pose des défis quant à la conception de compétition et propriété non seulement au sein de la communauté scientifique, mais aussi dans les interactions de celle-ci avec d’autres acteurs.
Pour rebondir sur les considérations sociétales et culturelles et la valeur des données de recherche, l’article de Prof. Daniel Paul O’Donnell (université Lethbridge, Canada ; pp.38-40) sur les changements induits par les données ouvertes dans les sciences humaines est intéressant. Il y élabore le changement de pratique et la redéfinition des objets d’étude en SHS, dans une veine sensiblement épistémologique. En effet, la tradition veut que les chercheurs en SHS travaillent sur des détails provenant d’un corpus réduit lesquels permettent de construire une argumentation plus générale et généralisable. Comme il le remarque avec un certain amusement, « à l’ère de l’open data, on peut être tenté de voir cette démarche comme une analyse d’un petit échantillon sans puissance statistique ». Mais une telle critique constituerait « une sorte d’erreur catégorielle », comme il dit. En effet, la recherche SHS diffère de celle dans les sciences dites « dures » par sa finalité : les premières visent à l’interprétation alors que les dernières cherchent des solutions. Ainsi, conclut-il :
[l]e véritable défi pour les sciences humaines à l’ère des données ouvertes numériques est de reconnaître la valeur des deux types de sources, à savoir le matériau que nous pouvons générer avec des algorithmes à des échelles autrefois impensables et la valeur toujours actuelle du passage originel.
Enfin, diverses participations proposent des approches permettant d’accélérer les activités de plaidoirie et de sensibilisation autour de l’ouverture des données de recherche. Je vous laisse les découvrir et, qui sait, vous en inspirer !
Cette année, nous avons été conviés à faire la keynote de fermeture de la conférence SOData! (Scientific Open Data!). Nous avons tenu à faire la part belle aux différents développements observés et souhaités dans le domaine de l’ouverture de la connaissance scientifique et à rappeler que, pour parvenir à rendre la science libre et ouverte, il nous faut faire attention aux logiciels, protocoles, données et publications.
Notre support de présentation est disponible ci-dessous. D’après les demandes sur divers réseaux sociaux, nous publierons bientôt un compte-rendu en anglais.
Projects, une initiative de Digital Science, propose une appli de bureau permettant d’organiser et de gérer de façon efficace les données que vous produisez dans le cadre de projets de recherche. La raison d’être de Projects est l’idée que les données scientifiques doivent être correctement gérées et préservées si nous voulons qu’elles soient pérennes : il y a en effet une tendance inquiétante démontrant que chaque année, la quantité de données de recherche générée augmente de 30% alors que 80 % des données scientifiques sont perdus en vingt ans.
Projects et figshare (la plate-forme de partage de données scientifiques sous licences ouvertes) ont publié une infographie assez impressionnante sur la conservation des données, très révélatrice de leur mauvaise gestion chronique [voir ci-dessous]. Ce qui m’a frappé en voyant ces chiffres n’est ni l’avalanche de données, ni l’ensemble des sous en jeu – 1,5 milliards de dollars dépensés en R&D ! – mais le peu ou pas d’informations sur les politiques publiques visant à résoudre le problème.
Ce serait se fourrer le doigt dans l’œil que de considérer suffisant l’accès à la publication scientifique seule. Une publication est un résumé, une sorte de publicité savante, et – seule – ne pourra en aucun cas se substituer aux données brutes, les protocoles et les détails de l’expérience, et — le cas échéant – le code source du logiciel utilisé pour effectuer l’analyse. Pourtant, alors que le nombre de revues ouvrant l’accès aux publications scientifiques ne cesse de croître, les chercheurs et leurs institutions respectives tardent à commencer le partage massif de données scientifiques. Cette paresse n’est pas anodine : l’infographie montre que 80% (!) des jeux de données vieux d’au moins 20 ans ne sont pas disponibles.
Un tel nombre délirant n’est cependant que la pointe de l’iceberg : chaque fois que nous produisons des données, nous générons également des métadonnées (« des données sur les données ») et des protocoles (les descriptions des méthodes, analyses et conclusions). Et, surprise sur prise, comme les fichiers s’accumulent rapidement et qu’on les gère mal, toute cette production tombe dans l’oubli.
Cela signifie également que les données que nous produisons aujourd’hui ne sont pas non plus accessibles à la communauté scientifique en général. Beaucoup d’expériences donnent des résultats négatifs ou neutres, ne permettant pas de confirmer les hypothèses de travail. C’est une considération doublement importante. Premièrement, nous perdons notre temps, de l’énergie et du jus de cerveau à refaire ce que des collègues ont fait et qui ne fonctionne pas. Mais puisque les données ne sont pas partagées, nous plongeons gaiment dans l’écriture de demandes de subventions pour avoir de l’argent pour finalement produire des données qui ne feront pas l’objet d’un papier … vu que les publications aujourd’hui ne présentent que des résultats « positifs » (c’est-à-dire, qui viennent appuyer des hypothèses de travail).
Deuxième problème avec le non-partage de données est l’impossibilité de répéter ou même de statistiquement vérifier une étude présentée. Cela a un nom : la recherche reproductible. Nous avons tous entendu parler du résultat choquant de l’étude de Glenn Begley de 53 publications phares de la recherche sur le cancer (petit indice : seules 6 d’entre elles ont pu être reproduites indépendamment). L’infographie ci-dessous donne une image quelque peu différente mais toujours effrayante : 54% des ressources utilisées dans 238 études publiées n’ont pas pu être identifiées, rendant ainsi la vérification impossible. Et enfonçant le clou encore un peu, l’infographie souligne également que le nombre de rétractations en raison d’une erreur ou de fraude a été multiplié par 5 depuis 1990. Ce chiffre vient en complément d’une autre estimation montrant que le nombre de publications rétractées a été multiplié par 10 depuis 2000.
Nous avons besoin que des politiques publiques viennent à la rescousse. Les agences de financement et diverses autres institutions commencent à exiger une meilleure gestion des données, nous dit l’infographie, citant la « Déclaration sur l’accès aux données de la recherche financée sur fonds publics » et le NIH, MRC et Wellcome Trust (ceux-là demandant maintenant que des plans de gestion des données fassent partie des demandes de financement). L’UE s’est également engagée à considérer les données produites dans le cadre d’études financées par des deniers publics comme des données publiques. Une telle position aligne donc le partage des données de rechercher avec celui d’autres données du secteur public dans un cadre plus large : celui des données publiques ouvertes. En soutien à ces belles paroles, la Commission européenne a aussi lancé le projet Pilot on Open Research Data dans le cadre du programme Horizon 2020.
P.S. Et au cas où vous auriez besoin d’incitations supplémentaires pour partagez vos données, voici un peu de lecture.
P.P.S. De ce que j’ai entendu, les gens de Projects sont intéressés à connaître votre avis sur la question de disponibilité des données et la façon dont vous gérez les données que vous produisez dans le cadre de votre recherche, alors parlez-leur sur Twitter @projects.
Mélanie Dulong de Rosnay m’avait conviée à la journée d’étude interdisciplinaire de l’ISCC intitulée “Ouverture des données massives scientifiques. Quels risques, quels bénéfices ?“, le 6 décembre 2013. Un grand “merci” aux organisateurs et modérateurs de ces échanges, ce fut une journée très réussie et enrichissante. Je suis intervenue lors de la 2e table ronde qui traitait des avantages et dangers d’une telle ouverture ainsi que des nécessités en termes de politiques publiques pour que cette ouverture se fasse. Voici mes notes de préparation dont tous les points ont été abordés. Afin d’augmenter la visibilité du débat, j’ai également publié une dépêche sur LinuxFr.org.
À la recherche des données de recherche
« Monter sur des épaules de géant pour voir plus loin », disait Newton. Aujourd’hui, nous continuons à construire en nous fondant sur les concepts et les résultats de nos prédécesseurs. Mais aujourd’hui, nous sommes face à un problème que Newton n’aurait jamais pu anticiper : l’impossibilité d’accéder aux données scientifiques générées par nos pairs.
La recherche scientifique actuelle produit une quantité de données incommensurable, chaque expérience individuelle pouvant générer des giga- ou des térabits de données. Le problème pour la communauté scientifique est que la majorité de ces données ne parvient pas à être publiée car les publications scientifiques tendent, par nécessité, à être limitées aux conclusions principales ou aux résumés des résultats les plus frappants. Les données brutes sont souvent laissées de côté et peuvent être altérées ou perdues, ainsi inaccessibles à la communauté actuelle et future.
Étant donné que la majorité de données de recherche représente de la donnée « négative » (c’est-à-dire produites par des expériences ratées ou ne validant pas/ne donnant pas de réponse claire à l’hypothèse de départ), la perte de ces données mène à une répétition inutile d’expériences chères et chronophages. C’est un problème qui s’auto-entretient : si les chercheurs basent leurs hypothèses sur la littérature publiée seulement, ils continueront à perdre de l’argent et du temps répétant des manipulations ratées et, au mieux, reproduisant des données non-nécessaires ou, au pire, créant de nouveaux jeux de données de faux positifs.
Les essais cliniques, essaie encore
Là où ces considérations ont une importance particulière : les essais cliniques. Le manque de jeux de données adéquats a donné des médicaments placebo et nocifs faisant objets de scandales à répétition depuis des années. Des études (supplémentaires ou annexes) faites par des chercheurs d’autres labos ne peuvent pas ré-analyser ces jeux de données : ils ne sont en mesure ni de les combiner à de nouveaux datasets ni de les utiliser dans des cas non-anticipés par ceux ayant originellement produit les données.
D’une importance critique est également la capacité à reproduire les résultats déjà publiés. Cela ne peut être fait que si toute l’information est disponible. Cette information peut inclure les données brutes, le logiciel et son code source utilisés ainsi que les métadonnées correctes pour chaque fichier. Un récent exemple de souci conséquent de reproductibilité est l’étude faite par Glenn Begley ayant testé (si et) combien parmi 53 études fondatrices de la recherche sur le cancer sont reproductibles. Le résultat est affligeant : seules 6 des 53 le sont… Même connaissant les limitations des essais pré-cliniques, ce résultat était choquant.
Le jeu de la plate-forme
Dans certains domaines scientifiques, les données commencent plus ou moins timidement à être publiées. Des défauts et problèmes persistent cependant quant à la manière de partager les données de recherche tant il manque des plate-formes agréées et des formats ouverts et interopérables. Il nous reste énormément de chemin à parcourir également pour l’ouverture des données sur la recherche, actuellement indisponibles en France. Il est ainsi impossible d’avoir une vision globale et fondée sur les thématiques scientifiques prioritaires et les dotations accordées ces quelques dernières années en France.
Là où le bât blesse, c’est que les données sur l’activité et la production de la recherche existent. Les rassembler et les publier est le travail d’Etalab, la mission du Premier Ministre dont la mission est d’accompagner les administrations publiques dans les démarches d’ouverture de données qu’elles produisent. Pour l’instant, l’ANR (Agence Nationale de la Recherche) se montre frileuse : d’après une enquête récente menée par Deuxième Labo, l’ANR explique qu’elle ne représente qu’une partie minime du budget total de la recherche publique (traduction : « oh, laissez-nous tranquilles ») et que de toutes façons l’Agence ne saurait agir en dehors d’une action groupée de l’ensemble des acteurs concernés.
Le secteur public décideur de demain (ouais plutôt demain)
Tiens, donc voilà qu’on en arrive aux histoires de politiques publiques… Elles commencent—très timidement mais quand même—à se dessiner. La Commission Européenne a débuté le programme OpenAIRE qui vise à être un portail unique vers toutes les publications produites dans le cadre des financements accordés par le FP7. Le successeur du FP7, soit le Horizon2020, prévoit d’assurer une continuité en ce sens et s’enrichit également de recommandations en faveur de l’Open Data en recherche. Il ne s’agit cependant pas d’obligations, mais de recommandations…
Même si c’est un pas pour l’instant humble, d’autres initiatives s’y ajoutent telles que la directive PSI. La France est parmi les 9 États membres qui ont adapté leurs législations autour de l’accès des données publiques pour inclure la ré-utilisation de la directive PSI. La Commission s’est également exprimée sur la nécessité de considérer les données de recherche produites avec des deniers publics comme des données publiques, donc devant suivre le même traitement que les autres données publiques. Enfin, l’European Medicines Agency s’est engagée dans l’élaboration d’un cadre légal pour la publication des données d’essais cliniques.
Et maintenant ?
Avant de terminer, je souhaiterais ouvrir sur quelques questions d’ordre légal. Selon la législation en vigueur, les données brutes sont dans le domaine public. En Europe et en France, un droit spécifique—dit des bases de données,—s’applique protégeant la structuration particulière dont peuvent faire objet les données brutes. L’objectif de cette loi (imposée depuis 1996) est de protéger les investissements financiers et humains mobilisés pour la construction de la base de données en question. Mais cet effet n’a pas été démontré et aux États-Unis, une industrie relative s’est développée. La couche spécifique que représente le droit des bases de données peut conduire à une limitation d’accès aux données brutes. La vente d’accès à la base de données est généralement un service qui exclut toute utilisation autre que la consultation. Voyons comment la version 4.0 des licences de la famille Creative Commons—qui inclut désormais les droits des bases de données—changera la donne.
Une autre question légale concerne l’assistance aux chercheurs, que ce soit en tant qu’auteurs lors de la signature du contrat avec un éditeur, que ce soit en tant que producteur de données inscrites dans un cadre légal où se croisent le régime de propriété intellectuelle imposé par l’université, par le centre de recherche, par l’agence de financement, par la définition de la structure (par ex., UMR…). Il n’est même pas dit qu’on puisse trouver de telles informations facilement : j’ai ainsi tenté de vérifier le cadre légal que l’ANR applique, mais je n’ai rien trouvé dans la documentation mise en ligne par leurs soins.
Enfin, nous devons aussi explorer le retour à la dynamique d’échanges de matériel biologique (et son statut : est-ce de la donnée ?), dynamique autrefois courante, mais aujourd’hui fortement limitée.
A l’occasion de l’Open Access Week, j’ai été conviée à parler nouvelles pratiques de la recherche et ce qu’elles impliquent au niveau de l’évaluation. Malgré la gestion relativement désastreuse de la table ronde, j’ai été très contente de partager mes pensées et questionnements aux côtés de Salma Mesmoud et Elizabeth de Turckeim. Plus bas sont mes notes préparant l’intervention.
Open Access Week. Image par Slubdresden (CC-by 2.0, Flickr)
La façon dont on fait de la science change, les pratiques de la recherche évoluent et avec elles se doivent d’évoluer les évaluations qui s’y appliquent.
Aujourd’hui, la production de données scientifiques, que ce soit des données d’expériences ou des données liées au fonctionnement de la recherche, n’arrête pas de prendre de la vitesse. La création d’outils informatiques pour le traitement de ces données est également en constante hausse : ainsi, d’après un sondage effectué par la revue Nature en 2010, 45% des 2000 scientifiques interrogés indiquaient qu’ils passent beaucoup plus de temps à écrire du code logiciel qu’il y a 5 ans ; et 38% des chercheurs interrogés indiquaient qu’ils dédient au moins 1/5e de leur temps professionnel au développement logiciel.
Nous avons vu que la publication de données scientifiques en accès ouvert commence à être une pratique de la recherche. Les logiciels développés dans le cadre de la recherche scientifique sont parfois publiés accompagnés de leur code source. De plus, la communication des résultats de recherche prend des formes multiples : que ce soit des billets de blogs décrivant des résultats ne faisant pas l’objet de publications ayant passé la revue par les pairs, que ce soit des billets de blogs discutant de résultats publiés ou encore des discussions post-publication sur les réseaux sociaux… Toutes ces formes de diffusion sont autant de changements dans les pratiques de la recherche.
Ainsi, la publication d’article résumant des résultats dans un journal dédié n’est plus le seul indicateur permettant d’évaluer la recherche. La revue par les pairs telle qu’elle est faite traditionnellement est lente, ne permet pas de tenir les reviewers responsables d’éventuels manquements dans le processus et d’une façon ou d’une autre encourage les pratiques conventionnelles. Avec la croissance presque organique du volume des journaux, la revue par les paires ne permet pas non plus de limiter la prolifération incontrôlée de publications scientifiques (à notre grand désarroi à toutes et à tous souffrant d’une surcharge cognitive chronique…).
Ensuite, comme vous le savez fort probablement, l’indicateur le plus influent aujourd’hui est le nombre de citations que compte un papier. C’est un indicateur utile mais insuffisant. Des indicateurs tels que l’index H sont encore plus lents à établir sachant que la première citation d’un papier peut se faire des années après sa publication. Ces indicateurs ainsi complètement négligent l’implication et la réutilisation à l’extérieur du strict cadre académique et ignorent les raisons pour lesquels l’article est cité.
Enfin, le facteur d’impact (impact factor, IF) d’un journal donnant la moyenne de citations par article est souvent utilisé à tort comme une mesure de l’impact des articles individuels.
De toute évidence, une partie non négligeable de la pratique et des productions de la recherche échappe aux méthodes d’évaluation. Mais des approches alternatives existent.
Les altmetrics, ou mesures alternatives, constituent justement une façon d’évaluer l’impact mais aussi de pouvoir comprendre ce qui contribue à augmenter l’impact d’une étude. Et ceci est très important car les altmetrics sont en phase avec la diversification des pratiques de la recherche. Contrairement aux manières secrètes de calcul d’IF classique, les approches alternatives sont ouvertes et ne font pas que compter le nombre de citations mais prennent également en compte les contenus sémantiques (noms d’utilisateurs, de tags,…). Puisque les altmetrics le permettent, la revue par les pairs peut se faire très rapidement. De même, l’impact d’un article peut se faire quasiment immédiatement, ce qui constitue une différence notable non seulement en termes de temps d’évaluation mais aussi en termes de ce qui est évalué par comparaison avec l’IF d’un journal. Contrairement au score traditionnel d’un article calculé uniquement à partir d’un nombre de citations, les altmetrics pourront jauger l’impact de l’étude à l’extérieur du seul monde strictement académique et pourront prendre en compte des travaux importants mais qui n’ont pas massivement été cités.
Rapidement, les altmetrics font état de plusieurs types d’impact qu’un article pourrait avoir :
le nombre de vues : traditionnellement, plus on publie dans un journal que beaucoup de scientifiques lisent, plus on a des chances que l’article soit vu (et lu). Les technologies du web permettent facilement de comptabiliser les vues (que ce soit le nombre de fois la page HTML a été affichée ou le nombre de téléchargements du PDF correspondant). Déjà en 2004, le British Medical Journal (BMJ) publiait le nombre de vues de ses articles ; il a été par ailleurs établi qu’il existe une corrélation entre le nombre de vues et le nombre de citations.
les discussions qu’un papier suscite : par ex., les tweets mentionnant une publications — c.-à-d., les “tweetations”, — sont un bon indicateur de la popularité du papier ; des journaux les publient, e.g. le Journal of Medical Researchpublie les “tweetations” depuis 2008. La discussion d’un papier dans le cadre d’un billet de blog est également pris en compte, par ex. par des plate-formes qui classent les publications selon de telles discussions (c’est le cas du Faculty of 1000).
l’ajout aux Favoris (bookmark) est également un indicateur : on considère que si le papier est important pour le travail des gens, ils auront tendance à sauvegarder la version web du papier, donc l’ajouteront à leurs marque-pages ;
enfin, les citations d’un papier ne sont pas oubliées mais sont au contraire étendues pour prendre en compte par ex. le nombre de fois où un papier a été référencé dans Wikipédia.
Bien sûr, on peut arguer que l’interprétation des altmetrics est loin d’être univoque. Ainsi, plutôt que de démontrer l’impact sur le progrès de la science, les altmetrics montrent l’engagement dans les débats et échanges scientifiques. Autant cela est correct, autant il convient de rappeler que les scores traditionnels fondés sur le nombre de citations ne permettent pas non plus de se prononcer sur l’impact du papier sur le progrès de la science étant donné qu’un papier peut être cité pour être contre-dit, mais le score traditionnel ne fais pas le distinguo entre citation “positive” et “négative”.
On pourrait imaginer à ajouter à cette palette d’indicateurs des scores reflétant la publication, l’ouverture et la probable ré-utilisation des données brutes et du code source éventuellement généré et utilisé dans le cadre d’une étude.
Pour terminer, il convient également de souligner les limites des mesures d’impact. Autant on a besoin d’avoir des nombres pour des raisons diverses et variées, autant il est important et essentiel de se pencher sur les façons dont les résultats des études publiées sont utilisés dans un cadre plus large. Autrement dit, il est plus important de savoir quels papiers citent le mien plutôt que combien de fois il est cité. C’est ce qui permettra d’évaluer le véritable impact de l’étude.
Le 11 juin 2013 s’est tenue la demi-journée de discussions autour du big data et leur impact sur les approches de recherche et d’enseignement. Organisés par l’université Paris Descartes en partenariat avec INRIA, les échanges ont eu pour but de faire émerger des directions et points critiques autour des usages des big data dans la pédagogie universitaire. J’y suis intervenue aux côtés d’Avner Bar-Hen dans la session “SANTÉ – Vers des responsabilités nouvelles pour les enseignants et les chercheurs”. Merci à Sophie Pène pour l’invitation et l’organisation de cette demi-journée enrichissante. Mon intervention est retranscrite ci-dessous.
J’aimerais aborder avec vous quelques mythes construits autour du big data et ainsi initier la discussion autour de l’esprit critique que nous devons contribuer à faire émerger et enraciner chez les étudiants.
“Avec assez de données, les chiffres parlent d’eux-mêmes.” Pas du tout. C’est un argument avancé par les partisans inconditionnels du big data mais ils évitent souvent de parler des biais, hypothèses incorrectes, etc. Les outils, aussi sophistiqués soient-ils, ne nous immunisent pas contre les biais et les incorrections.
En effet, ce n’est pas parce que nous pouvons disposer de gros jeux de données que leur qualité sera forcément meilleure. Exemple qui parle à tout le monde, avant que nous attaquions les sujets plus complexes : les analyses de média sociaux. Ainsi, beaucoup de journaux en ligne ont montré de jolies images où il nous est dit que les gens sont plus heureux lorsqu’ils sont loin de chez eux et les plus tristes le jeudi soir. Mais quels gens ? Les données viennent de Twitter et ce, seulement de sa partie américaine. Or, aux États-Unis, seuls 16% des adultes ont une activité sur Twitter. De plus, il y a un biais avéré socio-démographique : les gens sur Twitter sont le plus souvent en fin de vingtaine ou début de trentaine et sont majoritairement des habitants de grandes villes. Je passe sur la quantité de bots (c.-à-d., des bouts de code actifs lorsque des mots-clé particuliers apparaissent). Selon des estimations récentes, le nombre de faux comptes sur Twitter pourrait atteindre 20 millions.
Il s’agit d’un souci de qualité de données (et bien sûr, leur interprétation). Autre exemple de la vie quotidienne : les sites web d’actualité. Ils utilisent nos préférences personnelles et l’historique des clics que l’on a faits pour nous pointer vers les nouvelles les plus fraîches/populaires touchant aux thèmes qui nous intéressent a priori. Le souci est par exemple que les articles les plus partagés ne sont pas nécessairement les plus intéressants pour nous ou bien le nombre de clics n’équivaut pas nécessairement un contenu important.
Un autre argument avancé par beaucoup de partisans du big data : “les gros jeux de données feront notre ville et notre vie meilleures”. Oui… jusqu’à un certain point. Les données ne sont pas toujours proprement et équitablement collectées, autrement dit il y a des problèmes de signal vu que des zones ne sont pas toujours couvertes par les sondages. Un exemple célèbre est Google Flu Trends 2012 et ses surestimations du nombre de gens ayant la grippe. En effet, une augmentation notable des approches de data mining de quantités importantes de données web et de réseaux sociaux est remarquée. Google Flu Trends était exactement ceci : l’estimation des cas de grippe est faite à partir de la fréquence de recherches web de mots-clé. La comparaison entre Google Flu Trends et les estimations issues d’approches épidémiologiques classiques montre la surestimation significative faite par Google. Le problème n’est pas anodin car il touche directement à la santé publique.
Comme je me suis lancée dans la discussion d’arguments des partisans inconditionnels du big data, il convient de citer celui qui dit que le big data ne fait pas de discrimination parmi les groupes sociaux. Les données brutes ne sont cependant pas immunes de biais sociologiques. Au contraire, le big data est précisément utilisé pour séparer les individus dans des groupes bien délimités car les données peuvent justement pointer des caractéristiques de groupes qui ont des comportements distincts. Un exemple récent est une étude publiée dans le Journal of Communication qui démontre comment les scientifiques peuvent laisser leur propre considération à propos des races façonner les études génomiques qu’ils mènent, études d’ailleurs fondées sur des jeux de données conséquents. Selon cette étude, le champ lexical définissant la race comme génétiquement déterminée est de plus en plus fréquent. Cela fait cependant un moment que les recherches en génétique des populations humaines ont confirmé que la notion de race n’a de fondements que socio-culturels et non pas biologiques. Les exemples de l’utilisation de données personnelles massives dans divers cadres économiques sont nombreux et, si regardés de plus près, montreraient des cas d’utilisations et d’applications généralement interdites par la loi.
Ainsi, et en corollaire, il convient de préciser que le big data n’est pas anonyme : il est possible, par ex., d’identifier 95% des gens dans un jeu de données contenant les numéros de téléphone de 1,5 millions de personnes. Une autre étude récente avait aussi démontré que le croisement de données publiques permet l’identification de numéros de Sécurité Sociale. Oui, les possibilités de ré-identification sont réelles et les données médicales vendues à des compagnies d’assurances et d’analyses permettent de suivre l’identité des personnes. Beaucoup a été dit à propos de la médecine personnalisée laquelle se fonde sur les données génétiques individuelles promettant de trouver une remède aux maladies dont souffre une personne. La perspective est alléchante mais repose sur l’identification personnelle à des niveaux très fins tels que les profils génétiques et cellulaires, mais où les risques de fuites sont importants ou des possibilités d’utilisation inappropriée existent. Le souci est que des entreprisesprivées collectent des données de santé sensibles et pour l’instant, la réalité de ces promesses se fait attendre.
Sur les quelques secondes qui restent, je souhaiterais souligner l’importance de non seulement éduquer les étudiants en sciences/sciences de la vie, de l’information, en statistiques. Il faut éduquer les étudiants en médecine et les médecins en fonction ce que le big data signifie. Comme toute avancée technologique, celle-ci cache des promesses mais n’est pas miraculeuse pour autant. Il nous incombe de savoir reconnaître et veiller aux limites de toute science pour ne pas en transformer les fruits en dictature technocrate.
– Questions à soulever :
“êtes-vous H. sapiens ?” : fidélité de l’identification des crimes par ADN et fichage ;
GWAS, médecins et erreurs de logiciels + les données doivent être lisibles/intelligibles par les patients ;
biais épistémologiques, e.g. confirmation d’hypothèse.
– Pistes pédagogiques à discuter :
outiller les praticiens et les scientifiques avec non seulement des connaissances en statistiques lais aussi avec de bonnes pratiques d’utilisation => inculquer le processus “d’abord poser le problème puis trouver une réponse”, pas l’inverse ;
connaître ses méthodes statistiques et leurs limites, ex. cas de fichages ADN pour viol et différentes estimation de fiabilité des données, et ses logiciels utilisés (recommandation : utiliser du logiciel libre et open source).
La science est quelque chose de bien trop sérieux et précieux pour être laissée aux seuls scientifiques professionnels. Amateurs, de 7 à 77 ans, tout le monde peut et doit y prendre part, facilités en cela par Internet et sa philosophie d’ouverture.
J’avais initialement publié cet article sur Al Jazeera. Il a rencontré beaucoup de succès et a été très populaire en grande partie grâce à Framasoft qui en a fait une traduction rapide, collaborative et d’excellente qualité en français.
Love your data – practise safe science
