A l’occasion de l’Open Access Week, j’ai été conviée à parler nouvelles pratiques de la recherche et ce qu’elles impliquent au niveau de l’évaluation. Malgré la gestion relativement désastreuse de la table ronde, j’ai été très contente de partager mes pensées et questionnements aux côtés de Salma Mesmoud et Elizabeth de Turckeim. Plus bas sont mes notes préparant l’intervention.
Open Access Week. Image par Slubdresden (CC-by 2.0, Flickr)
La façon dont on fait de la science change, les pratiques de la recherche évoluent et avec elles se doivent d’évoluer les évaluations qui s’y appliquent.
Aujourd’hui, la production de données scientifiques, que ce soit des données d’expériences ou des données liées au fonctionnement de la recherche, n’arrête pas de prendre de la vitesse. La création d’outils informatiques pour le traitement de ces données est également en constante hausse : ainsi, d’après un sondage effectué par la revue Nature en 2010, 45% des 2000 scientifiques interrogés indiquaient qu’ils passent beaucoup plus de temps à écrire du code logiciel qu’il y a 5 ans ; et 38% des chercheurs interrogés indiquaient qu’ils dédient au moins 1/5e de leur temps professionnel au développement logiciel.
Nous avons vu que la publication de données scientifiques en accès ouvert commence à être une pratique de la recherche. Les logiciels développés dans le cadre de la recherche scientifique sont parfois publiés accompagnés de leur code source. De plus, la communication des résultats de recherche prend des formes multiples : que ce soit des billets de blogs décrivant des résultats ne faisant pas l’objet de publications ayant passé la revue par les pairs, que ce soit des billets de blogs discutant de résultats publiés ou encore des discussions post-publication sur les réseaux sociaux… Toutes ces formes de diffusion sont autant de changements dans les pratiques de la recherche.
Ainsi, la publication d’article résumant des résultats dans un journal dédié n’est plus le seul indicateur permettant d’évaluer la recherche. La revue par les pairs telle qu’elle est faite traditionnellement est lente, ne permet pas de tenir les reviewers responsables d’éventuels manquements dans le processus et d’une façon ou d’une autre encourage les pratiques conventionnelles. Avec la croissance presque organique du volume des journaux, la revue par les paires ne permet pas non plus de limiter la prolifération incontrôlée de publications scientifiques (à notre grand désarroi à toutes et à tous souffrant d’une surcharge cognitive chronique…).
Ensuite, comme vous le savez fort probablement, l’indicateur le plus influent aujourd’hui est le nombre de citations que compte un papier. C’est un indicateur utile mais insuffisant. Des indicateurs tels que l’index H sont encore plus lents à établir sachant que la première citation d’un papier peut se faire des années après sa publication. Ces indicateurs ainsi complètement négligent l’implication et la réutilisation à l’extérieur du strict cadre académique et ignorent les raisons pour lesquels l’article est cité.
Enfin, le facteur d’impact (impact factor, IF) d’un journal donnant la moyenne de citations par article est souvent utilisé à tort comme une mesure de l’impact des articles individuels.
De toute évidence, une partie non négligeable de la pratique et des productions de la recherche échappe aux méthodes d’évaluation. Mais des approches alternatives existent.
Les altmetrics, ou mesures alternatives, constituent justement une façon d’évaluer l’impact mais aussi de pouvoir comprendre ce qui contribue à augmenter l’impact d’une étude. Et ceci est très important car les altmetrics sont en phase avec la diversification des pratiques de la recherche. Contrairement aux manières secrètes de calcul d’IF classique, les approches alternatives sont ouvertes et ne font pas que compter le nombre de citations mais prennent également en compte les contenus sémantiques (noms d’utilisateurs, de tags,…). Puisque les altmetrics le permettent, la revue par les pairs peut se faire très rapidement. De même, l’impact d’un article peut se faire quasiment immédiatement, ce qui constitue une différence notable non seulement en termes de temps d’évaluation mais aussi en termes de ce qui est évalué par comparaison avec l’IF d’un journal. Contrairement au score traditionnel d’un article calculé uniquement à partir d’un nombre de citations, les altmetrics pourront jauger l’impact de l’étude à l’extérieur du seul monde strictement académique et pourront prendre en compte des travaux importants mais qui n’ont pas massivement été cités.
Rapidement, les altmetrics font état de plusieurs types d’impact qu’un article pourrait avoir :
- le nombre de vues : traditionnellement, plus on publie dans un journal que beaucoup de scientifiques lisent, plus on a des chances que l’article soit vu (et lu). Les technologies du web permettent facilement de comptabiliser les vues (que ce soit le nombre de fois la page HTML a été affichée ou le nombre de téléchargements du PDF correspondant). Déjà en 2004, le British Medical Journal (BMJ) publiait le nombre de vues de ses articles ; il a été par ailleurs établi qu’il existe une corrélation entre le nombre de vues et le nombre de citations.
- les discussions qu’un papier suscite : par ex., les tweets mentionnant une publications — c.-à-d., les “tweetations”, — sont un bon indicateur de la popularité du papier ; des journaux les publient, e.g. le Journal of Medical Research publie les “tweetations” depuis 2008. La discussion d’un papier dans le cadre d’un billet de blog est également pris en compte, par ex. par des plate-formes qui classent les publications selon de telles discussions (c’est le cas du Faculty of 1000).
- l’ajout aux Favoris (bookmark) est également un indicateur : on considère que si le papier est important pour le travail des gens, ils auront tendance à sauvegarder la version web du papier, donc l’ajouteront à leurs marque-pages ;
- enfin, les citations d’un papier ne sont pas oubliées mais sont au contraire étendues pour prendre en compte par ex. le nombre de fois où un papier a été référencé dans Wikipédia.
Bien sûr, on peut arguer que l’interprétation des altmetrics est loin d’être univoque. Ainsi, plutôt que de démontrer l’impact sur le progrès de la science, les altmetrics montrent l’engagement dans les débats et échanges scientifiques. Autant cela est correct, autant il convient de rappeler que les scores traditionnels fondés sur le nombre de citations ne permettent pas non plus de se prononcer sur l’impact du papier sur le progrès de la science étant donné qu’un papier peut être cité pour être contre-dit, mais le score traditionnel ne fais pas le distinguo entre citation “positive” et “négative”.
On pourrait imaginer à ajouter à cette palette d’indicateurs des scores reflétant la publication, l’ouverture et la probable ré-utilisation des données brutes et du code source éventuellement généré et utilisé dans le cadre d’une étude.
Pour terminer, il convient également de souligner les limites des mesures d’impact. Autant on a besoin d’avoir des nombres pour des raisons diverses et variées, autant il est important et essentiel de se pencher sur les façons dont les résultats des études publiées sont utilisés dans un cadre plus large. Autrement dit, il est plus important de savoir quels papiers citent le mien plutôt que combien de fois il est cité. C’est ce qui permettra d’évaluer le véritable impact de l’étude.
—
Pour aller plus loin :
