Archives pour la catégorie Data-mining

Data Mining et Loi sur le Numérique : une proposition de Sciences Communes

Comme je le signalais dans mon billet précédent, l’exception pour la fouille automatisée des texte et des données est l’une des principales omissions de la loi sur le numérique. Prévue dans une version “fuitée” en juillet dernier, elle a finalement été abandonnée (sans doute sous la pression du lobby de l’édition : c’est l’une de Némésis du pamphlet du président du Syndicat National de l’Édition Richard Malka).

Enfin, il ne faut jamais dire jamais. L’annonce officielle du projet de loi sur le numérique s’est accompagné du lancement d’un processus contributif inédit : la plate-forme République Numérique. J’ai publié tout à l’heure une nouvelle proposition intitulée 9.1 Exception pour l’extraction de textes et de données à des fins de recherche.

Comme la numérotation l’indique, il s’agirait d’une disposition complémentaire à l’article n°9 organisant le libre accès des publications scientifique. Le texte proposé est destiné à être ajouté à la liste des exception au droit d’auteur :

Les copies ou reproductions numériques réalisées à partir d’une source licite, en vue de l‘exploration de textes et de données à des fins de recherche, à l’exclusion de toute exploitation commerciale ou de toute republication, en dehors de courtes citations et d’éléments relevant du domaine public informationnel. Un décret fixe les conditions dans lesquelles l’exploration des textes et des données est mise en œuvre.

Ce texte reprend en grande partie la proposition initiale divulguée en juillet dernier. J’y ai ajouté les modifications et les précisions suivantes :

  • Les conditions de republication sont explicitées (puisque c’est clairement le point qui coince avec les ayant-droits). L’accès devrait être concrètement limité aux membres du projet de recherche, sans qu’il soit possible d’effectuer une diffusion plus large, en dehors d’éléments non protégés par le droit d’auteur (j’en ai profité pour invoquer la notion de domaine public informationnel qui apparaît dans un autre article de la Loi sur le Numérique).
  • L’exception n’est plus cantonnée à la seule recherche publique mais à la recherche en général. Il me semble que l’exclusion de l’exploitation commerciale suffit à discriminer la recherche privée à des fins pécuniaires. Seule reste le cas de la recherche bénévole qui devrait à mon avis être concernée par cette mesure (d’autant qu’en impliquant des Citizen Scientist, un projet comme ContentMine tend un peu à brouiller les frontières).
  • Je n’ai plus spécifié d’impératif de destruction des fichiers après utilisation. À partir du moment où on est dans le cadre d’un “fair use” déjà bien bordé, je ne suis pas certain que cela soit nécessaire.

Autant le dire franchement : dans l’immédiat, je n’attends pas grand chose de cet exercice. Je suis depuis déjà plusieurs années l’évolution des débats parlementaires sur des sujets liées aux nouveaux usages numériques. La seule conclusion que je tirerai de cette expérience accumulée, c’est qu’un nouveau dispositif légal ne s’impose généralement qu’à la longue (voire, à l’usure…). Des mesures essentielles comme la reconnaissance positive du domaine public ou l’élargissement de l’open data ont été fréquemment recalés, avant de commencer à se concrétiser. Elles ont fait leur chemin petit à petit : même les votes négatifs ont permis de conforter leur statut de sujet d’intérêt public. C’est tout ce que je peux souhaiter à l’exception pour le text and data mining…

La loi sur le numérique et le libre accès

Je profite de l’annonce officielle de la proposition de loi sur le numérique pour relancer ce carnet de recherche (temporairement interrompu pour cause de… fin de thèse). Au terme d’une gestation tortueuse, un texte stabilisé vient d’atterrir sur une forme de “wikipédia” législatif. La plate-forme contributive République numérique permet à tout un chacun de proposer des articles ou d’amender les articles proposés. En tant que wikipédien averti, l’opération m’est plutôt sympathique. En tant que wikipédien averti, j’espère juste qu’elle ne finira pas comme de nombreuses prises de décision de Wikipédia (i. e. l’équivalent d’un roman de deux cent pages de discussion pour aboutir à pas grand chose). La démocratie collaborative est sans doute le pire des systèmes à l’exclusion de tous les autres (dont la démocratie représentative)…

La loi touche à de nombreux aspects des usages numériques (notamment l’open data, qui se taille la part du lion). Je vais ici me focaliser sur mon thème de prédilection : le libre accès. En apparence, tout est réglé dans l’art. 9 sur le libre accès aux publications scientifiques de la recherche publique. En réalité, ce n’est là que le morceau d’un puzzle plus vaste.

L'art. 9 sur le libre accès dans la plate-forme Republique Numérique
L’art. 9 sur le libre accès dans la plate-forme Republique Numérique

L’affirmation d’un grand principe : le domaine public informationnel

Par-delà les nombreuses pressions qui se sont agitées en coulisse sur le projet de loi, et qui ont tout particulièrement ciblé l’art. 9, un acquis capital a été préservé : la définition positive d’un domaine public informationnel. Elle est formalisée en ces termes dans l’art. 8 :

Les choses qui composent le domaine commun informationnel sont des choses communes au sens de l’article 714 du Code civil. Elles ne peuvent, en tant que tels, faire l’objet d’une exclusivité, ni d’une restriction de l’usage commun à tous, autre que l’exercice du droit moral.

Le périmètre de ce domaine commun informationnel intègre les “objets” suivants. Il s’apparente à un miroir inversé du code de la propriété intellectuelle en explicitant les conditions à partir desquelles les productions intellectuelles sont exemptées de toute protection.

  1. Les informations, faits ou idées : il s’agit ici des “significations” distinctes d’une expression originale (par exemple, on pourrait reformuler toutes les idées exprimées dans ce billet, sans attenter à aucun droit d’auteur) ou exprimées sous une forme a priori non originale (par exemple, un énoncé procédural du style “L’action de telle entreprise est cotée à telle valeur”). En apparence, tout ceci ne relève évidemment pas du droit d’auteur. En pratique, c’est beaucoup moins simple depuis une vingtaine d’années. L’Union européenne a reconnu un “droit des bases de données”, intégré depuis dans le code du droit d’auteur français. Tout “producteur” d’une base de donnée peut restreindre les reprises “substantielles”, même lorsqu’elle ne peut être considérée comme une création originale. Ce droit, qui s’intègre difficilement dans la terminologie générale du droit d’auteur à la française (il est question d’un “producteur” et non plus d’un “auteur” et le critère fondamental d’originalité passe à la trappe) a permis de justifier de nombreuses dérives. À l’image d’Elsevier, les grands éditeurs scientifiques tentent de revendiquer un “droit d’auteur” sur l’information brute en arguant d’une interprétation extensive du droit des bases de données (il est très difficile de déterminer où commence une reprise “substantielle”). Ces prétentions sont consolidées par l’absence de statut juridique clair et explicite pour les informations. Les projets scientifiques ou communautaires compilant des données sont confrontées à une grande insécurité juridique.
  2. Les créations de l’esprit dont toutes les formes de protections ont expirées. À nouveau, il s’agit ici d’asséner une évidence, voire une tautologie (tout ce qui n’est pas protégé… n’est pas protégé). À nouveau, ce rappel est loin d’être inutile. Les protections indues apposées au domaine public des œuvres (aussi qualifiées de copyfraud) sont monnaie courantes. Des institutions publiques prestigieuses s’y livrent sans ménagement : comme le rappelais dans un article pour Rue89, le Musée d’Orsay multiplie les mentions “© Orsay” sous des reproductions d’œuvres du XIXe siècle ; Gallica requiert l’acceptation de conditions de réutilisation non commerciales avant tout téléchargement. Les utilisateurs expérimentés ne se laissent pas impressionner : Wikisource ou Commons reprennent couramment des publications diffusées par Gallica ou Orsay. Il n’en va pas de même pour les lecteurs ou amateurs occasionnels, qui en viennent à restreindre leurs usages faute de déceler les chausses-trappes de ces incantations juridiques. L’invocation de l’art. 8 permettrait d’expliciter l’illégalité des copyfraud. Même si aucune mesure de rétorsion précises ne sont prévues, une institution pourrait sans doute, sur cette base, être contrainte de revoir sa politique.
  3. Les informations issues des documents administratifs au titre de la loi sur la réutilisation des informations publiques de 1970 ne peuvent faire l’objet d’une protection. En effet, le premier grand dispositif juridique organisant un “open data” à la française a permis de justifier paradoxalement de nombreuses dérives : des organismes publics apposent fréquemment des restrictions sur la reprise sur d’informations ou, s’agissant de bibliothèques, d’œuvres du domaines public, en invoquant le fait qu’ils sont libres de déterminer les conditions de réutilisation.

L’article s’achève sur l’évocation d’un mécanisme de “contrôle” de l’application de ces droits : une association reconnue “ayant pour objet la diffusion des savoirs ou la défense des choses communes” peut tenter de “de faire cesser toute atteinte au domaine commun informationnel”. Apparemment, dans ce cadre, une association de chercheurs ou de bibliothécaires pourrait remettre en cause la licence de text and data mining d’Elsevier.

Comme on le voit, la codification de ce grand principe n’est pas une simple proclamation abstraite. Elle va faciliter et sécuriser de nombreux travaux de recherche. Les projets scientifiques sont généralement très soucieux de la légalité de leur activité. Si l’usage des technologies numériques ouvre de nombreuses perspectives (par exemple, en terme d’analyse statistique de grands corpus), leur mise en œuvre effective reste limitée de facto par l’absence d’un cadre juridique clair (peut-on ou non importer automatiquement le contenu de telle bibliothèque numérique ou la base de données de telle institution publique ?)

Un libre accès en demi-teinte

Revenons maintenant l’article ciblant précisément le libre accès : l’art. 9. J’ai suivi à distance l’histoire de son élaboration. Et elle est plutôt mitigée (même si il y a aussi de bonnes surprises imprévues en bout de course).

Initialement, la loi dérive d’une recommandation non contraignante de l’Union Européenne prise en 2012. D’après son premier article,

il devrait y avoir un libre accès à toute publication résultant d’une recherche sur fonds publics aussi rapidement que possible, de préférence immédiatement et, de toute manière, par plus tard que 6 mois après publication et 12 mois pour les sciences sociales et les humanités.

En janvier dernier, j’avais conçu une proposition de loi adaptée au droit français. Elle reprenait dans ses grandes lignes le projet de loi européen, en y joignant des provisions supplémentaires sur les nouvelles formes de publications. L’article scientifique est en effet en pleine métamorphose. Il se présente sous la forme de plusieurs versions (preprint, postprint) ; l’écrit rédigé ne résume plus à lui seul tout l’article, il convient d’y adjoindre d’autres productions permettant d’évaluer sa reproductibilité (les données, les algorithmes statistiques). D’où une interprétation élargie :

Cette exemption porte sur la totalité des formes prises par les travaux de recherche. Elle couvre notamment les versions finales acceptées des articles de recherche parus dans des revues périodiques. Les formes non rédigées donnant lieu à des droits de propriété intellectuelle, telles que les compilations de données, sont également concernées.

Cette disposition (qui visait à anticiper des transformations en cours) n’a finalement pas eu d’écho — même si j’ai eu confirmation par ailleurs que mon texte a été pris en considération lors de la phase d’élaboration de l’art. 9.

L’une des premières moutures du texte reprend  les conditions temporelles de la recommandation européennes (6 mois pour les STM, 12 mois pour les SHS), à ceci près qu’il les rend impératives (dans la recommandation, il était seulement question d’un “au plus tard”). Il y adjoint une provision, introduite par une adaptation allemande de la recommandation européenne : toute fin commerciale est exclue. Concrètement, les chercheurs ne peuvent republier leurs travaux que sous une licence non commerciale. Par contre, il est clairement explicité que tous les droits exclusifs des éditeurs, quels que soient les contrats signés, sont abolis :

L’auteur d’une contribution scientifique, issue d’une activité de recherche financée au moins pour moitié par des fonds publics et publiée dans le cadre d’une collection paraissant au moins deux fois par an, dispose du droit, même s’il a cédé un droit d’exploitation exclusif à l’éditeur, de rendre publiquement accessible la version acceptée de son manuscrit aux termes d’un délai de six mois pour les Sciences et de douze mois pour les Sciences humaines et sociales à compter de la première publication, toute fin commerciale étant exclue. L’alinéa précédent est d’ordre public((Première version de l’art. 9 de la Loi sur le numérique))

En juillet, une version de travail du projet de loi “fuite” sur Internet. Il est beaucoup plus étendu que le projet actuel (il comprend 80 articles, vs. seulement 30). La disposition sur le libre accès se trouve dans l’art. 39. Elle n’a pas fondamentalement bougé par rapport à la version de mars :

Il est créé dans le code de la propriété intellectuelle un article L. 132-8-1 ainsi rédigé : Art. L132-8-1. – L’auteur d’une contribution scientifique, issue d’une activité de recherche financée au moins pour moitié par des fonds publics et publiée dans le cadre d’une collection paraissant au moins une fois par an, dispose du droit, même s’il a cédé un droit d’exploitation exclusif à l’éditeur, de rendre publiquement accessible la version acceptée de son manuscrit, au terme d’un délai de six mois pour les sciences et de douze mois pour les Sciences humaines et sociales à compter de la première publication, toute fin commerciale étant exclue.
Il s’agissait explicitement d’amender le code de la propriété intellectuelle. Je ne suis pas certain que c’était là une excellente méthode. Dans ma proposition de loi de janvier, je préconisai, tactiquement, de cibler plutôt le code de l’éducation nationale, afin de présenter le texte comme une application “particulière” du droit d’auteur plutôt que comme une exception “générale”.
Le choix du code de l’éducation nationale ne relève pas non plus du hasard. Cela permet de centrer le sujet sur une situation bien précise. Une réforme du code de la propriété intellectuelle risque a contrario de susciter des réactions ou des réticences annexes (bien qu’elles ne soient pas du tout concernées, les industries culturelles ou les société de gestion de droit y verraient une tentative de détricotage du droit d’auteur).
Mes appréhensions ne relevaient pas d’un pur fantasme. Sous l’effet de diverses pressions des éditeurs scientifiques, et plus largement par les institutions et organisations défendant les intérêts des ayant-droit, les durées d’exclusivité sont prolongées : elles passent à 12 mois pour les STM et 24 mois pour les SHS. Par ailleurs, la republication ne peut pas porter sur les version finalement publiée par l’éditeur, mais sur celle finalement transmise par l’auteur au terme du processus de peer-review :
Lorsque un écrit scientifique, issu d’une activité de recherche financée au moins pour moitié par des fonds publics, est publié dans un périodique, un ouvrage paraissant au moins une fois par an, des actes de congrès ou de colloques ou des recueils de mélanges, son auteur, même en cas de cession exclusive à un éditeur, dispose du droit de mettre à disposition gratuitement sous une forme numérique, sous réserve des droits des éventuels coauteurs, la dernière version acceptée de son manuscrit par son éditeur et à l’exclusion du travail de mise en forme qui incombe à ce dernier, au terme d’un délai de douze mois pour les sciences, la technique et la médecine et de vingt-quatre mois pour les sciences humaines et sociales, à compter de date de la première publication. Cette mise à disposition ne peut donner lieu à aucune exploitation commerciale1 .
Par contre, le périmètre des publications est élargi. Il n’est plus seulement question des revues, mais aussi des actes de colloques et de congrès et des compilations d’articles réalisées par l’auteur (le “recueil de mélanges”). À la limite, la jurisprudence pourrait élargir cette notion de “recueil de mélanges” aux formes de publications annexes à l’article : les données ou algorithmes associées feraient parties d’une forme de compilation.

Le grand oublié : le Text and Data Mining

C’était l’autre grand attendu de la loi sur le numérique pour les communautés scientifiques : la reconnaissance d’une exception pour la fouille automatisée de données et de textes (ou Text and Data Mining). La version “fuitée” de juillet mentionne la modification suivante apportée à l’art. 122-5 du code de la propriété intellectuelle (art. 40).

« f) Les copies ou reproductions numériques réalisées à partir d’une source licite, en vue de l‘exploration de textes et de données pour les besoins de la recherche publique, à l’exclusion de toute finalité commerciale. Un décret fixe les conditions dans lesquelles l’exploration des textes et des données est mise en œuvre, ainsi que les modalités de destruction des fichiers au terme des activités de recherche pour lesquelles elles ont été produites; »

En janvier 2014, j’avais publié sur ce blog une synthèse détaillée sur les problématiques légales du Text and Data Mining. L’analyse automatisée de grands corpus requiert en effet une copie substantielle d’une base de données ou d’un ensemble de texte. Pour des raisons de performances et de limitations techniques, il n’est souvent pas envisageable d’effectuer directement des requêtes sur des publications en ligne. Au titre du droit des bases de données, ces recopies massives sont clairement illégales. Chaque projet de recherche doit obtenir l’acquiescement des détenteurs des droit, ce qui peut prendre des années. Paradoxalement, il serait possible de réaliser strictement le même travail de manière “manuelle” (en consultant les publications visées, sans faire appel à des techniques d’extraction). Il y aurait ainsi une disjonction entre le droit d’extraire et le droit de lire.

Les exceptions au text and data mining se sont multipliées au cours de ces dernières années. C’est notamment le cas au Royaume Uni qui a mis en place un fair dealing depuis un an : toute recherche à des visées non commerciale peut réaliser légalement une copie substantielle d’une base de donnée mis en ligne (sous réserve, évidemment, de ne pas la divulguer). Aux États-Unis, la jurisprudence évolue également en ce sens : le procès Google Books reconnaît ainsi que la fouille automatisée pourrait relever du fair use.

Le projet français de la loi sur le numérique se situait déjà en retrait par rapport à ces évolutions. Il met en place une procédure de “destruction” des fichiers obtenus : un projet de recherche ne pourrait pas conserver durablement une copie ; dès que certains objectifs sont accomplis, la base de donnée disparaît, sans espoir de revenir en arrière.

Finalement, même cette adoption timide n’a pas été retenue. Entre temps, le text and data mining est devenu l’un des “épouvantails” du lobby de l’édition. D’après la brochure La Gratuité c’est le vol (ironiquement diffusée… gratuitement) de l’avocat du Syndicat National de L’Édition, Richard Malka, l’adoption d’une exception matérialiserait une forme d’apocalypse communiste :

Si de tels investissements pouvaient être légalement pillés, aucun éditeur n’engagerait désormais le moindre financement pour créer de  tels outils. Il n’existe en réalité, aucune activité économique au monde dont les productions peuvent être librement expropriées pour cause d’utilité privée et sans aucun dédommagement.

Par-delà les fantasmes d’une industrie culturelle aux aboies, l’absence de cadre légal pour la fouille de texte de données risque d’acter un “déclin” bien réel :  celui de la recherche française, désavantagée sur ce point par rapport à ce que peuvent réaliser les pays anglo-saxon. L’élaboration de vastes de base de donnée en libre accès représente un tournant majeur de ces dernières années.  Il serait notamment impossible de réaliser en France l’équivalent du projet Content Mine, qui ambitionne de créer une collection de 100 millions de “faits”.

En l’état, ce nouveau monde de la donnée scientifique a peu de chance de parler français…

  1. Art. 9 de la Loi sur le Numérique []

La France reconduit la licence nationale d’Elsevier

N.B. : ce billet est régulièrement mis à jour pour tenir compte de nouvelles informations complémentaires.

Le consortium Couperin, qui représente les universités et établissements hospitaliers français vient de renouveler pour 5 ans une licence nationale avec Elsevier, le leader mondial de l’édition scientifique. L’information est officielle… sans l’être vraiment. À ma connaissance, on ne la trouve encore nulle part sur le site de Couperin ou du Ministère de l’Enseignement supérieur. Seules quelques universités s’en font discrètement l’écho. Ainsi en est-il d’une école de Management de Nantes :

Les possibilités de consultation des revues éditées par Elsevier via la plateforme Science Direct ont changé ! La négociation a été longue et pleine de rebondissements, mais le consortium Couperin, l’Agence Bibliographique de l’Enseignement Supérieur et l’éditeur Elsevier sont finalement arrivés à un accord : désormais la « Freedom Collection » d’Elsevier est accessible aux abonnés à ScienceDirect, dans le cadre d’une licence nationale

Il n’y a en effet pas de quoi triompher. D’après mes informateurs, l’opération représente un investissement de 172 millions d’euros sur cinq ans (171 697 159 € 27 c. exactement), soit 33 à 35 millions par an (le versement varie légèrement d’une année à l’autre).

Certes, l’accord couvre l’accès de plusieurs centaines d’universités et de centres hospitaliers. Certes les sommes engagées ne sont probablement pas supérieures à ce qui était dépensé par le passé (le déficit systématique de transparence sur les licences nationales conclues avec Elsevier ne permet pas d’en juger).

Seulement, la recherche française est à la diète : des universités sont en situation de quasi-faillite ; les autres se préparent quatre ans de galère ; le gouvernement reste sourd à la mobilisation des chercheurs. Et la non-reconduction de l’accord n’aurait pas seulement généré des économies appréciables : elle aurait accéléré la conversion de l’édition scientifique au libre accès, en mettant les responsables de la recherche publique au pied du mur. Création de nouveaux modèles éditoriaux (basé, par exemple, sur les épirevues), réforme de critères d’évaluation obsolètes, adoption d’une loi à l’Allemande suspendant les droits de l’éditeur au bout d’un an : toutes ces évolutions salutaires seraient devenues indispensables. Et, en attendant, Couperin avait développé une plate-forme de secours pour continuer d’accéder aux articles d’Elsevier antérieurs à 2013. On tenait là l’occasion idéale de réformer un système vermoulu de toute part. On vient de la louper.

Et pourtant, la licence nationale est présentée comme l’un des axes principaux de la politique scientifique française. En témoigne cet échange privé de la Ministre de la recherche et de l’enseignement supérieur à l’Académie des sciences relayé par un discours d’Alain Abécassis au congrès de l’ADBU :

Le 10 mars 2014, la ministre a exposé à l’Académie des Sciences, via un courrier, les 3 avancées faites ces deux dernières années par la France dans ce domaine de [l’édition de l’information scientifique et technique] : la convention HAL (…) le projet Istex (…) la mise en œuvre d’une licence nationale avec l’un des principaux groupes d’édition scientifique mondiaux, Elsevier.

Prisonnier d’un jeu où les dés étaient pipés d’avance, le consortium Couperin s’est sans doute bien débrouillé. Il a obtenu un rabais non négligeable de 15 millions d’euros par rapport à la somme initialement envisagée dans un document confidentiel de février (188 millions d’euros). Une partie de ce rabais semble cependant dû au retrait de plusieurs institutions (telles que la BNF) qui financent peut-être directement leur accord avec Elsevier.

La licence de data mining a été clarifiée et limite partiellement les prétentions d’Elsevier à revendiquer un droit d’auteur sur l’information et les données « brutes ». Les multiples réactions suscitées par la divulgation du document de février par Daniel Bourrion et par sa reprise sur Rue89 ont sans doute aidé…

Vous pouvez déjà consulter sur Sciences communes la clause de data mining contenue dans le contrat. Je publierai plusieurs compléments dans les prochains jours, notamment si j’arrive à obtenir les documents du marché (a priori ils seraient communicables). Et, si vous disposez d’informations supplémentaires sur le sujet n’hésitez pas à me contacter.

À défaut de pouvoir contester cet accord définitivement acté, je vais lui faire un peu de publicité…

Text mining : vers un nouvel accord avec Elsevier

La semaine est placée sous le signe de la divulgation de documents officiels sur le text mining (pourrait-on parler de MiningLeaks ?). Le collectif Savoirscom1 vient de publier le rapport du Conseil supérieur de la propriété littéraire et artistique sur « l’exploration de données ». De mon côté, j’apporte quelques informations sur l’accord conclu entre le consortium Couperin et Elsevier concernant la licence de data et text mining accordée par le géant de l’édition scientifique à plusieurs centaines d’établissements universitaires et hospitaliers français.

Contre toute attente, les nouvelles sont meilleures du côté d’Elsevier que du CSPLA : en digne représentant des ayants-droits, le Conseil vient de retoquer toute éventualité d’exception au droit d’auteur pour les projets scientifiques de text mining (alors que le Royaume-Uni vient tout juste d’en voter une, et qu’il s’agit d’un des principaux axes des projets de réforme européens du droit d’auteur). Savoirscom1 condamne fermement cet attentisme doublé d’un certain mépris pour de nouvelles pratiques de recherche :

Le ton est donné dès la préface dans laquelle l’exploration de données est qualifiée d’activité de « nature parasitaire ». Ce terme est particulièrement choquant, puisqu’il il englobe sous cette dénomination péjorative des activités d’étude et de recherche, qui sont les premiers bénéfices que l’on peut attendre du développement des pratiques de fouilles de données (…) cet attentisme aura de graves conséquences, car l’absence d’intervention du législateur laissera le champ libre à de gros acteurs du monde de l’édition, comme Elsevier ou Springer

Puisque l’on parle des licences privées, les nouvelles conditions obtenues par Couperin sont meilleures (ou plutôt moins pire…) que prévues. Elles bordent certaines dérives graves habilement agencées par l’équipe juridique d’Elsevier qui tente d’instrumentaliser les licences Creative Commons pour introduire des enclosures inédites. Néanmoins, la situation demeure assez inquiétante et ne fait que souligner l’urgence d’une exception légale correctement délimitée.

Avant toute chose, remontons un peu dans le temps pour ceux qui n’auraient pas suivi le feuilleton.

Des Creative Commons au service des enclosures

En janvier dernier, Elsevier dévoile ses nouvelles conditions d’accès au Text et Data mining (fouille de texte et de données en bon français). Cette initiative vise à répondre à une pratique émergente : l’utilisation de techniques d’analyse automatisée d’un corpus pour synthétiser un champ de recherche. Le projet Text2Genome a ainsi permis d’identifier les acquis de plusieurs millions d’articles de recherche en biologie sur le génome humain. Très prometteuses, ces techniques se heurtent à une limite légale : les éditeur détiennent les droits d’accès aux publications scientifiques. De délicates négociations sont nécessaires pour y accéder, ce qui peut prendre plusieurs années.

Le Processus d'indexation de Text2Genome
Le Processus d’indexation de Text2Genome

Elsevier a pris l’initiative de définir un cadre d’accès unique. Cela paraît louable à première vue. Sauf que la multinationale en profite pour poser toute une série de précédents juridiques, allant jusqu’à contester par anticipation plusieurs principes fondateurs du droit de la propriété intellectuelle. Toute utilisation de techniques de Mining sur le corpus d’Elsevier est soumis à plusieurs restrictions :

  • L’utilisation obligatoire de l’API maison d’Elsevier
  • Une limitation des extraits à 200 signes.
  • L’obligation de placer le résultat de la recherche sous une licence non-commerciale.
  • L’obligation d’inclure un lien DOI vers la source originelle (article…)

Les trois dernières restrictions sont particulièrement problématiques. Elles s’apparentent à une remise en cause de deux droits fondamentaux : le droit de citation (qui doit être courte, mais n’est pas limitée à 200 signes et n’est pas couverte par des droits patrimoniaux) et, surtout, le droit de diffuser librement une information (on parlerait ici plutôt de domaine public de l’information).

Les termes de la licences sont en effet suffisamment larges pour servir de base à un droit d’auteur de la donnée. Depuis une vingtaine d’année, il existe certes un droit des bases de données en Europe, mais il ne peut porter que sur la structure de la base (sous réserve qu’elle soit suffisamment complexe et originale ; la jurisprudence a été assez sévère à cet égard). Les données brutes contenues dans la base ont le statut d’informations, soit d’entités non originales qui demeurent librement appropriables.

Or, Elsevier souhaiterait manifestement revenir sur cette limite. L’éditeur n’est pas le seul. Les industries culturelles tentent également d’emprunter cette voie, en instrumentalisant le débat sur les données personnelles. Une initiative marketing du forum d’Avignon, la déclaration préliminaires des droits de l’homme numérique, procède ainsi à un amalgame entre protection des données et protection des œuvres sujettes au droit d’auteur. Cette récupération a été fermement dénoncé par une réaction collective de plusieurs associations (dont Savoirscom1, l’OKFN et République citoyenne) :

Nous souhaitons donc rappeler qu’une donnée dite personnelle n’est pas une œuvre de l’esprit et ne devrait pas être considérée comme telle. De même, une œuvre de l’esprit n’est pas une donnée personnelle et ne devrait pas être considérée comme telle.

Elsevier n’a au moins pas l’hypocrisie de prétendre protéger les données personnelles. Sa tactique est différente : sous prétexte de requérir une gentille licence Creative Commons il introduit subrepticement une forme de droit patrimonial sur les informations ou les courtes citations.

Représentées par le consortium Couperin, les universités françaises tentent de renouveler une licence nationale avec Elsevier, venue à expiration fin 2013. Elles parviennent en février à un accord… fortement critiqué. Un bibliothécaire, Daniel Bourrion, dévoile son contenu, avant d’être contraint de se rétracter au nom d’un devoir de réserve. L’accord détaillé est finalement republié sur ce blog, puis repris dans un article sur Rue89.

Le montant total des sommes engagées sur cinq ans, près de 200 millions d’euros, paraît extravagant dans un contexte de crise globale des universités. Et la clause de Data Mining crée un précédent dangereux, un peu comme si Elsevier écrivait sa propre loi. Dans l’ensemble, les dispositions initiales de l’éditeur sont reprises sans plus de précision. Rien n’empêche d’éluder totalement le droit de citation ou d’introduire les bases d’un droit d’auteur de l’information :

Tous les contenus accessibles et souscrits sur ScienceDirect dans le cadre de cet accord seront utilisables à des fins de data et text mining via une interrogation des données par une API connectée à la plateforme ScienceDirect. Les modalités appliquées seront celle du cadre juridique défini par Elsevier pour ce type de service.

Ce projet initial a été clarifié. Comme je le signalais plus haut, une nouvelle version de la clause de Data Mining a été transmise à Sciences communes (j’ai changé la mise en forme pour en clarifier la lecture). Elle a manifestement profité des mises au point de plusieurs acteurs de poids et d’une réflexion beaucoup plus poussée du consortium Couperin. Ainsi, dans le cadre des auditions du CSPLA sur le statut juridique du data mining, Couperin avait cosigné avec l’Association des Directeurs et personnels des Bibliothèques Universitaires (ABDU) une critique cinglante des licences contractuelles proposées par les éditeurs.

Hors de l’exception, point de salut :

L’exception sans compensation apparaît donc comme la seule voie praticable pour régler juridiquement le problème soulevé par le TDM au regard du droit sui generis des bases de données.

Parallèlement, l’ABDU et une vingtaine d’autres bibliothèques européennes diffusent une lettre ouverte à Elsevier, forçant la multinationale à réagir. Le 10 juillet, la directrice juridique d’Elsevier, Gemma Anderton, est contrainte de réaffirmer la position générale de la firme et énonce plusieurs concessions secondaires. Ainsi la licence ne doit plus être précisée à chaque produit (notons tout de même que l’éditeur pratique toujours une stratégie des termes juridiques vagues…) mais peut faire l’objet d’une annonce globale :

Grâce aux réactions des chercheurs, nous ne requerrons plus l’association d’une licence spécifique à chaque produit mais nous invitons les chercheurs à signaler clairement que le contenu diffusé dans chaque produit peut appartenir à d’autres et qu’ils ne pourront les réutiliser que dans un but non commerciale, sous réserve que l’auteur original et la source soient crédités.

Un accord plus équilibré ?

En dépit de cette sensibilisation accrue et d’un recul notable d’Elsevier, certaines dérives n’ont pas été entièrement écartées. Le contrat final ressemble en partie à un copier-coller du contrat conclu avec ISTEX

Par rapport à l’annonce, l’accord a gagné en clarification. Il n’est plus question de tous les contenus mais de produit TDM (pour Text et Data Mining). On ne parle plus d’une information au sens large mais bel et bien de la bases de données constituée à partir des recherches. Le risque d’une contamination des conditions de licence (obligatoirement non-commerciale) à la totalité des productions scientifiques issues du projet est en partie désamorcé.

[l’Abonné peut] procéder à des analyse de données et de la fouille de texte (« Text and data mining » ou TDM) notamment via l’API accessible à l’adresse http://www.developers.elsevier.com pour, en continu, et de manière automatique, indexer, extraire et/ou traiter des informations provenant des Produits Souscrits auxquels l’Abonné souscrit séparément et charger et intégrer les résultats (la « Production TDM ») sur un serveur utilisé pour le système de text-mining de l’Abonné en vue de sa consultation et de son utilisation par les Utilisateurs Autorisés;

Comme on le voit dans l’extrait ci-dessus, un adverbe marque une autre concession importante : notamment. Les chercheurs pourront notamment utiliser l’API d’Elsevier ce qui laisse à entendre que ce ne sera pas la seule porte d’entrée possible. Pour mémoire, la politique générale d’Elsevier fait toujours de l’API l’unique voie d’accès (ce qui conditionne fortement les usages possibles) :

All access to content for text mining purposes must take place through our APIs and remind you that in order to maintain performance and availability for all users, the terms and conditions of access to ScienceDirect continue to prohibit the use of robots, spiders, crawlers or other automated programs, or algorithms to download content from the website itself.

Par ailleurs, la limite de 200 signes a été retirée pour tous les chercheurs bénéficiant de la licence nationale. Ce retrait met fin à plusieurs absurdités, telles que l’impossibilité de faire rentrer des noms de composés chimiques, dont la taille excède parfois 200 signes.

[l’Abonné peut] distribuer à l’extérieur (en dehors du groupement d’Abonnés, c’est-à-dire du Consortium Couperin.org, du MENESR  et des établissements listés à l’annexe 1 du CCAP du marché n° 201412 ABES-Elsevier) la Production TDM, pouvant inclure quelques lignes d’un texte reposant sur la requête et extrait d’articles individuels ou de chapitres de livres complets dans la limite de 200 signes

Le problème se posera toujours dès lors qu’il s’agira d’impliquer un chercheur ou une institution extérieure, mais il y aura sans doute moyen de frauder discrètement (les identifiants d’accès universitaires circulent déjà largement…). À cet égard la licence nationale opère un rapprochement souhaitable entre le droit de lire et le droit d’extraire : ceux qui peuvent accéder aux articles peuvent également en retirer automatiquement des données et des informations sans contraintes techniques lourdes.

Pour autant, tout n’est pas parfait. Même si il a dû revenir sur certaines de ses prétentions (telles que le contrôle généralisé par l’API ou le flou de la notion de contenu), Elsevier écorne toujours ces deux droits fondamentaux que sont le droit de courte citation et, surtout, le droit de diffuser l’information. Le produit TDM est envisagé dans sa totalité, ce qui va bien au-delà de la législation européenne sur les bases de données. Si l’on applique le texte de l’accord à la lettre, l’ensemble des données passent sous une licence creative commons non-commerciale. À l’instar de la déclaration bidonnée du forum d’Avignon, l’éditeur scientifique considère la base de données dérivée comme une œuvre, dont l’on pourrait délimiter les conditions de protection :

La présente œuvre est distribuée en vertu des conditions Creative Commons Attribution – Pas d’utilisation commerciale (CC BY-NC) 3.0, qui autorise son utilisation non-commerciale, sa distribution et sa reproduction sur tout support, pour autant que l’auteur et la source d’origine soient cités.

Tout ceci s’appliquerait parfaitement à une œuvre de l’esprit. Sauf que nous avons à faire à une base de données, dont seule la structure (et encore dans des cas fortement délimités par la jurisprudence) peut faire l’objet d’une forme de protection et celle-ci n’a rien de comparable Et, ce faisant, Elsevier maintient également subrepticement une forme de droit d’auteur patrimonial sur les citations. C’est là l’élément déterminant qui fonde l’exercice de ses droits sur les œuvres dérivées : la présence de citation de 200 signes, dont il est explicitement précisé qu’elles ne peuvent pas permettre de reconstituer les articles originaux. C’est là une posture cohérente avec la politique générale d’Elsevier en matière de text mining :

Le chercheur doit accepter que bien qu’il détienne le produit de sa recherche, les extraits présentés dans cette production peuvent contenir des droits de l’éditeur, de l’auteur ou de tierces parties.

Cette dérive ne surprendrait pas le fondateur des Creative Commons, Lawrence Lessig. Dès le milieu des années 2000, il s’inquiète de l’inadaptation des licences libres aux droits des bases de données. Mal appliquées, elles risquaient de recréer des enclosures, en conditionnant certaines libertés offertes par les divers codes de la propriété intellectuelle (libre reprise des informations ou des courtes citation). La conception du projet Science Commons a permis d’identifier clairement ce risque :

The core insight behind the Science Commons Data Protocol is that the solution to these problems is to return data to the public domain by relinquishing all rights, of whatever origin or scope, that would otherwise restrict the ability to do research (…) So in  Kuhn’s terms, this is a revolution, in the sense that it departs from a trend towards placing  increasing restrictions on data. But in another sense, it is far from revolutionary, because it is how science has worked best in the past and, we believe, how it must work in the future if we want science to help us find cures.

Cette réflexion essentielle (et, pour partie, prémonitoire) n’est pas si bien connue. Pour ceux que le sujet intéresse, je l’ai évoqué en détail à l’occasion d’une journée d’étude de l’Université d’Angers sur le droit d’auteur :

Depuis l’année dernière, dernière version des licences Creative Commons (dite 4.0) délimite clairement l’amplitude des droits réservés en matière de bases de données : ils ne s’appliquent qu’aux structures de la base et jamais aux informations. Évidemment, Elsevier ne se réfère qu’à la version 3.0.

Une monstruosité juridique

Enfin, ce n’est qu’un contrat parmi d’autres. Elsevier s’empresse de préciser que cela ne remet nullement en cause plusieurs accords antérieurs (tel que ceux conclus avec ISTEX) :

Les parties conviennent qu’en aucun cas, les droits garantis dans la licence au titre du marché n° 2014-12 ne viennent limiter ou annuler les droits concédés par Elsevier sur les données dans le cadre du marché n° 2013-20 concernant l’acquisition d’archives de revues dans le cadre du projet ISTEX.

La comparaison du contrat de Couperin avec le contrat ISTEX conclu l’année dernière (sur une plus petite échelle il est vrai) est d’ailleurs évocatrice. La clause de text mining accordait une limite élargie à 350 mots (et non des signes), mais elle était moins souple sur les usages (les métadonnées sont également inclues parmi les propriétés d’Elsevier et l’API est la seule et unique voie d’entrée) :

distribuer à l’extérieur la production TDM pouvant inclure quelques lignes d’un texte reposant sur la requête et extrait d’articles individuels ou de chapitres de livres complets (« Fragments ») dans la limite de 350 mots consécutifs ou des métadonnées bibliographiques. En cas de distribution de fragments et/ou de métadonnées bibliographiques, ils doivent être accompagnés d’un lien DOI (identificateur d’objet numérique) redirigeant vers l’article ou le chapitre de livre complet concerné (p. 12).

Et c’est là que l’on perçoit un autre effet néfaste de ces licences privées : créer des monstruosités juridiques en démultipliant les régimes d’usages. Que se passera-t-il si un chercheur associé à ISTEX collabore avec un chercheur bénéficiant de la licence nationale ? L’un pourra publier une base contenant des citations de 350 mots et l’autre se contentera de 200 misérables signes (soit environ 10 fois moins). Inversement, l’un aura peut-être la possibilité d’extraire le contenu des corpus d’Elsevier sans passer par l’API (alors que pour l’autre c’est définitivement exclu). Évidemment je n’envisage pas le cas suprême de la collaboration internationale d’une dizaine de chercheurs ayant chacun leurs propres conditions (j’imagine que Elsevier a essaimé des déclinaisons de sa licence data mining un peu partout).

Si, comme le prévoit le CSPLA, la possibilité d’une ébauche de débat sur une exception ne sera pas ouverte avant deux ans, je sens que le data mining pirate va devenir furieusement tendance. D’ailleurs, pour ceux qui cherchent des trucs et astuces, j’en ai quelques uns en magasin

Faire du data mining avec Google : comment tromper big brother ?

Après Elsevier et Gallica, voici un nouvel épisode de ma série sur le data mining. Cette fois-ci je m’attaque à L’industrie majeure du web, celle qui fait figure de métaphore de l’internet tout entier : Google. Ou, plus exactement, son service d’indexation bibliométrique des articles scientifiques, Google Scholar (même si les problématiques abordées ici sont largement applicables à l’ensemble de l’écosystème Google).

Les techniques de data mining (ou extraction automatique des données en bon français) s’apparentent à autant de sympathiques secrétaires, prompts à assister le chercheur dans la moindre de ses tâches. Ils peuvent être employées dans des projets d’analyse classique portant sur un corpus proprement délimité (c’était l’objectif de ma petite application d’extraction des textes journalistiques hébergés sur Gallica, Pyllica). Ils ont aussi une vocation plus méta : permettre de saisir rapidement un champ de recherche en moissonnant les méta-données bibliographiques.

Modéliser un champ de recherche avec Google Scholar

À ce jour, Scholar est la principale alternative gratuite aux grandes bases de données scientifiques telles que le Web of Science de Reuters ou Scorpus d’Elsevier. Par-delà son accessibilité, le service se distingue par une conception volontairement laxiste de la référence scientifique : est référencée sur Google Scholar toute publication déjà citée dans un publication présente sur Google Scholar. Cette ouverture présente plus d’avantage que d’inconvénients. Les conférences ou les working papers, globalement absents de Scorpus, sont correctement recensés. Par compensation, les résultats doivent être appréhendés avec un certain esprit critique (mais c’est de toute façon nécessaire pour n’importe quelle recherche bibliographique : même la revue la plus réputée qui soit peut se tromper et publier un article de qualité relative).

La page d'accueil de Google Scholar.
La page d’accueil de Google Scholar.

Scholar intègre une fonction très utile pour les recherches bibliographiques : la fonction « cité par ». Concrètement, il est possible d’évaluer l’influence d’une étude en retrouvant l’ensemble des études ultérieures qui la citent. Je me sers fréquemment de cette fonction pour reconstruire rapidement l’état d’un champ de recherche (dans le jargon académique on parle aussi de faire l’état de l’art).

La fonction « Cité par » de Google Scholar appliquée à l'article culte de la physique quantique, EPR…
La fonction « Cité par » de Google Scholar appliquée à l’article culte de la physique quantique, EPR…

Dans certains cas, le nombre de citations est considérable : des publications influentes peuvent être citées des centaines voire des milliers de fois. Sauf à y passer des heures, il devient difficile d’avoir un tableau global de cette littérature dérivée. C’est là qu’intervient le data mining. L’extraction automatisée des métadonnées bibliographiques permettrait de repérer rapidement certaines tendances structurelles (typiquement, le nombre de publication par années, les mots-clés utilisés dans les résumés). Évidemment, ce repérage ne prétend pas se suppléer à une lecture approfondie, mais il permet un gain de temps substantiel.

Pourquoi Google Scholar n’a pas d’API ?

On pourrait penser que Google Scholar serait le terrain de jeu idéal pour une série d’extractions automatisées. Après tout, Google se donne fréquemment une image de firme open, amie du logiciel libre et du mouvement d’ouverture des savoirs. Et pourtant ce n’est pas du tout le cas.

Avant toute chose, nous nous mettons en quête d’une API. Pour mémoire, une API, ou Application Programming Interface, désigne un programme permettant à une interface de communiquer ses données avec l’extérieur. Les APIs montrent vite leurs limites pour une recherche sophistiquée : le détenteur de l’interface définit en effet des catégories pré-remplies qui limitent fortement le champ des recherches possibles. Néanmoins, notre projet (récupérer toutes les métadonnées des références qui citent une référence pré-définie) reste assez simple. On peut légitimement espérer que l’API de Google Scholar permette de réaliser quelque chose qui s’en approche.

Or, il n’existe pas d’API pour récupérer les données de Google Scholar. C’est là une anomalie curieuse. Google Books dispose d’une API depuis plusieurs années. Pourquoi Google néglige-t-il de développer un service d’extraction pour Scholar ? L’intérêt du public ciblé est pourtant patent : Scholar s’adresse à des chercheurs plutôt familiers des nouvelles technologies, soit des gens a priori intéressés (et motivés) pour utiliser des outils de recherche un peu poussés. Vraisemblablement, Google ne tient pas à froisser les multinationales de l’édition scientifique. Google Scholar n’a que vocation à enrichir « l’expérience utilisateur » : il n’est pas valorisé en tant que tel. Google ne tient pas à saborder le business d’Elsevier et Reuters (d’autant plus que ces deux entreprises ont vraisemblablement des budgets d’e-marketing non négligeables).

L'API de Google pour Google Books n'a pas d'équivalent pour Scholar
L’API de Google pour Google Books n’a pas d’équivalent pour Scholar

Je suis donc amené à rédiger mon propre petit programme d’extraction. En combinant une bibliothèque de parsing HTML (Beautiful Soup) et des expressions régulières, j’arrive rapidement à obtenir des résultats satisfaisants. Pour des raisons qui deviendront vite évidentes par la suite, je n’ai pas republié ce bout de code sur Github.

Mon programme d'extraction automatisé, écrit en python…
Mon programme d’extraction automatisé, écrit en python…

Le titre, l’année, le nom de la revue, le nombre de citations : toutes ces données sont correctement extraites et reportées dans un document csv.

Les données bibliographiques sont bien rangées…
Les données bibliographiques sont bien rangées…

Il y a pourtant un petit souci. Lorsque le nom de la revue est trop long, Google Scholar le présente sous une forme abrégé. Ce problème survient assez peu souvent. Il reste envisageable de le corriger à la main ou, si les résultats deviennent trop nombreux, de l’ignorer purement et simplement (lorsqu’on manipule une base de données de bonne taille, on n’est pas à une marge d’erreur près).

Le nom de la revue est abrégé sans que l'on puisse récupérer le nom complet.
Le nom de la revue est abrégé sans que l’on puisse récupérer le nom complet.

Tout fonctionne pour le mieux… Il y a pourtant un hic. Tout comme Elsevier, Google interdit formellement le parsing : on est prié de se servir d’une API sauf que, dans le cas de Google Scholar, l’API n’existe pas. Faute de mieux, je maquille mon programme d’extraction en navigateur web standard. Je prends soin d’inclure un temps d’attente de quelques secondes entre chaque ouverture de page : après tout, il m’arrive d’ouvrir compulsivement des pages de résultats de cette manière.

Mes précautions sont vaines. Google finit par me repérer. Mon petit programme est bloqué et n’extrait plus rien. Lorsque je rouvre Google Scholar par des voies traditionnelles, je dois rentrer un captcha pour prouver que je ne suis pas une machine. Il va falloir trouver une tactique plus subtile pour tromper l’attention de big brother.

Quand le data scientist se fait hacker…

Le maquillage de mon programme en navigateur standard ou l’utilisation d’un temps d’attente entre chaque ouverture de page n’étaient que des détournements élémentaires. Pour faire du data mining « sauvage » avec les contenus publiés par les grandes industries du web, il n’y a d’autres alternatives que le hacking pur et dur.

Une première stratégie efficace consiste à travestir complètement notre algorithme en humain. Cela suppose d’opter pour des intervalles d’ouverture de page aléatoires (typiquement dans une échelle allant de 15 à 60 secondes), en prenant un temps minimal au moins supérieur à 15 secondes. Les résultats de cette stratégie sont améliorés si l’on change de navigateurs en cours de route. Seulement, dans ce cadre, l’extraction devient looooooooooongue… Pour 60 pages de Google Scholar il faut compter au minimum une demi-heure. Bref, ce n’est praticable que l’on ne s’intéresse qu’à un nombre de pages assez limité (pas beaucoup plus d’une cinquantaine).

Une seconde stratégie, beaucoup plus ambitieuse, vise à empêcher toute tentative d’identification pérenne en passant sur le réseau TOR. La mascarade va beaucoup plus loin : Google ne va pas croire que notre programme est une personne, mais qu’il est plusieurs personnes, l’adresse IP n’arrêtant pas de changer. Je n’ai pas encore tenté l’affaire. Cette nouvelle stratégie demande une préparation non négligeable : le navigateur TOR doit être préalablement configuré pour être utilisé par un script externe.

Bonjour Google Scholar ! Je suis une IP polonaise et dans deux secondes je deviens une IP argentine…
Bonjour Google Scholar ! Je suis une IP polonaise et dans deux secondes je deviens une IP argentine…

Faire de la bibliographie un bien commun

Que conclure de cette petite mésaventure ?

D’abord que Google n’est pas une organisation caritative. L’accès apparemment gratuit ne doit pas induire en erreur : la firme californienne veille jalousement sur son patrimoine numérique. Ses nombreuses activités ne sont peut-être pas immédiatement rentables, mais elles aspirent toutes à une rentabilité à terme. Google Scholar fait typiquement partie de ces opportunités en attente. Avec, l’intégration des mesures quantitatives du web dans les métriques d’évaluation, le tournant numérique des grands éditeurs scientifiques et le développement des réseaux sociaux scientifiques, les diverses statistiques de Scholar (notamment la consultation) prennent de plus en plus de valeur.

Ensuite, les bibliographies scientifiques sont soumises à d’importantes enclosures. Avec le déclin des revues traditionnelles, le modèle économique des industries académiques  se déporte de plus en plus vers l’accès aux données et métadonnées scientifiques. Or, les métadonnées bibliographiques font partie du domaine public de l’information : leur privatisation de facto est totalement illégale. Rien ne devrait empêcher leur libre reprise.

Faute de mieux, Google et Elsevier recourent à un argument qui ne fait guère illusion : l’extraction automatisée risque de casser les serveurs en mobilisant excessivement leur ressources (un programme d’extraction adossé à une bonne connexion internet peut récupérer plusieurs milliers de pages en une minute). C’est un exemple typique du sophisme de l’épouvantail : prendre un exemple extrême pour rejeter la totalité d’une proposition. Il est tout à fait envisageable d’autoriser un usage modéré du data mining (pour un site aussi light que Google Scholar, 100 pages par minute est tout-à-fait supportable : une vidéo de YouTube en haute qualité consomme bien plus de ressource).

Comme le soulignait un collègue blogger en 2009, il serait grand temps de faire de ces ressources bibliographique un bien commun. Certains projets s’y emploient. C’est le cas de Wikidata qui vise à créer des entrées pour la plupart des sources fiables afin de référencer et de vérifier les données dans une approche typiquement wikipédienne. Si je disposais d’un peu plus de temps, je suis presque tenté de pomper une bonne partie de Google Scholar pour le transférer sur Wikidata (une opération-commando de libération du savoir tout-à-fait légale soit dit en passant…).

Enfin, comme pour Gallica, voici une petite évaluation de l’accessibilité de Google Scholar aux projets de data mining (je pourrais presque finir par créer les data mining awards) :

Accessibilité des pages : 0/20. Les choses sont simple : c’est catch me if you can. Sauf à truquer la surveillance de l’ami Google, Google Scholar est complètement inaccessible

Lisibilité des urls : 7/20. Je n’ai pas eu l’occasion d’en parler : les urls sont suffisamment lisibles pour lancer des boucles, mais demeurent un peu cryptiques.

Sémantisation des documents : 5/20 : Les marqueurs HTML sont corrects. Par contre, des indications sont volontairement parcellaires, peut-être pour décourager les tentatives de recueil automatisé.

Statut légal : 0/20. Bien que les métadonnées soient, pour l’essentiel dans le domaine public de l’information (les résumés font peut-être exception), Google interdit complètement l’extraction automatisée.

Note globale : 4. La conception de Google Scholar n’est pas rebutante en soi et permet de monter en peu de temps un programme d’extraction automatisé potable. Seulement, Google ne vous aime pas, et le fait savoir.

Data mining : l’Europe s’oriente vers une exception

L’organisation Statewatch vient de mettre en ligne un document confidentiel de la Commission européenne qui spécifie les principaux scénarios envisagés pour l’évolution du droit de la propriété intellectuelle des pays-membres. J’ai publié hier une présentation générale de ce document sur Rue89. Les perspectives ne sont pas très exaltantes. Au mieux, la Commission recommande une évolution timide (avec l’introduction d’une version allégée du fair use américain). Au pire, elle acte le développement d’une régulation exclusivement marchande, les industries culturelles et les industries du web se réconciliant sur le dos du consommateur et du citoyen…

Il y a pourtant une bonne surprise : le data mining. Pour rappel, le data mining désigne l’ensemble des techniques permettant d’extraire automatiquement des éléments présents dans un document : des textes (on parle alors de text mining), des images (grâce au logiciel de reconnaissances visuels), voire même des vidéos… Cette activité est en plein essor, grâce au développement d’outils d’extraction plus efficaces et plus accessibles. Le projet Text2Genome est ainsi parvenu à compiler plus de 3 millions d’articles scientifiques afin de dresser un état de l’art monumental de l’ensemble des travaux réalisés sur le génome humain. À ma petite échelle, je suis parvenu à récupérer plus de dix ans de chroniques boursières publiées dans le Journal des débats (sans être considérable, cela représente un corpus inhabituellement grand pour les études de la presse quotidienne).

Capture d’écran 2014-04-20 à 15.49.44
Pyllica, ma petite application de data mining développée pour Gallica

Les éditeurs scientifiques tentent de capter cette manne naissante, afin d’en tirer des avantages monétaires directs ou indirects. Elsevier tire ainsi parti de sa position quasi-monopolistique pour écrire sa propre loi sur le data mining, en imposant des contraintes qui servent au mieux ses intérêts économiques et symboliques (obligation de s’inscrire, ce qui permet de récolter des méta-données, tout projet passe par l’API, ce qui permet de pré-définir les catégories d’extraction…).

Le système de licences pour le data-mining préconisé par Springer
Le système de licences pour le data-mining préconisé par Springer

Échaudée par l’échec du processus Licences for Europe, qui préconisait l’élaboration de licences contractuelles sur le modèle du service de data mining d’Elsevier, la Commission européenne semble sérieusement acquise au principe d’une exception : dans ce cadre, le droit d’extraire ne dépendrait plus d’accords contractuels, souvent aléatoires, mais ferait l’objet d’une exception aux diverses protections offertes par le code de la propriété intellectuelle. Deux études récentes auguraient de ce retournement : une synthèse d’avis d’expert réalisée par le juriste britannique Hargreaves, partisan d’un assouplissement du droit des bases de données (et inspirateur de l’exception actuellement discutée au Royaume-Uni) et un rapport du juriste belge Jean-Paul Trialle, dévoilé début avril, qui pointait les limites du droit d’auteur.

Les scénarios les plus crédibles développés dans le document révélé par Statewatch recommandent, avec des variations plus ou moins importantes, d’intégrer le data mining dans une sorte de fair use : a minima, toute extraction à des fins non-commerciales serait autorisée, sans avoir à passer par un accord contractuel.

Un diagnostic équilibré

Avant de passer aux recommandations et aux « scénarios » (je ne peux m’empêcher de penser que les services juridiques de la Commission sont peuplés de cinéphiles…), le document développe une séries d’analyses sur les principaux enjeux d’une modernisation du copyright. L’analyse consacrée au data mining se déploie dans deux textes : une brève synthèse de deux pages (p. 35-36) et une version développée inclue en annexe, mais qui ne reprend pas non plus tous les points de la synthèse (p. 144-149). Pour ceux qui n’ont pas envie de scroller, il est possible de consulter ces extraits dans un autre document publié par Statewatch.

Le diagnostic posé par la synthèse et sa version développée est plutôt juste. Les auteurs soulignent que le data mining constitue une activité d’avenir en raison des importants gains de temps apportés au travail scientifique. Ils reprennent également les arguments stéréotypés en faveur du big data (avec plusieurs centaines de milliards de dollars de croissance en perspective). Pour autant, le data mining reste un trou noir juridique,

D’un point de vue légal, la nouveauté et le caractère évolutif des techniques d’extraction automatisée des textes et des données soulève de nombreuses incertitudes dans de nombreux champs d’applications de la loi (p. 144).

Cette lacune risque d’affecter négativement les recherches scientifiques européennes

Certaines parties prenantes s’inquiètent du retard pris par l’Union Européenne par contraste avec d’autres régions du monde ou l’extraction automatisée des textes et des données est devenu une pratique commune dans la recherche scientifique (p. 35)

Par contraste avec le processus Licences for Europe, la présentation des enjeux n’est pas unilatérale au profit des seuls éditeurs. Le point de vue des chercheurs et des bibliothécaire est correctement exposé. Le texte fait état du questionnement sur le lien irréductible entre droit de lire et droit d’extraire :

Dans ce contexte, chercheurs et institutions scientifiques (telles que les bibliothèques universitaires) considèrent que, tant qu’elles ont accès légalement à un contenu numérique, le droit de lire ce contenu devrait automatiquement entraîner le droit de l’extraire (p. 147).

Le texte décrit également en détail le point de vue des multinationales de l’édition scientifique. Il s’étend en particulier sur deux arguments-massue des éditeurs : la nécessité de préserver la sécurité et la stabilité des plate-forme (p. 148)) ; le risque d’une dissémination accrue de contenus protégés ( p. 149). Il est intéressant de voir que la défense des éditeurs repose sur un brouillage entre les droits d’auteurs et des enjeux totalement externes. La sécurité des infrastructures n’est absolument pas incompatible avec une politique progressive en matière de data mining. Par exemple, Wikipédia autorise toute forme d’extraction sous réserve de ne pas dépasser un nombre de requêtes plafonné (si mes souvenirs sont bons, cela tourne autour de plusieurs milliers de requêtes par heure). Et la création de dérivés est déjà permise au nom du domaine public de l’information (des données et métadonnées des articles de recherche sont déjà très largement disséminées sur Google Scholar, entre autres).

Le texte mentionne également un élément intéressant dont je n’avais pas connaissance, et qui alarme beaucoup les éditeurs : le développement d’un data mining pirate (on parle aussi de grey market), qui aurait pris de l’ampleur depuis plusieurs années (p. 148). J’imagine que certains chercheurs ayant d’excellentes compétences en programmation web n’hésitent pas à hacker les plate-forme existantes (le regretté Aaron Swartz avait montré la voie…). En l’occurrence, cet argument se retourne tout seul : les vrais hackers auront toujours un train d’avance sur les plate-forme des éditeurs ; par contre la très grande majorité des chercheurs sont coincés face à un trou noir juridique.

Ce diagnostic ne débouche pas sur une résolution claire. Néanmoins, par rapport au processus Licences for Europe, la position des éditeurs a été clairement fragilisée. Les recommandations exposées dans les différents « scénarios » de la commission iront plus loin encore…

Trois scénarios pour une exception

Le document de la Commission expose cinq scénarios distincts (en comptant les deux variantes du scénario n°3) en vue d’une modernisation de la législation sur la propriété intellectuelle en Europe. Je ne vais pas m’intéresser ici aux scénarios ne comprenant pas de dispositions explicites sur le data mining : le scénario n°1 recommande de ne rien changer, le scénario n°4 préconise de créer un code de la propriété intellectuelle européen sans ne rien dévoiler de son contenu éventuel. Reste donc le scénario n°2, le scénario n°3(a) et le scénario n°3(b).

En apparence, le scénario n°2 n’est pas du tout favorable à une exception. Il se présente comme un « soutien pour les initiatives du marché ». En clair, il s’agit de redéfinir les règles de la propriété intellectuelle directement avec les industries culturelles et les industries web (la société civile passant totalement à la trappe). On pourrait ainsi s’attendre à ce que les licences contractuelles promues dans le processus Licences for Europe soient directement reprises. Et là, ô surprise… le principe de l’exception n’est pas évacué.

La Commission développerait des recommandations à l’attention des États-membres afin de clarifier dans quelle mesure les activités et les techniques d’extraction automatisée sont couvert (ou non) par le droit de la propriété intellectuelle et dans quelle mesure ils s’insèrent dans le cadre des exceptions existantes pour les usages à des fins de recherche (en particulier en regard de la directive sur la société de l’information et de la directive sur le droit des bases de données). La Commission encouragerait l’implantation maximale, par les États-membres des limitations existantes pour la recherche scientifique à des fins commerciales (p. 54).

Cette disposition reste floue et utilise fréquemment le conditionnel. Les éditeurs pourraient certainement tirer partie de la faiblesse de ces recommandations pour imposer leurs propres usages. Néanmoins, il faut garder à l’esprit qu’il s’agit du pire scénario possible : même dans cette éventualité, la Commission promeut une interprétation aussi généreuse que possible des usages non-commerciaux tels que définis dans la Directive sur la société de l’information et qui ont toujours été intégrés a minima dans les législations nationales. Pour mémoire, l’article 5(3)(a) de cette directive était ainsi conçu :

[Les États membres peuvent prévoir des exceptions] lorsqu’il s’agit d’une utilisation à des fins exclusives d’illustration dans le cadre de l’enseignement ou de la recherche scientifique, sous réserve d’indiquer, à moins que cela ne s’avère impossible, la source, y compris le nom de l’auteur, dans la mesure justifiée par le but non commercial poursuivi.

Les scénarios n°3(a) et n°3(b) présentent un point commun : l’intervention législative (ce qui, concrètement, revient à introduire des exceptions). Seulement, le 3(b) va plus loin que le 3(a) en terme d’assouplissement des dispositions de la propriété intellectuelle. En p. 62-63 on trouve un résumé rapide de leurs implications pour le data mining.

Le scénario (a) s’apparente à un fair dealing sur le modèle de la disposition envisagée par le Royaume-Uni : la mise en place d’une exception pour le data mining serait obligatoire pour l’ensemble des pays européens ; n’importe qui peut extraire un contenu sous réserve d’y avoir accès (ce qui revient à lier indissolublement droit de lire et droit d’extraction) ; seuls les projets/initiatives non commerciales relèvent de cette exception (sans doute le point le plus problématique en raison de l’imprécision du « non-commercial » : les articles de recherche, édités dans des revues, peuvent sans doute intégrer cette définition). Les licences contractuelles ne peuvent se substituer à l’exception : « les arrangements contractuels permettant l’accès légal au contenu (i. e. un abonnement) ne devraient pas outrepasser l’exception » (p. 62).

Le scénario (b) reprend tous les termes du scénario (a) et les élargit pour admettre des usages commerciaux sous réserves que les réutilisateurs ne soient pas en concurrence avec les ayants-droits ou les détenteurs du service d’accès (« tant que les usages permis n’entrent pas en concurrence avec le contenu ou le service originel » (p. 62)).

Plus loin, le texte tente de définir les impacts de chaque scénario. L’évaluation du scénario n°2 ne mentionne pas le cas particulier du data mining. Néanmoins, la Commission n’est pas totalement convaincue par la démarche générale (recommandations non contraignantes visant à s’adapter au mieux à la situation du marché). Le scénario n°2 n’aurait qu’un « impact modéré » et ne parviendrait pas unifier les dispositions des États-membres (p. 71-72).

Le scénario 3(a) est jugé plutôt équilibré : « La recherche et l’innovation bénéficieraient d’une sécurité juridique qui prendrait la forme d’une exception pour le data mining. » (p. 67).

Inversement, le scénario 3(b) est assez sévèrement critiqué :

Même si, dans certains cas, la distinction entre un usage commercial et un usage non-commercial s’avère problématique, l’introduction d’une exception couvrant aussi bien le data mining non-commercial que commercial (même en spécifiant que les usages ne doivent pas entrer en concurrence avec le contenu ou le service originel) ne semble justifié par aucune défaillance du marché, étant donné l’existence d’un marché efficient de licences de data mining entre les éditeurs et les utilisateurs commerciaux, tels que le secteur pharmaceutique. (p. 68-69)

Le texte souligne cependant que tout n’est pas perdu pour les ayant-droit et les détenteurs de service d’accès :

En même temps, [le scénario 3(b)] peut encourager le développement de nouveaux modèles économiques, permettant aux détenteurs des droits de trouver de nouvelles sources de financement.(p. 69).

Les raisons d’un revirement

Par-delà les timidités ou les réticences de la Commission (qui se montre notamment assez rigide sur les usages non-commerciaux), il est assez fascinant de voir à quel point le discours a changé en un an. En avril 2013, le processus Licences for Europe rejetait d’emblée toute solution non contractuelle : faute de parvenir à quoi que ce soit, des associations comme le LIBER (association des bibliothèques européennes) ou l’OKFN avaient été contraintes de claquer la porte.

[nous quittons] un processus de décision dont le résultat est déjà pré-déterminé : l’ajout de nouvelles licences serait la seule solution envisageable aux multiples écueils rencontrés dès lors que l’on souhaite extraire automatiquement les données d’un contenu auquel l’on a déjà accès.

Depuis la situation s’est presque inversée. Les éditeurs et leurs licences contractuelles sont sur la défensive. Ils peuvent au mieux espérer que l’exception restera suffisamment floue pour ne pas empiéter sur leurs licences contractuelles.

Qu’est-ce qui a pu motiver un tel changement ? Plusieurs variables ont joué, sans doute, mais la plus importante figure en introduction de l’analyse développée par la commission : la peur du déclassement. Grâce à la souplesse du « fair use », les États-Unis se sont aisément adapté à ces pratiques émergentes. Le dernier procès contre Google Books met en évidence que, pour la justice américaine, le data mining n’est pas un trou noir juridique. En sécurisant une pratique appelée à jouer un rôle considérable dans la recherche scientifique et au-delà, les américains se dotent d’un avantage décisif sur les européens. Les anglais ne s’y sont pas trompés et devraient bientôt voter une exception assez proche du scénario n°3(a) prévu par l’Union Européenne.

La géopolitique a peut-être finalement eu raison des réticences politiques…

Peut-on faire du data mining sur Gallica ?

La reconnaissance d’une exception au data mining s’accélère depuis quelques mois. De plus en plus, l’extraction automatisée des textes, des données et des images semble indissociable du droit de lire.

L’échec du processus du Licences for Europe a, du moins pour un temps, signé l’échec de la tentative de « féodalisation » du droit par les éditeurs scientifiques : ceux-ci ne sont pas parvenus à imposer le principe de licences contractuelles d’accès à leurs corpus éditoriaux. La commission européenne multiplie les signes de revirement. Un rapport a été commandé au juriste britannique Hargreaves, partisan d’un assouplissement du droit des bases de données. Un autre rapport du juriste belge Jean-Paul Trialle, dévoilé début avril, allait dans le même sens.

Les États européens redoutent de se faire distancer par les États-Unis, où la législation, plus flexible, s’est mieux adaptée à la généralisation des pratiques d’extraction. Le dernier jugement rendu dans le cadre du procès Google Books a globalement acté l’idée que le data mining à des fins scientifiques ou pédagogiques rentrait dans le périmètre du fair use.

À la fin mars, le Royaume-Uni a officiellement adopté une exception qui reprend pour l’essentiel les propositions de Hargreaves (je vous invite à lire l’excellente synthèse de Lionel Maurel sur cette évolution en demi-teinte). La France s’interroge également. Le Conseil Supérieur de la Propriété Littéraire et Artistique va prochainement publier un rapport sur le sujet. Il intègrera notamment une synthèse du collectif Savoirscom1, que j’ai rédigé avec Lionel Maurel. L’affaire Elsevier a également contribué à susciter un débat public : l’ABDU et le consortium Couperin ont récemment dénoncé les méfaits d’un data mining contractualisé (sans pour autant remettre en cause l’accord avec Elsevier).

Des nouveaux outils commencent également à émerger pour tenir compte de ces nouveaux usages. Destiné à être opérationnel en 2015, Europeana Newspapers intègrera une reconnaissance sémantique des différents articles de la presse ancienne.

En attendant… c’est bien compliqué. Je me suis mis en quête d’extraire automatiquement une série de textes hébergés sur Gallica : des chroniques boursières publiées dans le Journal des débats. Aux incertitudes légales s’ajoutent des complications techniques pas forcément justifiées.

Data mining en milieu inhospitalier…

La politique légale de la BNF est très ambiguë. Mes collègues de Wikisource en savent quelque chose : la BNF interdit officiellement certains usages, mais les tolèrent de facto…

Les œuvres et les créations passées dans le domaine public sont publiés sous une licence non-commerciale dans Gallica. Cette protection indue constitue un exemple typique de copyfraud : la BNF improvise des restrictions totalement contraires à la définition usuelle du domaine public dans la jurisprudence française. Et le pire reste à venir : les contrats proquest accordent une exclusivité complète d’utilisations de fichiers dans le domaine public à un acteur privé.

Or, Wikisource réutilise très largement des fichiers de Gallica, sans reprendre la licence non-commerciale : les œuvres sont republiées sous le statut général du domaine public. À ma connaissance, la BNF ne s’est jamais plainte de ce détournement évident de leurs conditions d’utilisation. Elle encourage en fait ces reprises, qui contribuent à enrichir le patrimoine intellectuel francophone. La communauté ne se contente pas de reproduire : elle enrichit les documents originels en créant une version textuelle corrigée manuellement (nul OCR n’est parfait).

Le data mining soulève des problématiques similaires. Les conditions d’utilisation de Gallica brassent large : « La réutilisation commerciale de ces contenus est payante et fait l’objet d’une licence. Est entendue par réutilisation commerciale la revente de contenus sous forme de produits élaborés ou de fourniture de service.» Elles ne s’appliquent pas seulement à des œuvres mais à l’ensemble des contenus (données, images, etc.). La réutilisation commerciale ne porte pas seulement sur la revente effective mais aussi sur la fourniture de service. Il n’est pas exclu que je sois payé par un projet de recherche pour faire du data mining sur Gallica : ce cas de figure s’apparenterait pleinement à une fourniture de service.

Ces contraintes légales sont renforcées et prolongées par des contraintes techniques. Gallica n’offre aucun service pour récupérer automatiquement les documents ou leur transcription OCR. Les fichiers PDF ne sont pas disponibles sur le web : l’on doit les « commander » via un protocole FTP. Cette contrainte technique vise à empêcher le moissonnage. La direction de la BNF redoute une absorption par un géant du web (Google en l’occurrence) : tout ce qui prévient la reprise automatisée du corpus bibliographique est bon à prendre, même si cela limite forcément les usages (tout téléchargement prend une à deux minutes, le temps de sélectionner les boutons, de cocher les cases et de cibler le document à enregistrer dans le bon dossier).

Les principales étapes de la récupération d'un fichier sur Gallica
Les principales étapes de la récupération d’un fichier sur Gallica 

Le site paraît ainsi un peu inhospitalier. Pas suffisamment toutefois pour décourager un chercheur un peu hacker… Il existe des trappes secrètes et des chemins de traverses : les documents sur Gallica sont accessibles sous plusieurs modes. Deux modes en particulier se prêtent à une extraction automatisée, le mode texte et le mode zoom.

Extraction des textes : l’application Pyllica et ses limites…

Comme son nom l’indique, le mode texte publie une version textuelle du fichier. L’OCR de Gallica génère des résultats convenables. Il reconnaît les colonnes de texte (ce qui est impératif pour travailler sur la presse). Lorsque la copie est bonne, le taux d’erreur demeure convenable (en général un mot mal lu sur vingt). Comme nous aspirons à faire du data mining à grande échelle, cette petite part d’inexactitude n’a pratiquement aucune incidence.

À cette fin, j’ai écrit une petite application en python disponible sur Github, Pyllica (eh oui, je le concède, mon branding n’a rien de bien original).

Capture d’écran 2014-04-20 à 15.49.44
Présentation de l’application Pyllica.

Pyllica, donc, aspire les versions textuelles des document de Gallica et les transforme en fichiers bien proprets et proprement nommés. Il existe une fonction générique pour les documents standards, textbook. Je vais plutôt m’appesantir ici sur la fonction dédiée à la récupération des journaux, textpress. Elle intègre plusieurs paramètres permettant d’obtenir des séries d’exemplaires personnalisées de n’importe quel titre.

Les paramètres de la fonction textpress.
Les paramètres de la fonction textpress.

Les fonctions temporelles s’appuient sur la navigation par calendrier mise en place par Gallica. Elles définissent une date de départ, l’écart en nombre de jours entre chaque exemplaire recherché, et le nombre d’exemplaires au total. Cet écart est tout particulièrement utile lorsque l’on s’intéresse à des rubriques, des chroniques ou des séries d’articles publiant sur une base temporelle prédéterminées. En l’occurrence, je m’intéresse à la chronique boursière hebdomadaire du Journal des débats. Il me suffit maintenant de définir un écart de 7 pour obtenir l’ensemble des exemplaires du lundi, date de parution de la chronique.

Résultat de l'opération : tous les exemplaires du lundi du Journal des débats de 1862
Résultat de l’opération : tous les exemplaires du lundi du Journal des débats de 1862

Les fonctions éditoriales intègrent notamment l’échantillon de pages de recherchées (par exemple, de la page 3 à la page 4) et des séparateurs. Les rubriques ne sont en effet pas distinguées dans la version textuelles : nous n’obtenons qu’un long filet de texte. Sauf à étudier une page entière, aucune analyse quantitative ne serait envisageable dans ce cadre. L’un de mes projets à terme consisterait à compiler les principaux séparateurs des principales rubriques des principaux quotidiens français : par exemple « REVUE DE LA SEMAINE. » constitue le meilleur séparateur possible pour distinguer le début de la chronique boursière dans le Journal des débats au milieu du XIXe siècle (je n’ai jamais eu un seul faux positif). Pour la fin de la rubrique j’ai opté pour le nom de la rubrique disposées juste après (le « BULLETIN AGRICOLE ») : le nom du chroniqueur « Jules Paton », ne survit pas très bien à la transcription OCR. Parmi les fonctions éditoriales, j’ai aussi ajouté quelques expressions régulières, destinés à clarifier le texte (retraits des traits d’union disposés à la fin d’une ligne).

La chronique boursière du 23 janvier 1860, mise en forme par quelques regex…
La chronique boursière du 23 janvier 1860, proprement délimitée et mise en forme par quelques regex…

Bref, tout est pour le mieux… sauf que non. La version textuelle ne reconnaît pas l’un des composants fondamentaux de la presse française du XIXe siècle : le feuilleton. Le feuilleton apparaît pendant le directoire, comme un moyen de contourner une nouvelle taxe sur les suppléments de presse (en fait une forme de censure plus ou moins déguisée). Il s’agit d’un supplément greffé à la surface du journal et disposant de sa propre structure rédactionnelle. Le feuilleton constitue un laboratoire éditorial où émergent de nombreuses formes journalistiques : le roman-feuilleton, les publicités, la critique littéraire, les cours de la bourse…

Un exemple emblématique du roman-feuilleton : le premier épisode des Trois Mousquetaires dans le Siècle du 14 mars 1844.
Un exemple emblématique du roman-feuilleton : le premier épisode des Trois Mousquetaires dans le Siècle du 14 mars 1844.

Le feuilleton est bien dessiné sur les journaux : une épaisse bande noire le sépare de la partie haute. L’objet est facilement lisible pour un humain, mais aussi par une machine. On aurait pu espérer que l’OCR de Gallica spécifie le début et la fin du feuilleton par un signe quelconque. On ne trouve rien de tel. Ma chronique boursière en vient ainsi à intégrer une masse textuelle qui ne devrait pas s’y trouver.

La chronique boursière du 15 février 1864 contaminée par les publicités et les annonces
La chronique boursière du 15 février 1864 contaminée par les publicités et les annonces

À ma connaissance, il n’y a aucun moyen de discriminer ces indésirables en recourant à des expressions régulières ou à des analyses probabilistes de vocabulaire : le texte présent dans le feuilleton est trop proche de la chronique (il comprend notamment des publicités pour des émissions boursières).

Extraction des images : l’art du temps long

Nous voici donc ramené à notre point de départ : pour faire du bon data mining des documents journalistiques de Gallica, nous devons disposer des fichiers originels, et non simplement de la version OCRisée. Le téléchargement par des voies usuelles est exclu. J’avais tenté il y a quelques mois de truquer le processus de « commande » personnalisé des PDFs, en créant une série de requêtes automatisée pour actionner les boutons et cocher les cases. Le trucage s’est avéré finalement trop complexe pour mes compétences de programmeur amateur…

Un wikipédien m’avait mis sur une autre piste il y a quelques années. Gallica comporte un mode zoom qui permet de consulter un texte avec la plus haute résolution possible (ce qui est tout bonnement indispensable pour un corpus de presse). Pour d’évidentes raisons d’ergonomie, la version zoomée ne constitue pas une image unique, mais une collection d’images. Ainsi lorsque le lecteur consulte une portion du texte, le serveur n’est pas contraint d’afficher un scan bien lourd (il faut compter 20 à 40 millions de pixels pour une page de journal). Il se contente d’afficher suffisamment d’images au format 256×256 pour remplir la fenêtre d’un navigateur.

Les carrés magiques cachés de Gallica
Les carrés magiques cachés de Gallica

Curieusement, alors que les pdf sont bien cachés derrière un protocole FTP, les images composant la version affichées en ligne sont directement accessibles en ligne. L’url est, de plus, assez commode : elle agrège toutes les informations indispensables à connaître (coordonnées de l’image, niveau de zoom…).

Un combo de quelques bibliothèques python (urllib pour le téléchargement, PIL pour la gestion des images) permet de télécharger l’ensemble des images et de les recoller dans un document unique. La réalisation de ce puzzle nécessite de connaître les coordonnées finales du fichier : la presse au XIXe siècle évoluait vers des pages d’ampleur croissante et des textes de plus en plus condensés, ce qui amène Gallica à créer des fichiers de plus en plus lourds. Par exemple, la résolution du Journal des débats est de 3840/2304 px en 1815. En 1845, l’aire couverte a quadruplé en passant à 6400/4864 px.

Le journal des débats de 1815 et de 1845 à résolution égale
Le journal des débats de 1815 et de 1845 à résolution égale

Cette contrainte peut être contournée en créant une base de données des coordonnées finales, voire en récupérant directement cette information avec un scraper (il suffit de repérer la dernière balise img, quelque chose tout à fait à la portée de beautiful soup…).

Il y a encore un souci de taille : le temps. Urllib n’est pas performant : le téléchargement d’une seule page d’un exemplaire des débats de 1845 prend près de 10 minutes. J’ai tenté de recourir à une bibliothèque mieux réputée, Requests, sans beaucoup de succès. Requests s’en sort peut-être mieux avec l’ouverture des pages web, mais il peine avec les images.

Pour deux pages l’ensemble du processus (qui comprend aussi la transcription OCR avec pytesser et diverses opérations de clarifications avec expressions régulières) dure jusqu’à une demi-heure, ce qui est franchement déraisonnable. L’image mining redevient praticable si l’on se focalise sur de petites portions du texte journalistique. Certains rubriques reviennent à une place récurrente : il est possible de délimiter leurs coordonnées dans le référentiel de 256/256 images. J’ai ainsi pu extraire l’image suivante en moins de 30 secondes :

Une portion d'image extraite du Journal des Débats du 6 mars 1845
Une portion d’image extraite du Journal des Débats du 6 mars 1845

La piste de l’image mining reste ainsi envisageable pour de courtes rubriques solidement amarrées à un lieu précis du journal. Ce n’est pas le cas de ma chronique boursière qui passe son temps à gigoter entre la page trois et la page quatre : dans le jargon de l’époque, on dirait qu’elle appartient au « ventre mou » du journal, cette partie insaisissable qui évolue au gré de la matière disponible ou des opportunités du jour (scoop, etc.).

Expérimentations, conclusions, évaluations…

Fort de toutes ces expérimentations… je me suis résigné à retirer manuellement les morceaux de feuilletons qui s’étaient glissés au milieu de mes chroniques boursières. Dans son ensemble, le processus reste rentable. Il me faut environ une heure pour récupérer une année de chroniques bien formatées, ce qui comprend dix minutes d’extraction automatisée… et 50 minutes de corrections manuelles.

J’en retire également une conviction : la numérisation n’est qu’un début. En l’absence d’applications permettant l’extraction et la sémantisation, les images ou les textes n’offrent qu’un intérêt limité pour la recherche. Tant que les bibliothèques digitales verront l’extraction automatisée au mieux comme un phénomène marginal, au pire comme une menace, leurs corpus, souvent immenses, resteront sous-exploités.

Notons tout de même Gallica n’est pas le plus mauvais élève en la matière. Les éditeurs scientifiques font bien pire (Elsevier au premier chef, qui va jusqu’à définir sa propre loi sur le data mining au mépris des usages et des règles déjà existantes). Et Google Books ne perd sans doute rien pour attendre.

Et pour finir, voici une petite tentative d’évaluation en mode jeuxvideo.com (en bon chercheur hacker j’ai un petit penchant pour les références geeks…).

Accessibilité des fichiers : 3/20. Les fichiers PDF sont uniquement accessibles depuis un protocole FTP et en peuvent être récupérés automatiquement (sauf peut-être pour un programmeur expérimenté…). Les textes sont faciles à reprendre avec un petit script de scraping élémentaires. Les images peuvent être reconstituées en compilant les morceaux de 256/256 pixels. Bref, en faisant un peu de bidouille on parvient à quelque chose, mais rien n’est fait pour faciliter la vie.

Lisibilité des urls : 17/20. Les urls sont très précises et comportent presque toutes les informations souhaitées (date des journaux, pages, mode de lecture, etc.)

Sémantisation des documents : 1/20 : L’OCR reconnaît les colonnes. Et voilà tout… Europeana Newspaper promet de faire bien mieux, mais cela ne devrait porter que sur un corpus assez limité (18 titres au total sur les centaines de Gallica).

Métadonnées et données associées : 18/20. Les documents sont très bien renseignées. Et Gallica a récemment ouvert l’ensemble de ces riches métadonnées.

Statut légal : 1/20. Toute réutilisation implique une licence non commerciale, même si Gallica ne se démène pas pour l’appliquer. WIkisource ne se soucie aucunement de ces contraintes légales byzantines. Une institution scientifique n’aura sans doute pas la même audace.

Note globale : 8. Quelques aspects positifs (les urls, les métadonnées) ne parviennent pas à compenser des déficiences fondamentales (pas d’accès simple aux fichiers, ni de sémantisation préalable) ou un statut légal inapproprié.

French National Agreement with Elsevier: Why We Should not Sign

This is a free translation of a previous french publication: Faut-il signer l’accord d’Elsevier? I’ve put it in the public domain: feel free to share.

France is on the verge of signing a national agreement with Elsevier. The forthcoming deal has been announced a week ago by the main negotiator on the French side, Couperin, a consortium of public and research libraries. The announcement is short on details: the global price of the 5-years national subscription has not been communicated.

Yet, a much deeper account has been leaked. Considering the information to be of public interest, a librarian, Daniel Bourrion, published this comprehensive document… before being force to withdraw it by his administration. Nothing really disappear on the Internet : the document soon reappeared on my blog and has, since then, been extensively disseminated. It appears the whole deal is to cost 190 millions. A disturbing amount as French Universities are going into dire economic troubles.

Couperin claims the deal is quite favorable. While subscription prices have been continuously increasing for the past 30 years, they were actually lowered: « On the five years, the mean annual prices paid by all the parties concerned will be inferior to the 2013 cost ».

Not only is the new agreement less expensive, but it would also include several significant enhancements. The number of partnered institutions goes from 147 to over 600. Data mining is no longer submitted to the law of the jungle, but to a global legal framework.

All theses points appear quite convincing. They have not shaken my intimate conviction: this agreement should not be signed.

Nurturing a speculative monopole with public funds

Elsevier is no ordinary publisher. This international group listed in three stock exchanges draws colossal margins. In 2010, its overall profits exceeded one third of its revenue: 720 millions v. 2 billions. It is the outspoken leader of the scientific edition: the revenue of its three main competitors (Springer, Wiley and Informa) equals half its revenue.

2010 figures stated by Mike Taylor
2010 figures stated by Mike Taylor

How to account for such a success? Beyond the assumed quality of Elsevier services, the company commercial strategy is effectively reinforced by a worldwide manipulation of scientific institutions. Elsevier’s Deputy Director of Universal Sustainable Research Access, David Tempest, has recently disclosed a staggering justification of the confidentiality of Elsevier’s agreements.

indeed there are confidentiality clauses inherent in the system, in our Freedom Collections. The Freedom Collections do give a lot of choice and there is a lot of discount in there to the librarians. And the use, and the cost per use has been dropping dramatically, year on year. And so we have to ensure that, in order to have fair competition between different countries, that we have this level of confidentiality to make that work. Otherwise everybody would drive down, drive down, drive drive drive, and that would mean that…

This horrible system, where institutions are free to get commercial information, drive down prices and opt for the more interesting offers has a name: free trade. Elsevier’s monopoly depends solely on the continuous ignorance of its costumers. In a well-balanced market, its business would get into serious trouble. And all of this is done at this expense of taxpayers’ money.

What is Elsevier selling?

Elsevier publications are indirectly subsidized by public funds. Scholar are to publish, preferably in acknowledged journals in order to get grants and career advancements. Writing and evaluating an academic paper requires a lot of time: this significant investment is ultimately paid by scientific institution, which frequently happened to be public institution.

What brings Elsevier to all this? Not much. The effective production cost of publications has become quite marginal, if not nullified, with the replacement of printing editions by electronic editions.

The world leader of scientific publishing looks more and more like a cultural industry: it does no trade in commodities, it trades in fetishes. The name of a prestigious journal gathers the same level of symbolic attention than a drawing of Mickey Mouse. It is deeply anchored in the daily life and representations of one or several scientific communities. Although the journal, once bought by Elsevier, has a quite different editorial and social structure than the one that ensures its preeminence, its aura remains. The metrics tends to perpetuate the aura. The more the publication is quoted, the higher goes the impact factor; the higher the impact factor is, the more attention the publication will draw from esteemed researchers.

Open access has not fundamentally altered this vicious mechanism. Following the example of Springer, Elsevier has begun to adopt the author fees model: a researcher buys (generally through its institution), a right to publish ; its work would therefore be freely accessible online. This model reinforces the fetishist trend of the scientific publishing market. Elsevier does not even have to make believe that it sells a commodity: it explicitly claims to monetize some symbolic recognition.

In an open access world, the value has not only been displaced toward the journal names star-system. Elsevier has also invested a lot in additional services: bibliometric database like Scopus or ScienceDirect and an API allowing text and data mining of the whole Elsevier corpus. Both these services are not so good. Scorpus includes numerous shortcomings: updating is insufficient, bibliographic data are sometimes inconsistent, only a fraction of scientific publications are taken into accounts (conference are completely overlooked). The new data mining license creates a very unworkable framework for data analysis: use of the API is mandatory (robots are forbidden on the Elsevier usual websites), queries are limited to 10 000 per week and cannot exceed 200 characters. This prevents a lot of projects: chemical names are often longer than 200 characters. Finally the license goes against one of the core principle of intellectual property: informational public domain. Elsevier claims some property rights on its published information: all the outcome of the data mining project has to be published with a non commercial license, regardless be it an extensive quotations or a mere information.

What makes additional services especially interesting is that they bring some new currency in the evergreen Elsevier economy: metadata. Consultations statistics, forms to get a right to read or a right to data mine feed a gigantic log of scientific activities. From careers evolution to institutions structure, through research projects duration and topic et bibliographic queries, Elsevier knows it all. This wide profiling can be sold to partners or directly used by Elsevier marketing strategy. The publishers accomplishes a radical transformation that brings it closer to the new web industries, like Facebook or Google.

This Elseverian imperialism is not a fatality. The « fetishist » trends of scientific activities were quite acceptable 20 years ago. Days are only 24-hours long: it was clearly more advisable to limit its reader’s horizon to some trustworthy journals. Digital networks have partly remove this limitation. The growing accessibility of publications and the development of annotation tools have enhanced our reading capabilities. And trustworthiness does no longer solely depends on the prestige of a journal.

For instance, the research community surrounding Wikipedia (the « Wiki Studies ») have developed an innovative ecosystem allowing for the horizontal exchange, diffusion and legitimation of publications. Works are evaluated and publicized through a collectively written newsletter, the Wikimedia Research Newsletter. They are archived and classified in two community-driven databases, Wikipapers and Wikilit. In such a context, the editorial frame has lost much of its aura. Preprints gets more disseminated than official versions, as they can be effectively evaluated by the research community.

Do we still need it?

The fundamental shift happened sometime in 2011. According to a study funded by the European Union, since that year more than half of all academic publications have been freely available online.

This evaluation is low. It takes only into account the « official open access » (that is, done with the approval of all the interested parties: publisher, authors…). Yet, there is also a much more significant « dark open access »: researchers putting previous publications online without the agreement of the publisher, or pure illegal copies, without even the consent of the authors. Personally, I always succeed in finding 9 publications out of 10, and my research field is not too open access friendly (mostly social sciences: history, media studies, economics…).

For recent publications, the Elsevier subscription appears quite unnecessary. Besides the agreement is to last five years. By the next few years, most of Elsevier publications are likely to goes into the « official open access ». What’s the use of acquiring a set of free works for 190 millions?

For older publications, the issue is more tricky, as open access is not retroactive. An efficient solution would imply a modification of the French intellectual property code: creating a fair use. Publications already made profitable could be copied for scientific and pedagogic ends (that’s about the exact terms of the US fair use). Scientific institution could digitize older Elsevier journals and create a new bibliometric database. 190 millions would be much more than enough to fund all this process, and this would be a one-shot investment: once Elsevier’s corpus is recreated, taxpayers will never have to fund it again.

France would probably not be the only european country to rebuke Elsevier. Germany and the United Kingdom have already initiated bolder open access policies. A german law passed last year allows, under some conditions, every researcher to disseminate its work 12 months after its initial publication, regardless of the rights of the publisher. The digitization of Elsevier’s corpus could even be an european project.

The importance of being open

The possibilities are numerous: these few ideas do claim to act as a definite solution to the Elsevier problem. The negotiation between Couperin, the Ministry of Research and Elsevier does not seem to have really taken into account this wide set of alternatives. This is hardly surprising. As a popular French saying puts it: « there’s more ideas in two heads than in one ». The negotiation was limited to some heads, whereas it involved a lot of people: researchers, librarians and, more widely, French citizens who will pay the final bill.

An open negotiation would have been quite beneficial. The shortcomings of the deal would have been clearly exposed: the true value of Elsevier’s publications, the efficiency of the additional services, the problematic data mining legal terms…

Instead we are getting to a really weird situation. Hundred of millions of euros will be invested in a deal with an opaque company, delivering a devaluated corpus and questionable services. Meanwhile, French research faces hard austerity measures, that drives some university to bankruptcy

Data Mining : quand Elsevier écrit sa propre loi…

Le leader mondial incontesté de l’édition scientifique, Elsevier s’engage en faveur d’une simplification du data mining. De nouvelles conditions d’accès, dévoilées le mois dernier, vont grandement simplifier l’accès à l’un des principaux corpus de publications scientifiques. D’autres éditeurs devraient prochainement adopter un modèle similaire. C’est notamment le cas du principal concurrent d’Elsevier, Springer.

En apparence ce pourrait être une bonne nouvelle. La recension de Nature met ainsi en évidence l’engouement de certains chercheurs. Max Hauessler, l’instigateur d’un immense projet d’extraction des articles scientifiques sur le génome humain, a salué l’initiative : « Finalement, tout ceci montre qu’il n’y a plus aucune raison d’être effrayé par le text-mining ». Les membres du Human Brain Project (le projet européen d’étude du cerveau humain, doté d’un budget d’un milliard d’euros) semblent également emballés par l’affaire : « Nous sommes enchanté par tout ceci. Cela résout d’importantes questions techniques ».

En France, le consortium Couperin vient de conclure un accord avec Elsevier, qui comprend une clause spécifique sur le data mining :

Tous les contenus accessibles et souscrits sur ScienceDirect dans le cadre de cet accord seront utilisables à des fins de data et text mining via une interrogation des données par une API connectée à la plateforme ScienceDirect. Les modalités appliquées seront celle du cadre juridique défini par Elsevier pour ce type de service.

Selon les termes de l’accord, plus de 600 établissements publics français pourront accéder au corpus Elsevier. Ce qui constitue autant de point d’accès pour faire du data-mining à une vaste échelle.

Alors, une bonne nouvelle ? En apparence seulement… Le choc de simplification d’Elsevier n’a qu’un mérite : il met fin à une situation relativement chaotique où, faute de cadre légal défini, les chercheurs passaient plus de temps à négocier avec les éditeurs qu’à extraire et analyser le corpus. Pour le reste, tout est mauvais…

API obligatoire…

Les termes de la licence sont profondément inadaptés. Elsevier oblige tout-le-monde à passer par son API. Les robots et les algorithmes de recueil automatiques ne peuvent accéder au site lui-même afin de « garantir la performance et la disponibilité du site pour tous les usagers ». Ce prétexte ne saurait légitimer une interdiction complète. Seul l’usage excessif de requêtes automatisées peut entraîner une baisse de performance du site — raison pour laquelle Wikipédia plafonne les requêtes sur sa base de données (je n’ai plus les chiffres en tête, mais cela devait tourner autour de quelques milliers de requêtes par heure par utilisateur).

L’API n’est obligatoire que parce que Elsevier tient à contrôler directement les termes et les modalités de la recherche. Pour reprendre la terminologie introduite par la thèse (en cours…) de Samuel Goyet, l’API s’apparente étroitement à un texte de loi : elle détermine par avance les commandes qu’il est possible de réaliser.

Les requêtes à l’API sont elles-mêmes plafonnées à 10 000 articles par semaine. Pour un projet ambitieux, c’est peu. En réutilisant ce système pour analyser 3 millions d’articles, Text2Genome y aurait passé près de 300 semaines, soit 6 ans. Et en plus, il lui aurait fallu découper son corpus en rondelle, sans avoir la possibilité de faire une requête unique à l’ensemble du corpus.

Le passage par l’API limite considérablement les possibilités d’analyse. Il est nécessaire de passer par le réseau Internet. Là où une simple base de donnée MySQL permet de survoler plusieurs millions d’entrées en quelques dizaines de seconde, le recours à l’API génère des délais d’attente bien plus longs, dépendant qui plus est des aléas de la connexion (le wifi parfait, ça n’existe pas…).

Vers une privatisation de l’information

L’emprise d’Elsevier ne s’arrête pas là. L’éditeur ne cherche pas seulement à contrôler les projets de data mining en amont, mais aussi en aval. La licence Elsevier comprend trois conditions. Tout élément (output) issu de l’extraction :

  1. peut comprendre des extraits de 200 caractères au maximum du texte original.
  2. doit être publié sous une licence non commercial (CC-BY-NC)
  3. doit inclure un lien DOI vers le contenu original.

La dernière condition est clairement la moins problématique. La traçabilité des données nécessite certes un équipement technique adéquat (pour reprendre le jargon des data scientists, il faut passer du triplet sujet-prédicat-objet au quadruplet sujet-prédicat-objet-source). Mais elle constitue une pratique saine, d’ailleurs appelée à se généraliser. Wikidata inclut ainsi des notes de base de donnée : chaque donnée étant appelée à être étayée par une source fiable.

La première condition contredit ouvertement l’exception de courte citation. En France, le législateur a volontairement adopté une définition floue afin de laisser le juge statuer sur chaque cas selon ses spécificités. Les exceptions sont beaucoup trop nombreuses pour envisager de faire une règle fixe. L’application du droit de citation sera beaucoup plus rigoureuse pour une œuvre courte (comme par exemple un poème) que pour un roman de mille pages. Or Elsevier tente de contourner le droit existant pour imposer sa propre règle : une limite de 200 caractères, purement arbitraire. Cela hypothèque quantité de projet comme le souligne bien Peter Murray-Rust : les noms de composés chimiques excèdent fréquemment la barre des 200 caractères.

Là n’est pas encore le plus grave. La deuxième condition introduit une dérive beaucoup plus problématique : elle requiert une forme de privatisation de l’information. Nul ne peut en effet réclamer de droit de propriété sur une information, une opinion ou une idée. Tous ces éléments relèvent du domaine public de l’information. Pour reprendre l’excellente définition de l’UNESCO, il existe un « indivis mondial de l’information » composé de toutes les informations publiquement accessibles. Le fonctionnement de la recherche repose explicitement sur cet indivis : le format classique de l’article de recherche, quadrillé de notes de base de page, suppose de pouvoir légitimement reprendre une information préalablement publiée.

Les données « solitaires » font globalement partie de ce domaine public de l’information. À moins de reprendre une expression textuelle originale, elles ne sont pas concernées par le droit d’auteur. Le droit des bases de données ne porte qu’au niveau structurel : chaque donnée individuelle est disponible pour n’importe quelle reprise, au même titre que n’importe quelle information publiquement accessible.

Or Elsevier impose discrètement l’idée que les informations pourraient être protégées. L’utilisation du terme ambigu output permet d’opérer ce glissement lourd de conséquence : tout ce qui sort des publications d’Elsevier reste la propriété d’Elsevier et l’éditeur est libre d’imposer ses propres conditions pour leur réutilisation. Ni les informations, ni les données « solitaires » n’échappent à cette appropriation globale : toute reprise du contenu d’Elsevier à des fins de data mining devra être publié sous une licence non-commerciale.

Cette dérive est lourde de conséquence. Une fois que Elsevier est parvenu à imposer l’idée que tout output donne potentiellement lieu à une protection, rien ne l’empêche d’aller beaucoup plus loin. Cette règle peut aisément être généralisée à l’ensemble des pratiques de reprises de l’information. Nous faisons, tous, au quotidien du data-mining en récupérant des informations dans des textes préalablement publiés. L’API et les algorithmes d’extraction ne sont que des outils supplémentaires visant à simplifier cette activité fondamentale. Un projet de l’ampleur de Text2Genome aurait très bien pu être réalisé avec un papier et un crayon : son élaboration aurait simplement pris un ou deux siècles plutôt que quelques années.

Les données sur le data mining

Il ne suffit pas de payer un abonnement à Elsevier pour avoir accès à l’API. Il est nécessaire d’enregistrer son projet sur developers.elsevier.com. Je n’ai pas pu accéder au formulaire (cela requiert un enregistrement préalable). Par contre, Springer a dévoilé un système assez similaire dans une présentation publiée sur le site de la Commission européenne.

Le système de licences de Springer
Le système de licences de Springer

L’éventail des informations nécessaires est large. Les chercheurs doivent décrire le projet et spécifier sa durée, délimiter le contenu à extraire, indiquer si un tiers aurait accès aux informations, etc. Le data-mining selon Springer et Elsevier s’apparente ainsi à une transaction commerciale non monétaire : les projets doivent céder leurs métadonnées pour obtenir les données du corpus éditorial. L’éditeur est ensuite libre d’exploiter ces métadonnées à des fins de marketing ou de les revendre à d’autres organisations.

On aboutit ainsi à un véritable paradoxe. Alors que l’essentiel de la recherche française est financée par l’argent public, seuls quelques grands éditeurs privés ont une vue globale sur l’ensemble des projets réalisés. Et les licences sur le data-mining vont aggraver une situation déjà déséquilibrée. Les éditeurs n’auront pas seulement des informations sur les projets réalisés, mais sur ceux en train de se faire.

Elsevier vs. La loi

Au début de l’année 2013, les grands éditeurs scientifiques marquent un grand coup. Ils parviennent à s’approprier entièrement le seul processus européen visant à doter le data mining scientifique d’un cadre légal : le text and data mining working group. En dépit de nombreuses protestations, les licences éditoriales au cas par cas s’imposent comme la seule solution envisageable : la Commission européenne a explicitement refusé de considérer des solutions alternatives (comme une exception générale).

Dès lors, chaque éditeur pourrait écrire sa propre loi et s’arranger librement avec la législation existante. Elsevier s’affranchit ainsi à la foi du droit de courte citation et du domaine public de l’information.

Depuis quelques mois, cette issue est devenue beaucoup moins certaine. Boycotté par de nombreux interlocuteurs essentiels (comme l’OKFN ou la Ligue des bibliothèques européennes), le Text and Data Mining Working Group a succombé à une certaine léthargie. Plusieurs pays européens envisagent ouvertement une exception (c’est notamment le cas du Royaume-Uni et de l’Irlande). L’exception a d’ailleurs été actée de facto dans la loi américaine à l’issue de la dernière décision du procès Google Books : elle est couverte par le fair use.

La recension de Nature fait ainsi état d’un revirement progressif de la Commission Européenne (peut-être lié à l’approche des prochaines élections européennes). Un nouveau processus de réflexion aurait été confié au juriste britannique Ian Hargreaves. Hargreaves a joué un rôle essentiel dans la conception du programme britannique de modernisation du copyright. Il a également fortement encouragé le développement d’une exception pour le data-mining. En juin dernier, il critiquait ouvertement la politique actuelle de l’Union européenne en matière de droit des bases de données.

Hargreaves devrait remettre son rapport à l’Union Européenne à la fin du mois. La Commission semble désormais assez sensible à un argument économique : les éditeurs ne sont pas, et de loin, les principaux bénéficiaires d’un data-mining libéralisé ; un tel cadre légal profiterait à l’ensemble de la société.

En France, le collectif Savoirscom1 a été récemment auditionné sur le sujet par le Conseil Supérieur de la Propriété Littéraire et Artistique (CSPLA). Les propositions du collectif ont été exposées dans une petite synthèse, que j’ai rédigé avec Lionel Maurel, Quel statut légal pour le content-mining ?.

Le rapport formule pour l’essentiel deux propositions :

  • Reconnaître l’existence d’un domaine public de l’information, qui permet d’extraire toutes les informations et les données solitaires ne répondant pas à un critère d’originalité.
  • Mettre en place une exception limitative, autorisant notamment l’importation substantielle d’une base de données ou de textes soumis au droit d’auteur sous réserve que la copie ne reste accessible qu’au seul projet de recherche.

Bien que nous ayons reçu un assez bon accueil du CSPLA, ces deux propositions sont très loin d’être acquises. Au cours de la semaine passé j’ai été auditionné au sénat par la Mission commune d’information sur l’accès aux documents administratifs et aux données publiques. Je représentais le collectif Savoirscom1 avec Silvère Mercier et Thomas Fourmeux. J’ai commencé à évoquer l’intégration des données de la recherche au régime général des données publiques et la nécessité de formaliser le domaine public de l’information : le président de la mission n’a pu réprimer un certain étonnement tant ces suggestions paraissaient exotiques…

Réutilisation des informations du secteur public : quand l’Union Européenne oublie la recherche…

La France devrait prochainement intégrer les dispositions de la nouvelle directive européenne sur la réutilisation des informations du secteur public (ou ISP), qui complètent une précédente directive de 2003. Il y a encore un an, cette évolution aurait pu être considérée comme une avancée notable : la directive en question élargit le périmètre de la réutilisation aux institutions culturelles, telles que les bibliothèques, les musées ou les centres d’archives. Seulement, entre temps, la France a amplement rattrapé son retard en la matière.

Le rapport Trojette remet ainsi radicalement en cause la politique des redevances. la revente des données à des organisations privées apportait un petit complément non négligeable au budget souvent serré de plusieurs institutions publiques. Or, cette activité est d’emblée condamnée par la démultiplication des informations accessibles en ligne. Par exemple, OpenStreetMap a progressivement recréé le corpus de données cartographiques de l’IGN. Au cours des années 2010 et 2011, le produit des redevances a baissé d’un tiers. Selon toute vraisemblance, cette tendance de fond s’est poursuivie depuis.

Le Guide Data Culture rédigé par Camille Domange appelle, pour sa part, à normaliser les données culturelles. Elles ne doivent pas être considérées comme un ensemble à part au nom d’une supposée exception : « il est important que le secteur culturel, quelles que soient ses spécificités qui doivent être reconnues, ne s’inscrive pas en marge d’un mouvement qui est en marche. » (p. 3)

La directive européenne ISP n’apporte pas grand chose de neuf. Elle se situe même en retrait. Les redevances sont maintenues sur le principe (même si celles-ci ne doivent désormais pas dépasser les coûts marginaux ce qui limite grandement leur intérêt). Plusieurs dérogations limitent de fait l’ouverture des données culturelles.

Et la recherche dans tout cela ?

La directive ISP réussit un véritable exploit : ne pas parler une seule fois des implications scientifiques et intellectuelles de l’ouverture des données publiques. Le secteur entrepreneurial mobilise toute l’attention. Ainsi, en ce qui concerne les données culturelles :

L’élargissement des possibilités de réutilisation du matériel culturel public devrait entre autres permettre aux entreprises de l’Union d’exploiter le potentiel de ce matériel et contribuer à la croissance économique et à la création d’emplois.

Cette focalisation est, en soi, regrettable. La directive passe à côté d’un des aspects les plus intéressants et le plus tangible de l’open data : l’accélération du temps de la recherche et l’élargissement de l’écosystème des connaissances (qui implique désormais, de plus en plus, des projets collaboratifs para-universitaires).

Combinée aux techniques d’extraction automatisées, l’accessibilité renforcée des données permet de déléguer une partie essentiel du travail de la recherche à des algorithmes. La recherche d’information peut être en grande partie automatisée, ce qui libère du temps pour réaliser des tâches de plus haut niveau (conceptualisation de l’ensemble du projet…). Cette délégation permet également d’envisager des projets d’une ampleur inédite, à l’image de l’initiative text2genome, qui a pu cartographier le génome humaine en compilant 3 millions d’articles de recherche.

Inversement, les perspectives économiques de la directive (au sens restreint que lui donne la théorie néo-classique) restent floues. On peut très bien argumenter que l’ouverture des données publiques va se solder par une dévaluation globale de la valeur de la donnée, au détriment des entreprises qui en faisait le commerce. Le pétrole du XXIe siècle pourrait devenir de l’air : un bien commun indispensable à la bonne respiration de la société mais qui ne saurait fonder de modèles économiques viables.

Cette omission étonnante a une implication directe sur les recommandations finales. Les universités ne sont pas concernées : elles sont classées parmi les « établissements culturels autres que les bibliothèques, les archives ou les musées ». Le statut des données de recherche n’est pas logiquement précisé. En France, la loi de 1978, va forcément prévaloir. Or, les données de recherche sont explicitement exclus de son champ d’application. Elle ne porte que sur des documents administratifs et non sur l’ensemble des documents exclusivement financés par l’argent public :

Sont considérés comme documents administratifs, au sens des chapitres Ier, III et IV du présent titre, quels que soient leur date, leur lieu de conservation, leur forme et leur support, les documents produits ou reçus, dans le cadre de leur mission de service public, par l’Etat, les collectivités territoriales ainsi que par les autres personnes de droit public ou les personnes de droit privé chargées d’une telle mission. Constituent de tels documents notamment les dossiers, rapports, études, comptes rendus, procès-verbaux, statistiques, directives, instructions, circulaires, notes et réponses ministérielles, correspondances, avis, prévisions et décisions.

Quelle licence pour les données publiques ?

La directive préconise clairement un nombre minimal de contraintes légales pour la diffusion des données publiques, sans que cette préconisation ne soit une obligation. Elle recommande de se limiter à la simple attribution des auteurs.

Le nombre de restrictions à la réutilisation imposées par les licences éventuellement octroyées pour la réutilisation d’informations du secteur public devrait en tout état de cause être le plus bas possible, en limitant, par exemple, ces restrictions à l’indication de la source.

Le partage à l’identique paraît ainsi exclu de cette recommandation. Les données publiques européennes pourraient ainsi être redistribuées sous des licences plus strictes, voir sous le régime traditionnel du droit d’auteur. L’absence de toute licence virale (c’est-à-dire d’un dispositif qui établit que le statut légal originel de la publication va contaminer la republication) autorise le rétablissement des enclosures.

Ce raisonnement pose plusieurs problèmes. Il n’est tout d’abord compatible avec aucune des licences les plus souvent envisagées pour les bases de données. L’excellente licence de l’Open Knowledge Foundation, l’ODBL, prescrit explicitement un partage à l’identique. Quant aux licences Creative Commons (élargies depuis peu aux bases de données) elles incluent toutes un mécanisme viral (eh oui, même la licence CC-BY). Enfin, le domaine public ne semble pas davantage compatible avec cette conception : le copyfraud est, de plus en plus, jugé répréhensible et, du moins en France, plusieurs projets législatifs visent à endiguer cette pratique.

Le rétablissement des enclosures est une conséquence directe du soubassement discursif de la directive : considérer que l’ouverture des données publiques doit avant tout bénéficier au secteur privé. Dans ce cadre, la privatisation est inévitable. La donnée ne vaut rien tant qu’elle n’a pas été enclose et artificiellement raréfiée.

En lieu et place, je recommanderai plutôt le cadre légal suivant :

  • Formalisation d’un domaine public de l’information afin de définir le statut légal de la donnée indépendante. Ce domaine public n’inclut pas de droit moral (encore que, même si elle est difficile à mettre en œuvre, l’attribution des données individuelles est de plus en plus souvent envisagée : Wikidata est ainsi bardé de notes de bas de données). En revanche, l’interdiction du copyfraud est beaucoup mieux établie : comme le code de la propriété intellectuelle ne porte que sur des œuvres de l’esprit, la protection d’une information publiquement accessible est d’emblée impossible.
  • Préconiser une publication de la structure originale de la base sous une licence ODBL. Les licences Creative Commons CC-BY et CC-BY-SA prévoient à peu près la même chose, mais elles restent beaucoup plus flous et n’apportent pas une réelle sécurité juridique au réutilisateur. Il serait presque envisageable d’élargir le domaine public de l’information aux bases de données dans leur ensemble. Ses dispositions sont pleines de bon sens : pas d’attribution obligatoire, mais un mécanisme anti-copyfraud.

Quid des données culturelles ?

Les institutions culturelles sont clairement les plus rétives à une politique audacieuse d’ouverture des données publiques. Elles disposent généralement d’un budget assez serré : les redevances constituent des compléments non négligeables.

Le rapport Trojette avait déjà éludé la question. Le gouvernement se garde bien de trancher. Le collectif Savoirscom1 met ainsi en évidence une succession de discours et d’engagements contradictoires. Le ministère de la culture ne tient pas à passer à côté du mouvement open data. Et en même temps il traîne autant que possible :

Avec Data Culture, le ministère de la Culture a cependant accompli ces derniers mois un travail louable, confirmé par la feuille de route Open Data du ministère et les orientations prises à la suite de « L’Automne numérique ». Mais les recommandations d’ouverture du ministère ne sont pour l’instant qu’incitatives : à la différence des décisions du CIMAP, elles ne sont pas contraignantes. Les libérations de données effectuées à l’occasion de l’Automne numérique reposent, elles aussi, sur le bon vouloir des établissements.

La directive ISP ne fait pas beaucoup mieux. Bien que dans son principe, elle les intègre dans le périmètre des données publiques à ouvrir, elle inclut de nombreuses dérogations. Le GFII va jusqu’à évoquer d’une directive dans la directive. Les redevances ne sont ainsi pas plafonnées aux coûts marginaux pour les données culturelles :

Les bibliothèques, les musées et les archives devraient également pouvoir prélever des redevances supérieures aux coûts marginaux pour ne pas entraver leur bon fonctionnement.

Les données culturelles constituent ainsi, en quelque sorte, le chat de Schrödinger des politiques d’open data. Elles sont officiellement ouvertes, mais tout est fait pour qu’elles restent fermées.

Cette incertitude est fortement dommageable. Le champ des études culturelles est en pleine effervescence. L’élargissement considérable des corpus accessible et la possibilité de déléguer une partie du travail à des algorithmes offrent des perspectives inédites.

Certaines sont assez triviales. Pendant la rédaction d’un mémoire sur l’apparition de la critique musicale dans la presse quotidienne française, j’avais cherché en vain une compilation des œuvres créées et représentées à l’Opéra de Paris de 1820 à 1850 (les excellentes métadonnées de la BNF fournissent depuis peu une liste non exhaustive). Le data-journalisme est également friand de ce genre de compilations, qui permettent de créer des visualisations instructives et attrayantes (l’article du Monde sur les prix littéraires constitue un très bon exemple du genre).

D’autres sont proprement inimaginables. La connectivité croissante de données touchant à tous les aspects de la vie humaine pourrait permettre de saisir des phénomènes dont nous n’avons pas la moindre idée. Les projets Wikimédia (désormais épaulés par Wikidata) passent à la vitesse supérieure. Les données culturelles sont tout particulièrement concernées : un partenariat est en cours d’élaboration avec le JocondeLab afin de compiler les informations sur 300 000 œuvres des musées français.

Le mouvement des humanités numériques commence tout juste à évaluer l’incidence de ces avancées. Nous ne sommes qu’au tout début d’une révolution des usages scientifiques qui nous réserve bien des surprises… IL convient de la contraindre aussi peu que possible.