Atelier 4 : Nouveaux dispositifs, nouveaux savoirs : évaluer et mesurer la science

4ème séance du programme de recherche « Le rôle des techniques dans la construction sociale des savoirs légitimes » – Labex HASTEC/Cnam. Cette séance s’est déroulée le 7 juillet 2014 (14h – 18h) à l’ESCP Paris (Salle Europe), 79 Avenue de la République, 75011 Paris (Métro « Rue Saint Maur). Avec la participation de :

Catherine Paradeise (professeur, sociologie des organisations, Latts/IFRIS) :
Evaluation, recours aux « métriques d’excellence » et fabrication de la qualité académique (participation annulée : un rappel des propositions de Mme Paradeise a été effectué par Jean-Claude Ruano-Borbalan).

Annaïg Mahé (maître de conférences, sciences de l’information et de la communication, Urfist et DICEN/Cnam) :
La mesure de la science face aux paradigmes du Web : les nouvelles métriques en question (alt.metrics).

Animation par
Jean-Philippe Bouilloud (professeur, sociologie des sciences, CERS/ESCP)

Compte rendu de la séance suivi des enregistrements vidéos.

Jean-Claude Ruano-Borbalan (pour C. Paradeise)

Catherine Paradeise, qui ne peut être présente et dont nous rapportons le propos général, travaille sur les processus d’évaluation des établissements ou des systèmes de production de connaissance avec Jean-Claude Koenig, au sein de l’Ifris. Elle étudie la transformation des disciplines académiques, et constate deux tendances d’apparence contradictoire : le maintien disciplinaire dans le contexte du développement des processus de comparaison internationale des universités et la montée de la réflexion en sciences de l’ingénieur autour de questions de conception et de projet dans une perspective interdisciplinaire, cette dernière concourant à la formation de pôles de compétitivité et d’innovation territoriale. Cette contradiction se résoud quand on prend le point de vue stratégique des institutions. Paradeise a étudié avec Gérard Koenig la réponse spécifique, en moyenne durée, des universités à la publication des ranking internationaux. Ils proposent une matrice qui montre que les réponses sont différentes selon l’échelle locale, régionale, internationale du déploiement de la compétitivité. Ce sont les universités « middle range » qui ont intérêt à la compétition, car la compétitivité se présente comme une valeur ajoutée pour vendre des formations (business schools, regroupements universitaires). Mais il existe d’autres fonctions pour les universités ; des petites universités n’ont aucun intérêt à se considérer en compétition. La perspective néo-institutionaliste de Paradeise et Koenig permet donc l’analyse des formes managériales et stratégiques de ces développement, et éclaire le fait que ces formes rencontrent l’histoire de la normalisation des formes universitaires mais aussi les prises de pouvoir internes au champ académique.

Annaïg Mahé « La mesure de la science face aux paradigmes du Web : les nouvelles métriques en question »

Les « altmetrics » (métriques alternatives) sont un phénomène récent et en construction de mesures à partir de données Web. Traditionnellement, les calculs bibliométriques sont fondés sur le comptage des citations dans les articles scientifiques permettant le calcul d’impact d’une revue au sein d’une communauté scientifique. Eugène Garfield, chercheur américain, a fondé l’Institute for Scientific Information (ISI) qui produisait les premiers index de revues scientifiques. L’ISI a été racheté par Thomson Reuters, compagnie commerciale internationale produisant le Web of Science qui recense actuellement 8500 revues scientifiques ; 3000 en sciences sociales et 1700 en sciences humaines et continue à produire des indicateurs bibliométriques.

Le plus connu et le plus utilisé par les chercheurs est le facteur d’impact qui indique le nombre moyen de citations reçues sur 2 ans par une revue donnée. Ces données sont répertoriées dans le Journal Citation Reports (base accessible sur abonnement, et qui est coûteuse). Le facteur d’impact est devenu dans certaines disciplines le principal indicateur de la notoriété de certaines revues, et, par glissement abusif, un indicateur de la « valeur » d’un chercheur.

S’il y a bien une certaine corrélation entre la qualité d’une revue et le fait qu’un chercheur y publie un article, cela ne signifie pas pour autant que son impact individuel sur la communauté soit équivalent au calcul de l’impact moyen de la revue (une partie des articles publiés n’étant jamais cités). Cette dérive a eu lieu plus particulièrement dans les sciences biomédicales où l’article scientifique validé et publié dans une revue reconnue est le vecteur principal de reconnaissance de la valeur d’un chercheur et où le facteur d’impact est l’indicateur le plus utilisé pour le recrutement, les financements et autres évaluations des chercheurs.

En France, on voit apparaître l’appropriation des calculs bibliométriques par les professionnels de l’information pour rendre compte de l’activité des chercheurs et la valorisation de la production scientifique des institutions dans un contexte d’autonomie et de compétition renforcée. Pour les non professionnels de la bibliométrie, l’appropriation est difficile, notamment s’ils se rendent compte des biais associés à ces indicateurs. Non légitimes, ils ont des difficultés à faire remonter au niveau des instances de décisions. Actuellement des groupes de travail formés par des professionnels des Etablissements Publics des Sciences et Techniques y travaillent (notamment autour des questions de l’affiliation).

Il y a une croissance considérable des nouvelles formes de mesure : SCImago, Thomson Reuters, Elsevier qui sont toutes des compagnies concurrentes. Par ailleurs, Google scholar propose des metrics : classement par sous thématiques, zone linguistique, ou encore le calcul de l’index h. Il s’agit d’une nouvelle mesure qui prend le pas sur le facteur d’impact. Une des limites est que plus on a d’articles, plus on a de citations : cela privilégie donc les chercheurs seniors.

Par ailleurs, on observe une remise en cause des « métriques »  traditionnelles du fait d’une perte de légitimité liée à une utilisation excessive (cf. le rapport de l’Académie des sciences, février 2011). Très récemment, en juillet 2012, les dérives liées à l’utilisation excessive du facteur d’impact ont été fortement dénoncées par des chercheurs (Cf. the San Francisco Declaration on Research Assessment – DORA). Initiée par l’American Society for Cell Biology (ASCB) et un groupe de rédacteurs et d’éditeurs de revues scientifiques, la pétition a actuellement près de 11000 signataires individuels et 500 institutions. Cela engendre une nécessité de l’évaluation de la qualité et de l’impact des productions scientifiques des individus et des institutions.

Il existe également des nouvelles formes de communication (blogs) et de réseaux sociaux et de partage d’articles (figshare, mendeley, citeUlike, twitter, facebook). Il ne s’agit pas de légitimité scientifique officielle, mais elles apportent une nouvelle forme d’autorité scientifique aux auteurs (Evelyne Broudoux, ateliers 1 et 3 du programme Légitimations du savoir). S’il est un moyen de s’ouvrir à la société, le blog est une forme non valorisée de manière officielle, même s’il apporte une notoriété, ou une autorité scientifique. Il y a une obligation de s’ouvrir à la société. Le crowd sourcing donne un droit citoyen d’accès la science publique. La science doit trouver des sources de légitimité en dehors d’elle même. Aujourd’hui on peut utiliser figshare, on peut déposer son poster, auquel va être adjoint un DOI (valorisation, crédit scientifique).

Mais on observe un évolution récente des politiques publiques (Cf. le US National Science Foundation). Depuis le 14 janvier 2013, il est demandé aux candidats de donner une liste des principaux « produits » scientifiques plutôt que des publications : ensembles de données, logiciels, et autres productions non-traditionnelles (articles, BDD, logiciels, brevets…). On doit pouvoir mesurer l’impact et leurs travers en nombre de vues et de téléchargement sur le Web. L’influence scientifique et sociale est beaucoup plus floue.

Altmetrics est un manifeste publié en octobre 2010 par Jason Priem et Heather Piwowar. On revient sur les limites du facteur d’impact et la validation par les pairs, les nouvelles formes de référencement, les nouvelles formes de productions et de communications scientifiques : données, nano-publications, auto-publications, commentaires, etc. Altmetrics vont plus vite et plus loin que le peer-review, à moyen terme peut le compléter par un impact de l’article et même un impact au-delà de la communauté scientifique.

Au départ,  Altmetrics collecte des données scientifiques (citations et téléchargements). Aujourd’hui, il y a une extension à des données plus sociales sur la manière dont les articles sont utilisés, partagés, discutés (CiteUlike, Facebook, Twitter). ALM fournit des informations granulaires sur l’usage des articles individuels. La légitimité de altmetrics est en construction. On voit comment les différents acteurs de l’écosystème complexe de la publication scientifique prennent position : les institutions et le mouvement du libre accès (ImpactStory et Plos), Google Scholar a ses propres métriques, éditeurs (Altmetrics) et intermédiaires (PlumX / Ebsco).

Altmetrics mesure l’impact, c’est-à-dire le taux d’attention mais ne dit rien sur la qualité. L’intérêt principal est la découverte de contenus et de recommandation de données. Il existe un intérêt complémentaire non pour une évaluation académique (trop immature) mais pour impact non académique et l’implication sur environnement sociaux, culturels, scientifiques…

Jean-Philippe Bouilloud

La mesure de la science pose la question de la valeur de la production scientifique. Il existe un foisonnement d’outils qui permettrait de faire de l’analyse de contenu. C’est une problématique importante depuis 60 ans. La sociologie des sciences s’intéresse alors à ce qu’est le réseau scientifique.

On a l’impression que la science est synonyme de quantification alors que ce n’est pas que ça. L’effet pervers de l’instrument de mesure a pu être mis en évidence via l’impact de la mesure sur l’institution.

Il y a plusieurs années, le livre était l’outil légitime. Aujourd’hui c’est l’article qui est valorisé. Pour comprendre cela il faut comprendre le modèle d’affaire. L’éditeur fait travailler gratuitement les peer reviewers et les auteurs ne sont pas rémunérés et les universités payent très cher les revues. De plus, les enseignants ont des primes si ils publient dans des revues importantes. Le système produit un certain type de texte, de discours.

Annaïg Mahé Il existe également des éditeurs à but non lucratif.

Jean-Claude Ruano-Borbalan

A ce sujet, Cern est un éditeur de nouveau type. Il capte la valeur à la diffusion et fait payer à l’unité. C’est un agrégateur de contenu. On modifie ce qu’on lit.


(Légitimations) Evaluer et mesurer la science 1/3 par HT2S-CNAM


(Légitimations) Evaluer et mesurer la science 2/3 par HT2S-CNAM


(Légitimations) Evaluer et mesurer la science 3/3 par HT2S-CNAM


Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.