LA BIBLIOMETRIE DEVOYEE
A l’occasion de la récente campagne de contractualisation avec les universités, le CNRS a recommandé à ses unités mixtes de faire remplir à chaque chercheur ou enseignant-chercheur une fiche de renseignements bibliométriques[1]. Au-delà de son aspect « amateur » (on y mélange le Web of Knowledge et Google Scholar), cette opération est un peu « effrayante » par son intention implicite de mettre au poste de commande la technique bibliométrique dans ce qu’elle a de plus contestable. En effet la bibliométrie n’est pas bien adaptée aux évaluations individuelles, et l’on peut s’étonner notamment de l’importance donnée dans la fiche CNRS au « facteur h »[2]. Si l’on avait voulu démonétiser l’instrument bibliométrique, on ne s’y serait pas pris autrement. Il n’est pas surprenant, en tout cas, que certains laboratoires aient refusé de remplir le tableau !
Certains redoutent qu’il s’agisse d’une opération plus large visant à introduire le « tout bibliométrique » dans l’évaluation, y compris à l’AERES. Ce serait un comble quand on se souvient de la mise en garde de Jean-Marc Monteil, alors Directeur de l’Enseignement Supérieur, contre les conséquences du «productivisme scientifique»: « Une publication est désormais visible sur internet (et ainsi susceptible d’être citée) avant même d’être évaluée. Il serait donc paradoxal qu’au moment où l’on peut accéder à cette littérature grise, nos jeunes chercheurs soient formés à l’idée que c’est le facteur d’impact qui va faire d’eux des chercheurs. (..) S’il n’est pas question de rejeter la bibliométrie, le productivisme scientifique peut conduire à s’extraire de la logique du besoin de connaissance, et à entrer dans une logique quantitative et non qualitative »[3].
LA VOGUE DES INDICATEURS
Il ne fait aucun doute qu’il y a une tendance générale à l’évaluation sur indicateurs. C’est déjà dans la logique budgétaire de la LOLF. Et en matière scientifique, beaucoup de décideurs politiques aimeraient bien être capables d’évaluer la qualité des recherches sans passer par des comités d’experts. Ainsi, par exemple, en Grande-Bretagne, où les départements universitaires de recherche étaient jusqu’ici évalués par les méthodes de la peer review, dans le cadre du Research Assessment Exercise (RAE), Gordon Brown pousse à remplacer le RAE classique par une évaluation sur indicateurs[4]. C’est une question qui dépasse largement la bibliométrie. Dans le projet britannique les indicateurs bibliométriques n’occupent d’ailleurs qu’une place secondaire par rapport aux indicateurs de ressources[5]. On peut noter qu’en l’occurrence il ne s’agit pas d’évaluer individuellement des chercheurs, mais des départements, afin de calculer, au final, la subvention globalisée qui sera attribuée à une université pour sa recherche. Et il est vrai qu’à un niveau élevé d’agrégation (par exemple au niveau d’une grande université), la qualité des indicateurs est moins importante, à cause des compensations qui s’établissent entre les situations particulières des différents départements et des différentes disciplines. Certains collègues anglais expriment parfaitement cet état de choses en disant « qu’on trouverait le même résultat si l’on mesurait le volume de thé consommé dans les laboratoires ».
Le recours accru aux indicateurs dans une logique budgétaire globale, ou pour la répartition des crédits structurels entre les universités, peut se concevoir. Il a des partisans, non seulement chez les politiques, mais aussi dans les universités où les administrateurs et les chercheurs préfèreraient passer moins de temps à élaborer des dossiers sophistiqués pour aboutir, le plus souvent, à de modestes variations de dotations. La chose devient beaucoup plus délicate lorsque ces indicateurs sont utilisés pour faire des comparaisons d’équipes de recherche, voire de chercheurs individuels.
L’évaluation sur seuls indicateurs (bibliométriques ou de ressources) reste irréaliste dans les sciences humaines et sociales, et les britanniques ont été conduits à envisager, dans ce cas, le maintien d’une peer review allégée. Ce qui présente l’inconvénient de séparer le champ de la connaissance en deux domaines qui ne seraient plus soumis aux mêmes procédures d’évaluation. On doit noter que, dans ce contexte, les mathématiques seraient classées avec les humanités et les sciences humaines…
LIMITES DE LA BIBLIOMETRIE
Pour s’en tenir à la bibliométrie, c’est un fait que beaucoup reste à faire en sciences humaines et sociales pour disposer d’instruments comparables à ceux dont on dispose en sciences expérimentales. Ce n’est pas le cas en mathématiques qui peuvent être traitées, a priori, comme les autres sciences. Mais les résultats bibliométriques sont utilisés pour faire des comparaisons, et les mathématiciens ont réagi à juste titre contre une normalisation des indicateurs bibliométriques qui ne tient pas compte des spécificités de leur discipline, et qui peut donc les pénaliser[6]. Voir par exemple un intéressant article de Jean-Marc Schlenker[7]. Celui-ci considère en particulier que les outils des Maths Reviews sont mieux adaptés que ceux du Web of Science si l’on veut faire des comparaisons entre les départements de mathématiques[8].
On trouve des critiques sur la bibliométrie dans tous les secteurs disciplinaires. Certains se plaignent qu’on ne tienne pas compte de conférences internationales majeures. D’autres trouvent que l’on surestime des revues ou des conférences d’importance secondaire… Tout le monde s’accorde à penser que la bibliométrie devrait être réservée à des groupes de taille suffisante. Le classement des chercheurs individuels par la bibliométrie est un non-sens. Il est facile de trouver un honnête mathématicien ayant écrit un bon livre de synthèse, qui soit davantage cité que la dernière médaille Fields
D’autres critiques pertinentes concernent le facteur d’impact des revues. En somme, un « test d’audience » est pris comme test de qualité. Jacques Ninio (Physique Statistique, ENS), a écrit là-dessus un petit pamphlet[9] qui résume assez bien sous forme polémique plusieurs objections sérieuses que l’on peut faire à cet indice. L’auteur souligne, par exemple, que dans une discipline où l’on n’est pas compétent, il est plus commode de citer un grand journal que de faire une enquête bibliographique minutieuse, et que le facteur d’impact est inversement corrélé avec la longévité des articles qu’une revue publie. Des chercheurs de l’INSERM[10] soulignent la distorsion qui peut exister entre la perception de la qualité ou de l’utilité d’un journal par les chercheurs des NIH aux USA, et le classement de celui-ci en fonction des indices de l’ISI.
LA BIBLIOMETRIE COMME ENTREPRISE ET COMME CHAMP DE RECHERCHE
Garfield a fondé l’Institute for Scientific Information (ISI) dans les années 60, créant la base de données bibliographiques Science Citation Index (SCI) qui contient plus de 150 millions de citations. La bibliométrie est désormais un domaine considérable qui a ses entreprises et ses équipes de recherche. Thomson Scientific n’est pas une entreprise spécialement innovante, mais l’ISI fournit une plus grande variété d’indicateurs que le facteur d’impact, et ce n’est pas sa faute si les utilisateurs se focalisent là-dessus, et si les conclusions partielles qu’ils tirent de la bibliométrie sont fragiles.
La bibliométrie se prête à l’amateurisme. Il s’y mêle des enjeux assez irrationnels (tout comme pour les rankings d’universités). Les citations mesurent la visibilité d’un travail. Visibilité et qualité ont une corrélation raisonnable, mais il n’en reste pas moins que les réseaux de citations sont des produits mixtes de réseaux « cognitifs » et de réseaux sociaux de recherche.
La bibliométrie, en dépit de ses défauts, est appelée à jouer un rôle de plus en plus grand comme aide à l’évaluation et au benchmarking. Elle se doit donc d’être un champ de recherche permanent, loin de tout dogmatisme, croisant les approches et testant ses résultats avec modestie.
Pour illustrer notre propos, nous citerons une récente étude faite dans leur domaine par des physiciens[11]. Classiquement, l’importance d’un papier repose sur le nombre de citations. Mais on peut penser à utiliser l’algorithme du pagerank de Google[12]. Cet algorithme implémente de façon simple l’idée que les citations provenant de publications importantes doivent compter davantage que celles qui émanent de publications plus ordinaires. Des adaptations techniques (choix de paramètres…) sont nécessaires par rapport au modèle standard du moteur de recherche[13].
Les physiciens auteurs de l’article appliquent cette méthode du pagerank pour quantifier l’importance des publications parues dans les journaux de l’American Physical Society. Leur base de données consiste de tous les articles (plus de 300.000) publiés dans la famille de journaux de Physical Review depuis le début de leur publication en 1893 jusqu’en juin 2003, et les citations de ces articles (plus de 3 millions) qui représentent près d’un tiers des citations des papiers de Physique les plus cités.
Avec la méthode du pagerank ils retrouvent beaucoup de papiers qui ont enregistré un nombre de citations modeste, mais qui ont eu une grande influence dans la discipline. Ainsi ils donnent l’exemple d’un papier important de J.C. Slater, The theory of complex spectra, qui est relativement peu cité (114 citations au total), figurant au 1853ème rang des citations, mais dont le pagerank est du même ordre que celui de papiers célèbres très cités. Il se trouve que le papier de Slater a introduit une forme de la fonction d’onde d’un système à n corps, qui est devenue ensuite tellement classique que très peu d’articles citent le papier original[14]. Plus généralement, sur les 100 papiers qui obtiennent l’indice le plus élevé par la méthode du pagerank, on en trouve beaucoup qui étaient minimisés par l’indice de citations ordinaire ; et ce sont pratiquement tous des papiers importants.
Ce type d’études incite à développer la réflexion et la recherche sur les méthodes, la portée et les usages des indicateurs bibliométriques. La France possède une équipe compétente à l’Observatoire des Sciences et Techniques (OST) qui pourrait être pilote en la matière. Ce serait sans doute plus utile que d’éditer des tableaux excel sans aucun esprit critique.
