On se souvient de la sortie de N. Sarkozy lors de sa fameuse allocution du 22 janvier 2009 : « Comment expliquer qu’avec une dépense de recherche plus élevée que celle de la Grande Bretagne, et environ 15% de chercheurs statutaires en plus que nos amis anglais, la France soit largement derrière elle pour la part de production scientifique dans le monde ? Il faudra me l’expliquer ! Plus de chercheurs statutaires, moins de publications et, pardon, je ne veux pas être désagréable, à budget comparable, un chercheur français publie de 30 à 50% en moins qu’un chercheur britannique dans certains secteurs. En somme, nous avions perdu le « match » contre la Grande-Bretagne, et ça allait chauffer pour les joueurs et les entraîneurs ! Mais le président n’avait pas lu la « presse sportive spécialisée »…

Le « match aller » s’est joué en 1998 lorsque Sir Robert May[1] [1] qui était alors chief scientist advisor to the British Government publie dans Science un article remarqué[2] [2]. Dans cet article, Sir Robert introduit un indicateur de performance de la dépense publique de recherche (indicator of efficiency of public research spending) défini, pour chaque pays, comme le rapport du nombre de publications produites au montant de la dépense en recherche de base. La valeur de cet indicateur avec les chiffres de 1996 était, d’après Sir Robert, 2,13 fois plus élevé pour la Grande Bretagne que pour la France. C’était donc pour nous une défaite cuisante !

UNE CRITIQUE METHODIQUE DE « L’ARBITRAGE »

En 2001, Rémi Barré[3] [3] publie un intéressant article[4] [4] dans lequel on trouve une critique argumentée de la « méthode d’arbitrage » du « match » France-Angleterre, utilisée par Robert May. Il explique pourquoi cette méthode ne peut pas fournir de comparaison raisonnable entre les différents pays. En réalité, son article a une portée plus générale : il met en évidence les limites de pertinence des indicateurs quantitatifs de performance, et le fait qu’il ne peut pas y avoir de relation mécanique entre la valeur d’un seul indicateur d’input et la « productivité scientifique » d’un pays, en termes de publications.

L’indicateur introduit par Robert May est le quotient du nombre de publications référencées dans le Science Citation Index (SCI), par la dépense en recherche de base (basic research expense)[5] [5]. Rémi Barré fait une critique de l’évaluation des deux termes du quotient. Il fait un certain nombre d’hypothèses raisonnables sur les facteurs de biais mais, comme il le reconnaît lui-même, il entre une part d’arbitraire dans la quantification de ces facteurs. Ceci peut affecter le résultat final qu’il obtient, mais pas la valeur démonstrative de sa critique. Nous en donnons ici un aperçu, renvoyant à l’article original pour plus de détails.

 Qu’est-ce qu’on entend par « dépense en recherche de base » ?

La dépense publique en recherche de base est définie comme le montant total des crédits de recherche des universités et des organismes publics. Ceci inclut non seulement la recherche fondamentale proprement dite, mais aussi de la recherche appliquée et de la recherche militaire. Les deux dernières catégories de recherche produisent très peu d’articles référencés dans le SCI. Rémi Barré propose donc de ne prendre en compte les dépenses de recherche finalisée ou militaire que pour 10% de leur montant. Or il apparaît que si la dépense de recherche « académique » est du même ordre dans les deux pays, la France dépense 50% de plus que la Grande Bretagne dans les autres institutions publiques de recherche. Si l’on fait cette correction, notre dépense en recherche de base qui était supérieure à la dépense de la Grande Bretagne de 28% selon Robert May, ne l’est plus que de 12%.

Comment mesurer les publications de façon comparable ?

On ne publie pas autant dans toutes les disciplines, si l’on s’en tient aux publications indexées dans le SCI. Par exemple la recherche médicale (clinical medecine) représente, 30% de la base SCI, pour 10%  de la dépense en recherche de base. Ce qui veut dire que la tendance à publier est 3 fois plus forte que pour la moyenne des autres domaines. Or la France et la Grande Bretagne n’ont pas le même niveau d’activité dans ce domaine. La Grande Bretagne produit 12% des articles mondiaux en médecine. La part mondiale de la Grande Bretagne dans ce domaine est de 41% supérieure à sa part mondiale pour l’ensemble des disciplines, tandis que pour la France, elle est de 5% inférieure[6] [6]. Pour corriger ce biais, Rémi Barré est amené à introduire une pondération des articles de médecine. Après correction, le nombre de publications de la Grande Bretagne qui était de 67% plus élevé que celui de la France, ne l’est plus que de 46%.

L’indicateur de productivité avant corrections était de 100 pour la France et de 213 pour la Grande Bretagne. Après correction, il est de 100 pour la France et n’est plus que de 164 pour la Grande Bretagne.

Autres facteurs de biais

Le SCI n’incluant pas les sciences humaines et sociales, on doit donc retrancher du dénominateur la dépense qui leur est affectée. Or elle est plus importante en France qu’en Grande Bretagne.

Toutes choses égales par ailleurs, le SCI favorise les publications en langue anglaise. Même si, dans beaucoup de disciplines, les chercheurs publient en anglais, ceci introduit un biais pour certaines.

Il faut tenir compte aussi des publications qui ne résultent pas du financement public. Ainsi il apparaît que plus de 10% des publications britanniques référencées dans le SCI sont produites par des chercheurs en entreprises. De plus il est bien connu qu’en Grande Bretagne, les fondations privées (non profit organizations) jouent un rôle beaucoup plus important que chez nous dans le financement de la recherche fondamentale, et donc dans la production des publications référencées dans le SCI.

On peut recenser nombre d’autres facteurs de biais. Notamment des facteurs structurels. Ainsi une majorité de chercheurs dans les universités britanniques travaillent sur des contrats à court terme avec une protection sociale limitée, tandis qu’en France la majorité est fonctionnaire avec des avantages sociaux substantiels, ce qui intervient dans la dépense. Il faut aussi tenir compte du périmètre exact des institutions incluses dans la dépense de recherche « académique », du décompte des différentes sources de financement provenant des étudiants, des collectivités, des fondations…

Que peut-on en conclure ?

En incluant toutes les hypothèses de biais qu’il peut raisonnablement évaluer, Rémi Barré arrive à des valeurs comparables de l’indicateur de Robert May pour la France et pour la Grande-Bretagne !

La « productivité » d’un système de recherche ne peut pas être caractérisée par un seul nombre, quelle que soit la définition qu’on en donne et le caractère sophistiqué de son mode de calcul. Il y a trop de facteurs qui influencent la valeur de l’indicateur et qui ne sont pas directement liés à la « productivité ». On a une grande variété d’acteurs avec des objectifs différents et des stratégies différentes qui sont pris dans des réseaux de relations avec des financeurs et des utilisateurs. On ne peut pas attribuer un résultat particulier à une seule variable d’input[7] [7].

AU DELA DE L’APPROCHE COMPARATIVE DES SYSTEMES NATIONAUX

C’est dans un premier article[8] [8] de 1997 que Robert May avait introduit l’idée d’évaluer les performances scientifiques nationales en rapportant les résultats (essentiellement les nombres de publications ou de citations) à la dépense publique (de R&D ou de recherche fondamentale). Il notait cependant les difficultés qui pouvaient se présenter. Il admettait en particulier que les grandes différences qui pouvaient apparaître entre les premiers et les derniers pays du G7 étaient « surprenantes ». Mais il cherchait à en donner une interprétation structurelle qui débouche en fait sur des problèmes très actuels.

« My view – and it is no more than a guess – is that a large part of the difference in performance between the top dozen or so countries and the lower ranking of the G7 countries arises from differences in the nature of the institutional settings where the scientific research is done. Germany and France have superb scientists who do outstanding work, but a large proportion do this work in dedicated research institutes : Max Planck and CNRS institutes. By contrast, most basic research in North America, United Kingdom, the Scandinavian countries, and others among the top countries, is done in universities. The nonhierarchical nature of most North American and northern European universities, coupled with the pervasive presence of irreverent undergraduate and postgraduate students, could be the best environment for productive research. The peace and quiet to focus on a mission in a research institute, undistracted by teaching or other responsibilities, may be a questionable blessing ».

Cet avantage qu’il attribue aux universités par rapport aux organismes, en fera bondir plus d’un, et ricaner bien d’autres dans le contexte universitaire français actuel… Mais l’intérêt principal de toute approche comparative réside - beaucoup plus que dans ses résultats bruts discutables - dans les questions qu’elle soulève. Et la réponse à ces questions n’est pas toujours univoque. Poursuivant sa réflexion, Robert May donne d’ailleurs un éclairage intéressant à la « concurrence » universités-organismes.

 « I thus suggest that, among the scientifically advanced countries, better value for money (in terms of papers or citations per person or per dollar spent) might be associated with performing basic research mostly in universities, rather than in research institutes. If so, there are significant implications for those countries, such as the United Kingdom, Sweden and Australia, which recently have seen great enlargement in the number of tertiary institutions designated as universities. It seems unlikely that governments can afford to supply the previously customary level of infrastructure for research (equipment, technicians, research libraries, properly furnished laboratories…) to all departments in these more numerous universities. This raises questions about how to focus such infrastructure support and indirect costs upon the best people and groups. (…) I think the alternative of hiving off most fundamental research into dedicated institutes could be a suboptimal solution ».

Robert May met implicitement en évidence un avantage des organismes qui est la concentration de moyens importants, impossible à réaliser dans chaque université. Dans une organisation de la recherche basée sur les universités, l’alternative est de concentrer les moyens sur un petit nombre d’universités « d’excellence » (c’est d’ailleurs ce que la Grande-Bretagne a fait, sans le dire explicitement, par le biais du Research Assessment Exercise[9] [9] et des normes de financement qui en découlent). Si l’on considère la situation française et la concentration des moyens du CNRS sur un nombre relativement réduit de campus universitaires[10] [10], on peut se dire que l’alternative « universités d’excellence ou organismes nationaux » n’est pas si tranchée que ça. C’est un argument qu’on pourrait donner en faveur du rôle d’opérateur du CNRS, mais qui irait à l’encontre du discours qu’on entend chez ses plus ardents défenseurs[11] [11]…

On trouve nombre d’études dans la lignée de Robert May. Ainsi, par exemple, dans un article de 2004 David King[12] [12] développe en l’actualisant l’approche de Robert May (qu’il qualifie de ground breaking work) et présente diverses comparaisons portant sur 31 pays qui produisent 98% des highly cited papers[13] [13]. Il s’intéresse au taux moyen de citations par article dans les différents pays, en « renormalisant » le nombre de citations pour tenir compte des différences disciplinaires. Pour les pays du G7, il calcule le rapport du nombre de citations au PIB, à la dépense de R&D, à la dépense de recherche « académique », le taux de publications ou de citations par chercheur. Il fait aussi une étude par discipline en distinguant 7 grands domaines scientifiques qui, là encore, excluent les sciences humaines et sociales.

Comment expliquer que, à nouveau, la Grande-Bretagne sorte du lot ? David King y va de son explication qui, notons le bien, ne découle pas naturellement de son étude :

« One paradoxical reason for the United Kingdom’s current strength was the considerable cutback in public spending on science between 1980 and 1995. Although many UK scientists campaigned against these cuts, they encouraged a level of resourcefulness among researchers, and approaches to industry and the EU that are now bearing fruit. For instance, the United Kingdom’s business investment in public research, as proportion of public R&D, is the highest in the world. And now that the present UK government is increasing funding and rebuilding infrastructure, the pruned plant of UK science is regrowing vigorously. »

Par ailleurs il ne manque pas de critiquer les indicateurs du classement de Shanghai. En effet, ce fameux classement des universités est basé sur le nombre de prix Nobel (et d’autres prix analogues) ainsi que sur les 100 scientifiques les plus cités dans 21 domaines. David King fait très justement remarquer que, si les Etats-Unis écrasent les autres pays dans ce classement, c’est bien parce que les universités et les organismes américains attirent les personnalités scientifiques de premier plan en leur offrant des salaires très élevés – ce qui est un aspect très particulier de « l’efficacité scientifique », assez éloigné de celle qu’il entend caractériser…

Aujourd’hui que les indicateurs de comparaison ont envahi le monde, il serait vain de vouloir les ignorer purement et simplement[14] [14]. Finalement, ce qui est le plus intéressant, c’est la critique qu’on peut en faire, les problèmes qu’ils soulèvent et les débats qu’ils suscitent. A condition, surtout, de ne pas les traiter comme des « résultats sportifs »…