When a measure becomes a target, it ceases to be a good measure (Marilyn Strathern)
Le « Nouveau Management Public » (NMP) est un courant de réforme venu des pays anglo-saxons qui vise à gérer les services publics comme des entreprises, à mettre en place des techniques managériales et à utiliser des « indicateurs de production » comme mesure de la performance, sans que l’on se pose vraiment la question de la pertinence de la transposition de ces techniques du monde de l’entreprise à celui des laboratoires et des universités.
En particulier, une pression est mise sur les chercheurs pour « rendre des comptes ». Ceci va à l’encontre de la tradition universitaire qui reposait sur la liberté de l’enseignement et de la recherche. Aujourd’hui l’Etat veut un droit de regard sur la recherche parce qu’il la finance et parce qu’elle joue un rôle majeur dans l’économie. « Nul ne conteste que la production et la transmission du savoir sont l’affaire de tous les stakeholders et pas seulement des enseignants et des chercheurs. Mais leur pilotage à flux tendu, par des incitations et des sanctions qui sont étrangères à leur culture propre, et en fonction des besoins immédiats des intérêts économiques et politiques, est à courte vue »[1].
Il n’est pas nécessaire d’invoquer un « complot néolibéral »[2] pour faire la critique du NMP. Certes nous savons bien que les transformations auxquelles nous assistons sont en relation avec l’évolution générale du monde, qui consacre l’hégémonie des entreprises et des marchés. Mais la relation n’est pas mécaniste, et dans ce domaine, l’opposition n’est pas toujours entre le libéralisme et l’Etat. Il est intéressant de constater que les nouveaux modes de pilotage de l’enseignement supérieur et de la recherche sont l’objet de critiques de chercheurs en sciences de gestion qui n’ont rien de radicaux. Ceux-ci ont montré depuis longtemps que les indicateurs de production chiffrés sont particulièrement inadaptés lorsqu’il s’agit d’évaluer une activité complexe ; mais les universitaires semblent l’ignorer[3].
UNE DERIVE DE L’ETAT STRATEGE
Les principes du NMP sont déjà lisibles dans la « Loi organique relative aux lois de finances » (LOLF, 2006) qui régit désormais le budget de l’Etat. Les crédits du budget sont présentés par objectifs, chacun assorti d’indicateurs de performance. La formulation d’une politique par objectifs n’est en soi pas nouvelle ; on la retrouve dans toute démarche planificatrice. Ce qui est nouveau c’est que l’Etat, de planificateur est devenu stratège, et qu’il fixe des indicateurs quantifiés de résultats à atteindre. Pour l’enseignement supérieur et la recherche, les indicateurs de la LOLF sont ceux qu’on retrouve dans beaucoup de classements internationaux : nombre de publications ; indice de citations à deux ans ; nombre de brevets ; participation aux programmes cadre européens ; nombre de chercheurs, d’enseignants et d’étudiants étrangers ; pourcentage de diplômés ; taux d’insertion de sortants…. Suivant Annie Vinokur [4] « la LRU a pour vocation de donner aux établissements universitaires la capacité d’être de bons opérateurs de la LOLF en les rapprochant du modèle de l’université entrepreneuriale ». Celle-ci peut se définir comme « une entreprise non marchande ou à but non lucratif, recevant des financements publics et privés mais exerçant aussi des activités commerciales, et disposant de l’autonomie de gestion de ses actifs et de son personnel ; elle doit pouvoir développer des stratégies compétitives, créer des filiales, s’associer avec des entreprises privées… »[5]. Les rapports de l’Etat avec les universités, qui étaient des relations d’autorité, deviennent des relations contractuelles dans lesquelles l’Etat fixe des obligations de résultats. Les outils du NMP sont utilisés en France, moins pour renforcer l’influence du secteur privé (comme certains le prétendent) que le pouvoir de l’Etat.
On peut parler de dérive lorsqu’on voit des indicateurs budgétaires macroscopiques devenir des indicateurs de qualité pour chaque établissement, pour chaque équipe, voire pour chaque individu, et s’établir comme des normes auxquelles les uns et les autres vont chercher à satisfaire, indépendamment de leurs motivations et de leurs démarches propres.
Ce sont ces idées qui inspirent aussi le « Conseil de modernisation des politiques publiques »[6]. Dans ses conclusions relatives à l’enseignement supérieur et la recherche, il est question de rénover « le système de mise sous tension des universités ». On parle de « mise en place d’un financement budgétaire des universités et des effectifs de recherche fondé sur la performance, d’augmentation progressive de la part de financement sur projet de la recherche, de financement effectif des unités de recherche sur leurs performances, y compris pour le financement récurrent ». Il est précisé que « le financement des universités sur la base de la performance sera mis en œuvre par un système d’allocation des crédits fondé sur une formule objectivée et transparente ».
Les chercheurs vont passer un temps considérable à rendre des comptes ou à justifier leurs demandes de moyens, car on va exiger d’eux des informations de plus en plus détaillées et de plus en plus quantifiées. A vrai dire, ceci n’améliorera pas la qualité des informations fournies aux décideurs car les chercheurs inventent des contre-stratégies qui sapent les systèmes de contrôle mis en place. Mais tout ceci aura un impact négatif sur la créativité de la recherche.
DES INDICATEURS POUR QUELS RESULTATS ?
On peut s’interroger sur la pertinence des indicateurs numériques de production selon lesquels les enseignants et les chercheurs sont jugés. On peut se demander si ces indicateurs sont bien conçus et aptes à produire les résultats escomptés. On trouve très peu de choses écrites sur les indicateurs d’un point de vue explicatif. La plupart des auteurs ignorent la façon dont les indicateurs influent sur les organisations, ou bien supposent implicitement que les organisations sont rationnelles et que les indicateurs de performance décrivent bien l’adéquation des résultats aux objectifs[7].
L’un des problèmes est qu’on n’attribue de la valeur qu’à ce qui est mesurable. On induit ainsi une grande dépendance vis-à-vis des indicateurs quantitatifs, et l’on marginalise des activités ou des qualités qui sont difficiles à mesurer mais qui peuvent être plus importantes. Par ailleurs le choix de certains indicateurs n’est pas neutre. Ainsi quand dans les critères de performance des cursus universitaires, on cite « les salaires moyens à la sortie des cursus »[8], on peut imaginer la position que les carrières scientifiques vont avoir dans la hiérarchie qui découlera de cet indicateur…
Les différents acteurs cherchent à « être bons sur les indicateurs ». On ne reviendra pas ici sur les effets pervers de la bibliométrie qui ont fait l’objet d’un précédent article[9]. On pourra consulter également une très intéressante étude réalisée par la « Commission d’Evaluation de l’INRIA »[10]. Cette étude montre que les indicateurs bibliométriques sont avant tout des indicateurs d’impact (ce qui n’est pas synonyme de qualité) , et qu’il ne faut s’attacher qu’aux ordres de grandeurs, car même l’utilisation de sources diverses (qu’il faut d’ailleurs recouper pour obtenir une information pertinente) ne permet pas d’obtenir une grande précision.
Quand un système d’indicateurs se met en place, il est rationnel pour les acteurs de développer des stratégies de conformisme. Et en matière de conformisme, une mention spéciale doit être décernée à la recherche sur programmes où la principale qualité de celui qui répond à un appel d’offres doit être de se couler dans les intentions de ceux qui ont lancé le programme, censé répondre à des besoins économiques ou sociétaux formulés a priori. Le postulant ne risque rien à « promettre la Lune » car il y a rarement de véritable évaluation ex-post des objectifs précis du programme, et l’on pourrait dire que les indicateurs utilisés sont des indicateurs de « performance virtuelle ».
DERIVES DU PILOTAGE PAR INDICATEURS DE PERFORMANCE
On pourrait attendre de ce système une meilleure information des décideurs qui étudient les résultats ou les projets sur la base de ces indicateurs. En fait il leur faut de l’information complémentaire pour juger. La pondération des différents indicateurs est en effet très délicate. Les conséquences que l’on doit en tirer ne sont pas claires : si les résultats d’une institution de recherche sont mauvais, faut-il lui couper les crédits ou, au contraire, lui donner des moyens supplémentaires pour s’améliorer ? Suivant les pays l’allocation de crédits repose sur une formule transparente ou résulte d’une négociation[11]. Si l’on en croit [12], « les indicateurs ne sont pas toujours le moyen de repérer les institutions d’excellence : le pourcentage de publications cosignées entre des chercheurs d’universités d’institutions d’excellence et des chercheurs d’institutions moins prestigieuses a doublé depuis la fin des années 90».
L’exemple australien est bien connu mais mérite qu’on le cite à nouveau. Au milieu des années 90 on a introduit un système de financement de la recherche universitaire basé sur une formule qui intégrait un certain nombre d’indicateurs de performance, dont le nombre de publications dans des revues à comité de lecture. Et beaucoup d’universités ont renforcé ce système en réservant les crédits aux départements ou aux chercheurs qui avaient contribué à les obtenir. Le résultat ne s’est pas fait attendre : le nombre de publications a explosé et la qualité de la recherche (mesurée par le taux de citations) a dégringolé, faisant passer l’Australie au dernier rang des pays de l’OCDE [13]… Certes, on peut arguer que l’indicateur de performance choisi (nombre de publications) n’était pas assez sophistiqué. Mais, sur cet exemple on voit bien que ce mode de pilotage induit une notion « d’efficacité » qui n’est que l’augmentation quantitative des indicateurs de performance que l’on s’est donnés.
Des études existent sur la « réactivité » aux indicateurs, c’est-à-dire sur la façon dont les individus et les institutions réagissent au fait d’être évalués, observés, mesurés, et comment ces mesures influencent le changement[14]. Les mesures sont un procédé robuste pour transporter pratiques et valeurs d’un domaine dans l’autre, par exemple du domaine des affaires à ceux de l’éducation et de la recherche. Cette réactivité a pour conséquences une redistribution des ressources, une redéfinition du travail et une prolifération des stratégies de jeux (gaming strategies).
De façon paradoxale, les mécanismes de financement par l’Etat, associés aux indicateurs, déterminent la politique des établissements beaucoup plus que la compétition scientifique internationale. Lorsqu’on invoque celle-ci, c’est d’ailleurs par la médiation des classements qui utilisent eux aussi des indicateurs de performance dont certains relèvent davantage du « marketing » que de la science[15].
Par ailleurs, l’importance croissante des agences qui attribuent des contrats sur projets introduit un cercle vicieux dans le pilotage sur indicateurs. En effet, parmi les indicateurs de performance retenus il y a de plus en plus le volume de crédits contractuels obtenus par les équipes ou les individus[16], lesquels auront souvent été attribués en fonction d’autres indicateurs et de l’appartenance à des « réseaux d’excellence ». Ce travers est d’autant plus fort en France qu’il n’y a qu’une seule agence (ANR) et que les « programmes blancs » (non finalisés) restent très minoritaires.
QUE PEUT-ON CONTROLER ? QUE DOIT-ON CONTROLER ?
Les sciences de gestion s’intéressent aux théories du contrôle managérial, en prenant en considération la nature de la tâche à contrôler et la connaissance qu’a de cette tâche celui qui est chargé de la contrôler. On peut distinguer trois types de contrôle sur la recherche[17] :
Un contrôle sur ce qui est produit.
C’est ce type de contrôle qui a la faveur des politiques et des médias. Il donne lieu à des classements. Mais il faut pour cela que la production soit relativement stable et homogène. Or la production des chercheurs est fondamentalement évolutive et met en jeu des coopérations complexes. Les indicateurs chiffrés ne sont bons que dans les cas où l’on essaie de comparer la réalité avec un plan préétabli. Dans un univers où la motivation intrinsèque[18] est essentielle, ils sont dangereux. Malheureusement ce sont les systèmes qui sont aujourd’hui le plus en faveur. Ils permettent de prendre des décisions sur une base simple et explicable au public.
Un contrôle sur le processus de production.
Il implique que les évaluateurs aient connaissance des relations de cause à effet. C’est ce qui légitime l’évaluation par les pairs. Mais ce contrôle ne fonctionne bien que dans le cas de la « science normale » et d’innovations scientifiques « incrémentales ». Les vraies innovations ou l’émergence de champs nouveaux sont souvent mal reconnues par un tel processus.
Un contrôle sur le facteur de production (c’est-à-dire ici sur le chercheur lui-même).
Il repose sur le processus de sélection et de formation. Il s’agit de choisir des jeunes à la fois brillants, mais également capables d’autonomie. Ensuite il suffira de leur faire confiance : trop de contrôle entamerait leur motivation intrinsèque. Les jeunes sont intégrés dans de petits groupes où ils apprennent et se socialisent, et au sein desquels on leur garantit une grande autonomie. Dans les premières années de la carrière, les jeunes doivent rendre des comptes aux seniors sur leur maîtrise des standards professionnels. C’est ce type de contrôle qui est mis en œuvre dans le système du tenure track[19].
Ce dernier type de contrôle est présenté dans [20] comme une alternative aux indicateurs chiffrés de production scientifique. Il est d’autant plus important que d’après certaines études[21], le seul facteur décisif de succès d’une université sur le long terme est la qualité des universitaires et des chercheurs (ainsi que le niveau et la qualification des étudiants). Les modes de financement sont moins importants. Ceci explique sans doute que des universités mal gouvernées puissent avoir de la bonne recherche…
La défiance associée aux indicateurs de performance est un sérieux problème dans toutes les organisations. Les systèmes de contrôle peuvent réduire l’enthousiasme des agents et leurs efforts. Il est prouvé que l’autonomie dans le travail est une valeur positive. Au-delà d’un certain niveau de contrôle, on envoie à l’agent le message qu’il n’est pas complètement fiable, et plus on le contrôlera, plus ses efforts diminueront, et une trop grande pression entraînera une détérioration de la performance.
Si l’on suit ce point de vue, sur quoi devrait porter le contrôle des institutions ? Dans [22] les auteurs nous disent :
- Il faudrait que l’institution montre qu’elle a appliqué des règles strictes de sélection des jeunes chercheurs, en matière de qualité scientifique et de capacités d’autonomie.
- Le contrôle devrait aussi porter sur l’autonomie qui est laissée aux chercheurs dans l’institution (le paradoxe étant que certaines entreprises industrielles comme Siemens, Google, mettent en place des dispositifs garantissant de la liberté à leurs chercheurs, alors que la recherche publique est de plus en plus soumise à la tyrannie des indicateurs de production chiffrés).
Ce point de vue peut paraître utopique tellement il est en décalage avec les pratiques qui s’installent, de pilotage par indicateurs de performances. Mais c’est une piste de réflexion très intéressante.
QUELLES PERSPECTIVES ?
La vogue des indicateurs quantitatifs de performance dans l’enseignement supérieur et la recherche ne va pas diminuer de sitôt, en dépit de toutes les critiques que nous avons présentées. Leur principal intérêt est de fournir aux décideurs une base « objective » et « explicable » de leurs décisions. On peut admettre que le budget de l’Etat en fasse usage à un niveau élevé d’agrégation. Mais il est très dangereux d’en faire des normes de pilotage des universités, des départements, des équipes de recherche… Il faut regarder ces indicateurs pour ce qu’ils sont : des éléments de diagnostic, discutables et incertains, souvent biaisés et formatés de façon à justifier des évolutions annoncées (self-fulfilling prophecies). Leur utilisation ne doit pas aller sans leur critique. En aucun cas les « mesures » d’une activité créative ne devraient devenir des normes d’objectifs de cette activité. Le pouvoir politique peut légitimement fixer de grands objectifs, mais le volontarisme a ses limites[23]. Sous peine de démotiver les chercheurs, de les inciter au conformisme et, finalement, d’affaiblir la performance, les dispositifs de contrôle doivent être mis en œuvre par la communauté scientifique elle-même, et les critères doivent en être souples et évolutifs.
