Imprimer cet article Imprimer cet article

Soyez l’arbitre de votre évaluation

« Soyez l’arbitre » est une traduction de « You are the REF ». C’est l’intitulé d’une intéressante opération lancée par une société de consultants britannique Evidence Ltd dont il sera question plus loin.

LE REF SUCCEDE AU RAE

Auparavant, il faut indiquer que « You are the REF » est un jeu de mots. En effet REF est aussi l’acronyme du Research Excellence Framework qui est destiné à remplacer le Research Assessment Exercise (RAE). Pour ceux qui ne seraient pas familiers avec la recherche d’outre Manche, rappelons que la Grande Bretagne organise depuis 1986, avec une périodicité variable[1], une grande campagne d’évaluation des départements de recherche de toutes les universités, le RAE, dont les résultats sont utilisés pour répartir les crédits récurrents[2]. Cette opération est organisée de façon très professionnelle ; elle se prépare et s’effectue avec un grand souci déontologique et de transparence[3]. Le RAE 2008 sera le sixième et le dernier de la série. Il est appelé à être remplacé par un nouvel exercice d’évaluation, le REF, qui sera largement basé sur des indicateurs quantitatifs de performance. Nous n’entrerons pas ici dans les controverses que cette mutation a provoquées[4]. Les oppositions sont toujours vives, notamment dans les communautés de sciences humaines et sociales, pour des raisons évidentes. Les motivations d’une telle décision ne sont pas moins évidentes. Le RAE (peut-être à cause de ses qualités mêmes) est un exercice extrêmement lourd, à la fois pour ceux qui le font et pour ceux qui le subissent. Il induit dans les universités un certain « conformisme de bons élèves » (les notes ont tendance à augmenter au fil des RAE…), mais l’effort fait par les départements pour bien se présenter au RAE est payé en retour de bien maigres augmentations - voire de la stagnation - des crédits de recherche. Du coup le gouvernement, mais aussi nombre de présidents (vice chancellors) et d’universitaires, estiment que le jeu n’en vaut pas la chandelle.

AU SERVICE DES UNIVERSITES

Evidence Ltd est une société de consultants d’un nouveau genre qui offre un service original d’analyse des performances de recherche en fonction des besoins et des demandes de ses « clients » qui sont principalement des universités britanniques, mais aussi des institutions gouvernementales étrangères. Les membres de son staff (moins d’une dizaine) ont eu des responsabilités dans l’administration de la recherche, les universités, ou dans des programmes de recherche. Comme son nom le suggère, Evidence Ltd fait un grand usage des indicateurs quantitatifs, même si c’est avec une certaine souplesse pour tenir compte des situations locales. Elle utilise des données en provenance de plusieurs sources : la Higher Education Statistics Agency (HESA), les Higher Education Funding Councils comme le HEFCE, la base de données du RAE, et Thomson Scientific avec lequel Evidence Ltd a un accord privilégié de « sous-traitance » pour les données bibliométriques.

YOU ARE THE REF

Le REF n’étant pas encore en place, on ne sait pas exactement quelles méthodes il utilisera, ni même sur quels indicateurs il s’appuiera. Cependant, si l’on se réfère aux documents préparatoires publiés par le HEFCE, il y aurait trois indicateurs principaux : un indicateur de ressources (volume de contrats des agences, de contrats industriels…) ; un indicateur bibliométrique (nombre de publications, de citations) ; un indicateur de ressources humaines (nombre de chercheurs actifs, nombre de thèses…).

Dans ce contexte, Evidence Ltd a eu l’idée de proposer aux universités, en collaboration avec l’éditeur ResearchResearch, un programme de simulation pour calculer le résultat qu’elles pourraient espérer obtenir dans le REF, en se limitant aux trois indicateurs principaux. Les « joueurs » ont le choix de la composition et de la pondération des différents indicateurs… Le but du « jeu » est de permettre à une université de se faire une idée de sa « valeur » par rapport à d’autres dans cette future évaluation, mais aussi d’expérimenter l’influence des indicateurs suivant le poids qu’on leur donne. « Jouer » avec ce programme de simulation ne manque pas d’intérêt pour plusieurs raisons. On réalise concrètement comment le système d’évaluation influe sur le résultat, suivant l’importance accordée à tel ou tel paramètre. On pourra ainsi, le cas échéant, peser sur le formatage final du REF par les autorités et, une fois la nouvelle procédure d’évaluation adoptée et lancée, s’y présenter sous le jour le plus favorable… De façon moins anecdotique, on dispose d’un instrument – certes élémentaire – qui met en évidence les forces et les faiblesses de son établissement. Et du même coup on peut avoir envie de solliciter Evidence Ltd pour avoir une analyse plus fine[5]

On peut sourire ou s’irriter d’une approche - un peu mercantile - de l’évaluation qui paraît s’inscrire dans la tendance au « tout indicateurs ». Mais s’agissant de la répartition des crédits récurrents, il y a fort à parier que c’est cette tendance - en accord avec la nouvelle logique budgétaire - qui finira par s’imposer. Les pouvoirs publics trouvent cette méthode simple et claire. Et tant qu’il s’agit de répartir entre les universités des crédits globalisés au niveau de chaque établissement, il n’y a, au fond, pas grand-chose à redire. Le problème c’est que ce type d’évaluation n’est pas assez fin pour renseigner sur la valeur scientifique réelle d’un laboratoire ou d’une équipe (et certainement pas d’un chercheur). Elle ne permet pas à un établissement de faire du pilotage interne et de définir sa stratégie. Elle ne dispense donc pas d’une autoévaluation.

L’AUTOEVALUATION

L’autoévaluation désigne la capacité des établissements à mesurer eux-mêmes leur efficacité ou leurs performances. Des indicateurs leur sont indispensables pour prendre conscience de leurs points forts et de leurs faiblesses[6]. Mais c’est à eux de déterminer les indicateurs qui sont le plus pertinents dans leur propre cas. Il leur appartiendra, à partir de ce diagnostic sur indicateurs, de mettre en œuvre des évaluations plus fines (faisant appel à des experts) sur des points stratégiques : équipes en difficultés, émergence de nouvelles équipes, restructurations ou projets novateurs…[7]

C’est une culture nouvelle qui doit se développer avec l’autonomie et qui suppose, c’est certain, pas mal de pédagogie. Mais la pédagogie ne suffit pas. Il faut apporter aux universités une aide opérationnelle. C’est en cela que les prestations d’un organisme comme Evidence Ltd peuvent être intéressantes. Ce cabinet de consultants se met au service des établissements pour répondre à leurs besoins en matière d’indicateurs, et les aider à choisir les bons indicateurs pour avoir des points de repère pertinents dans la situation qui est la leur. Et ceci dans une démarche de dialogue qu’illustre assez bien l’exercice de simulation « You are the REF ». En France on pourrait sans doute construire un tel instrument à partir d’un organisme public comme l’OST. Le travail amorcé avec « La Coopérative » va dans ce sens, mais reste beaucoup trop formaté à un niveau collectif national, et manque de moyens financiers et « politiques ».

UN ROLE POSSIBLE POUR L’AERES ?

L’AERES pourrait-elle jouer ce rôle ? L’autoévaluation fait partie de ses préoccupations[8], mais il n’est pas sûr que son approche réponde aux besoins des universités. Sans doute faut-il faire de la pédagogie, proposer des guides et des grilles d’autoévaluation. Sans doute aussi l’évaluation institutionnelle doit-elle pousser les établissements à se doter des outils appropriés : systèmes d’information, outils de gestion, personnels qualifiés… dont beaucoup d’universités sont encore dépourvues Mais on ne peut pas se contenter de rester « en position de spectateur » et de vouloir faire de « l’assurance qualité », c’est-à-dire se borner à contrôler que l’établissement s’est effectivement donné les moyens d’assurer son pilotage stratégique.

Le souhait du président de l’AERES est de parvenir – à moyen terme – à une évaluation des procédures d’auto-évaluation des établissements. « Nous voudrions aller vers une évaluation à la carte, d’où l’importance de l’autoévaluation menée par les établissements ». Il dit encore : L’AERES aura atteint une bonne part de ses objectifs « quand elle ne sera plus indispensable »[9]. C’est une position ambiguë. L’autoévaluation apparaît ici plutôt comme une étape préliminaire de l’évaluation de l’AERES, ainsi allégée jusqu’à devenir un jour « inutile », c’est-à-dire se transformer en une agence d’audit des procédures internes de qualité[10].

Nous suivrons plutôt Jean-Yves Mérindol[11] lorsqu’il dit : « cette autoévaluation, qui devrait être réalisée sous la maîtrise d’ouvrage de chaque établissement, doit se faire via un regard extérieur, première garantie pour éviter la complaisance ou le manque de lucidité.  (..) Et la création de l’AERES, sans l’empêcher, ne l’encourage guère. Une des façons d’avancer serait peut être de suggérer qu’une démarche contractuelle s’ouvre entre l’AERES et les établissements, ceux-ci assurant la maîtrise d’ouvrage de l’évaluation et l’agence en assurant la maîtrise d’œuvre, afin de bien tenir compte des besoins et missions des uns et des autres ». 

L’ambition qui a présidé à la création de l’AERS rend difficile cette démarche car la mission d’évaluation qui lui a été donnée est trop globale, et que son acte de naissance semble la destiner davantage à l’information des décideurs qu’au service des établissements. On devrait distinguer plusieurs types et plusieurs niveaux d’évaluation, interne, externe, des universités autonomes. On ne gagne rien à vouloir tout mélanger.[12]

 


[1] Les RAE successifs ont eu lieu en 1986, 1989, 1992, 1996, 2001, 2008.

[2] Il n’existe pas d’agence nationale d’évaluation à proprement parler mais le RAE se déroule dans des conditions de grande indépendance vis-à-vis des instances ministérielles. Cependant les financements accordés aux universités sont exactement calculés (par des formules) à partir des résultats de cette évaluation.

[3] Cette transparence ne fait pas partie de la tradition française. Elle est sans aucun doute la contribution la plus positive de nouvelle Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES).

[5] C’est une façon habile de faire de sa publicité…

[6] Cette prise de conscience concerne non seulement les instances dirigeantes de l’université, mais la communauté universitaire dans son ensemble, ce qui rend indispensable des références externes admises par tous.

[7] Une notation externe, qu’elle soit faite à partir d’indicateurs ou de rapports d’expertise, ne peut jamais suffire Aujourd’hui, par exemple, si une équipe obtient la note B-, ceci ne nous dit pas si on doit la supprimer, la restructurer, ou lui donner un soutien accru.

[9] Ibid.

[10] Le « Guide d’autoévaluation des établissements d’enseignement supérieur » apparaît davantage comme un guide pour les experts d’une agence de contrôle de qualité (toujours bon à connaître…) que comme un guide opérationnel à l’intention des établissements.

[11] Jean-Yves Mérindol : « Comment l’évaluation est arrivée dans les universités françaises ? ». Revue de la Société d’Histoire moderne et contemporaine (à paraître).

[12] Voir l’article « Evaluer quoi et pourquoi ? » à paraître dans le présent blog.