Imprimer cet article Imprimer cet article

Fluctuations de l’évaluation

On trouvera dans le présent blog un article intitulé « Evaluer quoi et pourquoi ? » écrit en 2008 et qui faisait le point sur l’une des dispositions phares de la loi de programme pour la recherche de 2006 : la création d’une « Agence d’évaluation de la recherche et de l’enseignement supérieur » (AERES) à laquelle était attribuée une mission quasiment universelle d’évaluation (unités de recherche, formations et diplômes, universités et organismes de recherche). Aujourd’hui, à l’appel de l’Académie des Sciences, on supprime l’AERES d’un trait de plume, on reprend tout et on recommence avec un « Haut conseil de l’évaluation de la recherche et de l’enseignement supérieur » (HCERES). Ce n’est certainement pas la fin de l’histoire et s’il est encore trop tôt pour porter un jugement définitif sur cette réforme, il est important d’en situer le contexte et les enjeux.

L’évaluation de l’enseignement supérieur et de la recherche, telle qu’on l’envisage aujourd’hui, est une idée relativement neuve en France. Si l’on remonte aux origines (l’université impériale…), on ne parlait pas alors d’évaluation mais de « contrôle » par des inspecteurs généraux, des recteurs…, et cette tradition étatique s’est perpétuée très longtemps, disons jusqu’aux années 1980. L’évaluation des enseignants du supérieur était limitée aux procédures de recrutement et de promotion. Le CNRS avait mis en place des évaluations individuelles et collectives de la recherche dans ses laboratoires depuis les années 1950, mais il n’existait rien de tel dans les universités. Il ne fut pas question d’évaluation lors du colloque de Caen de 1966, pas plus que dans la loi d’orientation d’Edgar Faure qui crée la nouvelle université française d’après 1968. Ce n’est que dans les années 1980 que ce thème de l’évaluation émerge sous l’influence de personnalités comme Laurent Schwartz, avec la création marquante en 1985 du Comité national d’évaluation (CNE) qui subsistera jusqu’à son intégration dans l’AERES. L’essor du thème de l’évaluation va de pair avec celui de l’autonomie et de la concurrence, comme en témoigne le fameux rapport du Collège de France, rédigé par Pierre Bourdieu en 1985. Mais, paradoxalement, la création de l’AERES témoigne de la permanence du centralisme. S’agissant d’évaluation, on se trouve pris chez nous, en effet, dans des contradictions dont il est difficile de sortir.

L’évaluation des unités de recherche est arrivée dans les universités via le CNRS et la politique d’association, ce qui explique notamment l’amertume du Comité National du CNRS qui, avec la création de l’AERES, s’est vu dépouillé de cette évaluation qu’il avait contribué à vulgariser. C’est largement sous la pression de chercheurs du CNRS que l’AERES a été éliminée, alors que la superstructure ministérielle aurait bien continué à s’en accommoder. Depuis 1986 les effectifs de professeurs et de maîtres de conférences ont doublé. En 2008 on recrutait 3 000 enseignants chercheurs contre 400 chercheurs CNRS. Aujourd’hui les deux-tiers des membres des unités mixtes de recherche (UMR) sont des enseignants-chercheurs, et ces unités ont une existence forte dans les universités. Il ne peut être question d’un simple retour en arrière, et de revenir à l’époque où les organismes dominaient le paysage de la recherche.

Le HCERES

La loi ESR institue un « Haut conseil de l’évaluation de la recherche et de l’enseignement supérieur » (HCERES), qui « peut conduire directement des évaluations ou s’assurer de la qualité des évaluations réalisées par d’autres instances en validant les procédures retenues ». Il est chargé d’évaluer les établissements et leurs regroupements, les unités de recherche, les formations et les diplômes, ou de valider les procédures d’évaluation par d’autres instances ; il est également chargé d’exercer un contrôle sur les évaluations des personnels de l’enseignement supérieur et de la recherche… Il hérite donc de toutes les missions de l’AERES, mais ses procédures et son fonctionnement pourraient être bien différents. Une grande incertitude règne encore à ce sujet. Le rapport que Frédéric Dardel et Denise Pumain viennent de rendre à la ministre, est loin de faire toute la clarté là-dessus. Les auteurs semblent marcher en terrain miné, et leurs propositions sont souvent ambigües. Cependant ils invoquent le modèle de l’ENQA (European Association for Quality Assurance in Higher Education) dont la fonction est de garantir de bonnes pratiques dans les évaluations de l’enseignement supérieur. Mais, au-delà du respect des « bonnes pratiques », ils estiment cependant « très probable que pour une grande part, l’évaluation des laboratoires restera largement organisée par le HCERES. Ceci tient principalement à ce que de nombreuses tutelles sont attachées au caractère uniforme, externe et indépendant des acteurs que garantit l’évaluation organisée par une autorité indépendante, comme le sera le HCERES ». On comprend que certains craignent d’y voir une résurrection de l’AERES[1]. Par ailleurs, le Haut Comité doit contribuer à donner aux décideurs publics une vision stratégique nationale, en s’appuyant sur les données de l’Observatoire des Sciences et Techniques » (OST) qui vient de lui être rattaché[2] : « L’évaluation doit être compatible avec la stratégie nationale de recherche, et elle doit s’inscrire dans le développement de la politique de site, qui jusqu’ici n’a guère été prise en compte dans les procédures dévaluation ». Vaste programme..

Un aspect essentiel est évidemment le lien entre évaluation et prise de décision. Le rapport Dardel-Pumain stipule : « Si l’évaluation constitue bien évidemment une information utile à la prise de décision, ses résultats, même s’ils peuvent être parfois assortis de recommandations, doivent être produits de manière totalement indépendante ». On ne peut qu’approuver cette exigence d’indépendance et le fait que le rapport d’évaluation ne soit pas principalement prescriptif, mais une question centrale demeure : à quoi doit servir l’évaluation ? Le rapport Dardel-Pumain affirme sans ambage que « l’évaluation des unités de recherche est avant tout destinée aux évalués ». Cette affirmation ne pourra que faire plaisir à certains, mais dans toutes les institutions il y a des décisions qui sont prises en termes d’organisation, de financement, de promotions… et la logique veut qu’elles soient prises sur la base d’évaluations. En matière de recherche, dans la communauté scientifique, nul besoin d’un haut comité pour savoir ce que valent les uns et les autres : c’est au travers des publications, des prix, des invitations, des recrutements… que cette valeur s’apprécie publiquement. L’évaluation dont il est question ici concerne plutôt le rapport des évalués aux instances de décision. Pour les universités, l’enjeu principal est le dialogue avec la tutelle et la répartition des moyens, notamment dans le cadre de la contractualisation.

Conséquences de l’évaluation

Le caractère systématique de l’évaluation posé comme principe de base ne se justifie que si cette évaluation a des conséquences. Mais, par le passé, les critiques n’ont pas manqué pour souligner la confusion entre mission d’évaluation et répartition des crédits récurrents[3]. On peut donc s’étonner de ce que recommande l’Académie des Sciences : « Confier l’évaluation à ceux qui donnent les postes et les financements ».

Une question sous-jacente est de savoir quel sera à l’avenir le mode de financement de la recherche : crédits récurrents accordés aux unités de recherche ou crédits accordés à des projets par les agences de programmes. Lorsque le financement sur projets représente 80 à 90 % du budget d’un laboratoire (comme c’est parfois le cas), c’est l’évaluation par les agences qui distribuent les moyens qui devient pertinente. Aujourd’hui, quoiqu’en diminution, le budget de l’ANR reste d’environ 700 M€ pour un budget recherche MESR de 7,77 Md €.[4].

Lorsque les dotations sont globalisées par université, l’auto-évaluation, appuyée sur les évaluations externes, est un complément indispensable. Il appartient en effet aux établissements, à partir d’un diagnostic extérieur, de mettre en œuvre, le cas échéant, des évaluations plus fines sur des points stratégiques : équipes en difficulté, émergence de nouvelles équipes, de nouvelles formations, restructurations ou projets novateurs.

La notation par l’instance d’évaluation est rejetée par beaucoup, notamment les syndicats. On peut discuter à perte de vue de la nature de cette notation, unique ou multiple, synthétique ou multicritères, mais faut-il rejeter toute idée de notation ? Evidemment si on voit l’évaluation comme destinée aux évalués, la notation a quelque chose de trop rigide par rapport à un message que l’évaluation peut délivrer pour améliorer les pratiques. Mais, qu’on le veuille ou non, il y a toujours une idée de « sanction » dans une évaluation. Les chercheurs qui hurlent contre la notation, n’hésiteront pas à classer des candidats, des unités, des demandes de crédits, et un classement n’est-il pas une notation en soi ? Dans la société scientifique française largement dominée par les concours, il est paradoxal de voir cette opposition sans nuance à toute notation… Une notation, aussi simpliste soit-elle parfois, a l’avantage de la clarté ; on peut la contester publiquement, à la différence d’une appréciation qualitative moins transparente et moins objectivable[5]. Un caractère négatif des notes est évidemment « l’effet palmarès » sur les évalués qui vont modifier leur comportement pour avoir une bonne note. Les anglais délivrent un profil de notation. Ceci est d’autant plus nécessaire pour eux qu’ils ont des départements pluriels mais pas d’unités de recherche à la française. C’est une tendance assez générale aujourd’hui de vouloir diversifier la notation, mais la mise en relation de la note (ou des notes) et des crédits récurrents attribués (comme le font les anglais) a l’avantage de la transparence[6]. Certes le côté « mécaniste » peut prêter à critique, mais s’agissant de crédits globalisés au niveau de chaque établissement, la répartition pourra être ensuite lissée en fonction de considérations locales plus fines.

Qui évalue ?

La composition des comités d’évaluation est un sujet sur lequel il n’existe pas de consensus chez nous. Tout le monde s’accorde sur le fait que l’évaluation scientifique soit conduite et réalisée par des pairs. Mais comment sont-ils choisis ? Là est la question ! Au CNRS les comités sont composés en majorité d’élus. Ce n’est pas le cas dans la plupart des pays, et l’on trouve une grande variété de situations de niveau (comité national ou local) et de mode de désignation. Ainsi en Grande-Bretagne, lors des grandes campagnes périodiques d’évaluation (tous les 5 ou 6 ans), les présidents et membres des commissions d’évaluation sont désignés par les directeurs des quatre « Higher education funding councils » de Grande-Bretagne. Pour les présidents de commission, cela se fait sur la base de candidatures. Les autres membres de chaque commission sont désignés sur avis du président, parmi des personnalités proposées par une grande variété d’organisations scientifiques[7]. En Allemagne la DFG est pilotée par un « sénat » élu par une assemblée générale de représentants des institutions membres (universités, académies, institut Max Planck, Institut Fraunhofer…), qui ratifie la désignation des comités d’experts. Cette pluralité de situations  est peut-être la preuve que le mode de désignation n’est pas aussi essentiel que certains le prétendent, pourvu qu’un minimum de règles déontologiques soit respecté. Ainsi le fait que les membres du comité national du CNRS soient élus sur listes syndicales n’a pas été une si grande catastrophe, en dépit des critiques qui lui ont été fréquemment adressées. Une proposition faite naguère lors des assises nationales de la recherche, pour la constitution des comités, me paraît rétrospectivement assez raisonnable : un tiers d’élus, un tiers de nommés, cooptant conjointement un troisième tiers de personnalités, avec une certaine proportion d’étrangers. Mais on peut avoir d’autres idées…

L’évaluation des formations

Jusqu’ici nous avons surtout parlé de la recherche qui est sans doute le sujet le plus délicat de l’évaluation, et celui qui avait mobilisé les critiques les plus virulentes contre l’AERES. Pourtant, en matière d’évaluation des formations et des diplômes, la situation était beaucoup moins reluisante ; mais il est vrai que les enjeux sont moins importants puisque le financement de l’enseignement se fait, pour l’instant, au nombre d’étudiants plutôt qu’à la qualité des formations et à leur réputation.[8]

Le processus d’évaluation devrait connaître une évolution profonde, en rapport avec le passage de l’habilitation des formations à l’accréditation des établissements en vue de la délivrance des diplômes[9]. En principe, on devrait passer d’une évaluation ex ante de maquettes détaillées à une évaluation ex post des formations existantes, replacées dans un champ de formation plus large, à l’échelle des établissements et du site dans lequel elles s’inscrivent. L’évaluation des résultats d’une formation est extrêmement délicate, tant les déterminants sociaux et économiques sont forts et difficiles à appréhender. S’il s’agit seulement de juger des conditions de la formation, des moyens mis en œuvre…, on est plutôt dans une logique « d’assurance de la qualité » que d’évaluation à proprement parler.

A côté de la recherche se pose la question de l’évaluation de l’enseignement et des autres tâches des universitaires. Disons le clairement : cette évaluation est impossible au niveau national ; l’absence de toute évaluation sérieuse vient du refus de la réaliser au niveau local (y compris par les étudiants). Contre le spectre du localisme, on brandit le Conseil National des Universités (CNU), nonobstant quelques péripéties récentes « d’auto-promotion ». On ne croit pas à l’autonomie… Mais comment font-ils dans d’autres pays ? Le CNU n’a d’équivalent nulle part en dehors de nos frontières. Son destin est de disparaître tôt ou tard, ou en tout cas de voir son rôle s’estomper.

L’évaluation institutionnelle

Il faut bien distinguer l’évaluation institutionnelle d’un établissement et l’évaluation de sa « valeur » qui relèverait plutôt d’une logique de classement (ranking). Cette distinction a d’autant plus de sens que l’on se place dans un contexte d’autonomie des universités, et que l’on se pose la question des conséquences de l’évaluation. Ce point de vue peut conduire à limiter le champ de l’évaluation à la stratégie et à la gouvernance de l’établissement, spécialement aux aspects qui peuvent faire l’objet d’une négociation avec la tutelle  (politique budgétaire, politique des ressources humaines).

On peut admettre que le budget de l’Etat fasse usage d’indicateurs à un niveau élevé d’agrégation. Mais il est très dangereux d’en faire des normes de pilotage des universités. Il faut regarder ces indicateurs pour ce qu’ils sont : des éléments de diagnostic, discutables et incertains, souvent formatés de façon à justifier des évolutions annoncées. Il faut y être attentif car les mécanismes de financement par l’Etat, associés aux indicateurs de performance déterminent la politique des établissements beaucoup plus que la compétition scientifique internationale.

Conclusion

Il est bien difficile de conclure, tant les perspectives sont instables. Au-delà de la volonté des organismes de recherche de récupérer la maîtrise de leur évaluation, on voit mal le système qui va succéder à l’AERES. On imagine mal un basculement dans un système à l’américaine où ce sont les universités qui, chacune pour son compte, évaluent à travers des dispositifs très sophistiqués. Ce serait une petite révolution, mais les universités françaises le voudront-elles ? Et peut-on imaginer un système boiteux où la recherche universitaire serait évaluée nationalement tandis que les organismes auraient pris leur indépendance, alors qu’aujourd’hui il y a tant d’unités mixtes ? Mais « ce n’est pas rendre un service aux universités que de vouloir les (laisser se faire) chaperonner par crainte du grand méchant loup-organisme »[10].

De plus il faut prendre en compte le lien entre évaluation et financement. Aux Etats-Unis où les agences jouent un grand rôle, l’attribution des grants vaut évaluation favorable pour ceux qui les reçoivent. Chez nous le financement sur projet prend de l’ampleur, mais il n’est pas dominant et il se heurte à de vives oppositions (qui ont récemment conduit à une diminution du budget de l’ANR).

En France on préfère, comme à l’ordinaire, les dénonciations frontales aux améliorations incrémentales. Comme si un dispositif de gouvernance, d’organisation, de pilotage, pouvait sortir tout armé de la cuisse de l’Etat. N’importe quelle analyse historique montrera que ces dispositifs sont, le plus souvent, les produits de réajustements graduels en fonction de l’expérience.

Il est vraisemblable qu’on aura toujours, en France, intervention d’une instance nationale, qu’elle s’appelle Haut Conseil ou autrement, et il n’est pas clair que les procédures d’évaluation ou d’accréditation seront substantiellement simplifiées et décentralisées. En matière de recherche il serait alors plus raisonnable de s’inspirer du système britannique, qui est loin d’être sans défaut, mais qui est davantage compatible avec le système français par sa dimension normative et son pilotage national, ainsi que par le caractère dual du financement (récurrent et sur projets). Il respecte l’autonomie des universités et leur rôle d’opérateurs de recherche.

La pratique de l’auto-évaluation est un point de convergence entre tous les systèmes d’évaluation. La France déclare vouloir la mettre en œuvre, après certains de ses partenaires, L’internationalisation de la recherche, en premier lieu au sein de l’espace européen, contribue nécessairement à homogénéiser les pratiques. La France serait bien inspirée de suivre le même chemin, comme elle semble vouloir le faire, avec l’accréditation des établissements pour la délivrance des diplômes (le principe en est acté ; reste la mise en œuvre).

Avec l’AERES on avait une confusion entre des missions qu’il est indispensable de distinguer. Plusieurs niveaux d’évaluation, interne, externe, des universités autonomes sont nécessaires et requièrent des approches différentes. On ne gagne rien à tout mélanger…



[2] On ne sait pas quel sera exactement le rôle de l’OST dans les évaluations des établissements.

[3] C’était un reproche qu’on faisait à la Mission scientifique universitaire (MSU) que l’auteur de l’article a dirigé il y a une dizaine d’années, et qui avait cette double fonction d’évaluation et d’attribution de moyens pour la recherche universitaire.

[4] Par comparaison la NSF qui dispose d’environ 15% du budget fédéral de recherche fondamentale, fournit plus de 20% du financement fédéral pour la recherche fondamentale exécutée dans le secteur académique

[5]  Dans le rapport Dardel-Pumain il est proposé « que le Haut Conseil produise une fiche formelle d’évaluation, avec une série d’avis et de recommandations clairs sur une grille de critères qualitatifs adaptés à la situation des unités évaluées ». Comprenne qui pourra…

[6] Mais aux Pays-Bas, par exemple, l’évaluation ne débouche pas sur des dotations ; elle est plutôt destinée à l’élaboration stratégique des universités.

[8] A l’avenir la situation pourrait changer si les universités pratiquaient une plus grande sélection et si on introduisait des droits d’inscription moins symboliques. Les étudiants seraient alors plus attentifs à la valeur des formations.

[9] Voir l’arrêté du 22 janvier 2014 dont il est difficile de prévoir les modalités concrètes d’application. Le dossier d’accréditation mentionné en annexe paraît exagérément détaillé.

[10] Rémy Mosseri, Ibid.