Archive for novembre, 2008

Imprimer cet article Imprimer cet article

Evaluer quoi et pourquoi ?

 

UNE REFORME CENTRALISATRICE

L’une des dispositions phares de la loi de programme pour la recherche du 18 avril 2006 est la création d’une « Agence d’évaluation de la recherche et de l’enseignement supérieur » (AERES) qui est une autorité administrative indépendante à laquelle on attribue une mission quasiment universelle d’évaluation. Elle est chargée d’évaluer les universités et organismes de recherche, les unités de recherche, les formations et les diplômes, et même de valider les procédures d’évaluation des personnels des établissements et organismes. Elle prend ainsi la place du Comité national d’évaluation (CNE), du Comité national d’évaluation de la recherche (CNER), de la Mission scientifique technique et pédagogique (MSTP) et, en partie, du Comité National de la recherche scientifique (CoCNRS).

Une pareille agence n’existe dans aucun autre pays, et l’on peut s’interroger sur les raisons d’une telle concentration. Il est vrai que c’est une caractéristique - assez paradoxale - de la réforme actuelle de prôner d’un côté la décentralisation universitaire et, de l’autre, de mettre en place des instances de pilotage plutôt « jacobines »…

Le thème de l’évaluation a mis du temps à émerger en France, comme le remarque Jean-Yves Mérindol dans un intéressant article historique[1], dans les années 80 sous l’influence de personnalités comme Laurent Schwartz qui fut l’inspirateur et le premier président du CNE. L’évaluation des unités de recherche est arrivée dans les universités via le CNRS et la politique d’association. Ceci explique l’amertume du CoCNRS de se voir aujourd’hui dépouillé de cette évaluation qu’il a contribué à vulgariser. La loi prévoit bien que l’AERES puisse la lui déléguer pour ce qui est du CNRS, mais ce serait un peu contradictoire avec la conception d’une agence unique. La réforme aurait certes pu confier au Comité National de la Recherche Scientifique la mission d’évaluer toutes les unités de recherche, en le détachant du CNRS et en lui donnant une mission enfin conforme à son titre « historique ». Cette solution - au demeurant difficile à mettre en œuvre - n’a pas été retenue[2]

On est passé d’une situation où l’évaluation était émiettée et parcellaire à une autre où elle se voudrait unifiée et totalisante. En confiant brutalement à une unique agence cette tâche immense, on la condamnait à improviser et on ne pouvait espérer qu’elle produise des évaluations fines en toutes circonstances. Mais surtout, par cette globalité qu’on prétendait donner à l’entreprise d’évaluation, on escamotait les questions de fond sur la nature, les objectifs et les conséquences de l’évaluation - ou plutôt des évaluations.

Disons tout de suite que les réflexions que nous livrons ici ne se veulent pas une critique de l’action des acteurs de l’AERES qui ont fait ce qu’ils ont pu. De plus, l’agence a utilisé au mieux l’indépendance que lui donne la loi pour impulser une réflexion sur sa propre activité[3]. Elle s’est attachée à promouvoir une transparence nouvelle des résultats de l’évaluation scientifique, et n’a pas cherché à cacher les appréciations critiques que ses activités ont pu susciter[4]. Cependant on a le sentiment d’un certain flottement des orientations derrière le détail des procédures. C’est que les questions de fond demeurent… C’est là-dessus que porte avant tout notre réflexion, et si l’AERES est souvent citée, c’est dans le souci de rester concret et actuel.

lire la suite…

Imprimer cet article Imprimer cet article

Soyez l’arbitre de votre évaluation

« Soyez l’arbitre » est une traduction de « You are the REF ». C’est l’intitulé d’une intéressante opération lancée par une société de consultants britannique Evidence Ltd dont il sera question plus loin.

LE REF SUCCEDE AU RAE

Auparavant, il faut indiquer que « You are the REF » est un jeu de mots. En effet REF est aussi l’acronyme du Research Excellence Framework qui est destiné à remplacer le Research Assessment Exercise (RAE). Pour ceux qui ne seraient pas familiers avec la recherche d’outre Manche, rappelons que la Grande Bretagne organise depuis 1986, avec une périodicité variable[1], une grande campagne d’évaluation des départements de recherche de toutes les universités, le RAE, dont les résultats sont utilisés pour répartir les crédits récurrents[2]. Cette opération est organisée de façon très professionnelle ; elle se prépare et s’effectue avec un grand souci déontologique et de transparence[3]. Le RAE 2008 sera le sixième et le dernier de la série. Il est appelé à être remplacé par un nouvel exercice d’évaluation, le REF, qui sera largement basé sur des indicateurs quantitatifs de performance. Nous n’entrerons pas ici dans les controverses que cette mutation a provoquées[4]. Les oppositions sont toujours vives, notamment dans les communautés de sciences humaines et sociales, pour des raisons évidentes. Les motivations d’une telle décision ne sont pas moins évidentes. Le RAE (peut-être à cause de ses qualités mêmes) est un exercice extrêmement lourd, à la fois pour ceux qui le font et pour ceux qui le subissent. Il induit dans les universités un certain « conformisme de bons élèves » (les notes ont tendance à augmenter au fil des RAE…), mais l’effort fait par les départements pour bien se présenter au RAE est payé en retour de bien maigres augmentations - voire de la stagnation - des crédits de recherche. Du coup le gouvernement, mais aussi nombre de présidents (vice chancellors) et d’universitaires, estiment que le jeu n’en vaut pas la chandelle.

AU SERVICE DES UNIVERSITES

Evidence Ltd est une société de consultants d’un nouveau genre qui offre un service original d’analyse des performances de recherche en fonction des besoins et des demandes de ses « clients » qui sont principalement des universités britanniques, mais aussi des institutions gouvernementales étrangères. Les membres de son staff (moins d’une dizaine) ont eu des responsabilités dans l’administration de la recherche, les universités, ou dans des programmes de recherche. Comme son nom le suggère, Evidence Ltd fait un grand usage des indicateurs quantitatifs, même si c’est avec une certaine souplesse pour tenir compte des situations locales. Elle utilise des données en provenance de plusieurs sources : la Higher Education Statistics Agency (HESA), les Higher Education Funding Councils comme le HEFCE, la base de données du RAE, et Thomson Scientific avec lequel Evidence Ltd a un accord privilégié de « sous-traitance » pour les données bibliométriques.

lire la suite…



IPSCounter Add-On for Google Sitebar