- JFM’s blog - http://jfmela.free.fr/jfmblog -
Evaluer quoi et pourquoi ?
Posted By JFM On 15 novembre 2008 @ 16:01 In Evaluation | Comments Disabled
UNE REFORME CENTRALISATRICE
PLUSIEURS LOGIQUES D’EVALUATION
L’Etat veut distribuer l’argent en fonction des résultats des opérations qui s’inscrivent dans les programmes de la LOLF. Cependant on entend distinguer le niveau de l’évaluation de celui de la décision budgétaire, et du pilotage. Dans le contexte d’autonomie des universités, il s’agit moins de faire des recommandations aux établissements que de les mettre en face des réalités de leurs accomplissements.
Cependant les notes n’ont pas qu’un usage budgétaire ; elles servent aussi à classer les départements ou unités de recherche aux yeux de la communauté scientifique et du « public ». On est alors dans une logique de « palmarès », avec toutes les conséquences et les déviations qui s’attachent à un tel exercice[8] [8]. Ceci exige a priori une finesse d’appréciation beaucoup plus grande que pour calculer une attribution budgétaire. De plus, si le caractère global de la note n’est pas très gênant pour calculer le montant d’une subvention, il est beaucoup plus discutable lorsqu’il s’agit de quantifier la valeur scientifique d’un laboratoire.
Il est intéressant de noter une différence de points de vues entre les anglo-saxons et nous. La notion « d’unité de recherche » que nous mettons en avant, est très influencée par l’organisation du CNRS. Les universités anglaises ou américaines préfèrent considérer les « départements » et les équipes au sein de ces départements. Reste à savoir ce que l’on note : un département, ses chercheurs, ou des programmes ?
L’évaluation des formations et des diplômes relève d’une toute autre logique. Et l’on peut se demander s’il est pertinent de parler d’évaluation, tant les critères d’un véritable jugement sont difficiles à expliciter. S’il faut en croire l’AERES, « cette évaluation prend en compte tout à la fois la pertinence scientifique et professionnelle de l’offre de formation, tant en termes d’acquisition de connaissances que de développement de compétences. Les modalités de suivi et de validation des acquis sur ces deux aspects : connaissances et compétences sont des éléments importants de l’évaluation. A chaque niveau le souci de l’insertion professionnelle et/ou de poursuite d’études est apprécié en termes de moyens mis en œuvre et de résultats »[13] [13]. Ce cahier des charges est assez ambitieux et flou. Il n’est pas surprenant que les dossiers remis à l’AERES soient le plus souvent énormes et difficiles à traiter[14] [14]. Les établissements restent dans l’ancienne logique de l’habilitation formelle par la Direction Générale des Enseignements Supérieurs (DGES) où il s’agissait de faire bonne impression.
S’agissant des établissements, l’évaluation de l’AERES porte sur « la stratégie de l’établissement en matière de recherche, de formation, de valorisation, de relations avec l’environnement local, régional et international, de politique étudiante ainsi que sur le gouvernement et la gestion de l’établissement ». L’AERES a hérité de la mission du CNE en cherchant à lui donner plus de cohérence, compte tenu de son large périmètre. L’idée est par exemple « qu’on ne peut pas évaluer un établissement si l’on ne connaît pas la qualité de son offre de formation et de sa recherche ». Dans le passé, il est vrai, on pouvait relever des contradictions entre la présentation faite par le CNE de la recherche d’une université et les conclusions de l’évaluation de ses unités de recherche faite par la MSU ou le CNRS. Toute recherche de cohérence est sans doute souhaitable, mais on peut se demander s’il est raisonnable de vouloir faire un rapport institutionnel aussi global sur un établissement. Il faut bien distinguer l’évaluation institutionnelle d’un établissement (assessment of institutional competences) et l’évaluation de sa « valeur » qui relèverait plutôt d’une logique de classement (ranking). Cette distinction a d’autant plus de sens que l’on se place dans un contexte d’autonomie des universités, et que l’on se pose la question des conséquences de l’évaluation. Ce point de vue peut conduire à limiter le champ de l’évaluation à la stratégie et à la gouvernance de l’établissement : politique budgétaire et politique des ressources humaines, notamment, qui peuvent faire l’objet d’une négociation contractuelle. Cette approche se démarque nettement d’une conception d’évaluation « globale ».
Il faudrait maintenant parler d’un aspect tout à fait capital : l’autoévaluation des universités. Nous renvoyons au précédent article du présent blog, intitulé [17] « Soyez l’arbitre de votre évaluation » qui aborde cette question.
EN CONCLUSION
[18] [1] Jean-Yves Mérindol : « Comment l’évaluation est arrivée dans les universités françaises ? ». Revue de la Société d’Histoire moderne et contemporaine (à paraître).
[19] [2] La méfiance vis-à-vis du mode électif de désignation des membres du CoCNRS a sans doute contribué à écarter cette solution. Pourtant, même si la désignation d’experts chargés de l’évaluation scientifique par élection sur listes syndicales peut paraître une aberration, en pratique le CoCNRS ne fonctionnait pas si mal comme instance d’évaluation.
[20] [3] Ceci apparaît notamment dans [21] “L’AERES passée au crible”. Numéro spécial de l’ORS (oct. 2008)
[22] [4] Ces critiques ont porté notamment sur la connaissance insuffisante du dossier par le « comité de visite », sur l’importance parfois exagérée donnée à la visite par rapport à la production scientifique, ainsi que sur la cohérence approximative des notes finales et des analyses des rapports. Les responsables de l’AERES reconnaissent honnêtement les carences des analyses présentées par certains présidents de comités.
[23] [5] Avis sur le projet de décret relatif au fonctionnement de l’AERES (5.09.06).
[24] [6] Ceci ressort également de l’article de l’ORS cité plus haut.
[25] [7] Voir dans le présent blog les articles : [26] « Soyez l’arbitre de votre évaluation » et [27] « Evaluation de la recherche universitaire en Grande-Bretagne ».
[28] [8] Voir dans le présent blog : [29] « La fascination des palmarès internationaux d’universités ».
[30] [9] C’est aussi la solution proposée pour le futur classement des universités européennes.
[31] [10] Peut-on imaginer une unité qui aurait une grande attractivité, une excellente stratégie, mais une production médiocre ?
[32] [11] [33] Rapport de Sir Gareth Roberts
[34] [12] Le Rapport Roberts suggérait de laisser à chaque département la liberté de demander à être évalué sous une forme ou sous l’autre, sachant que la procédure est beaucoup plus lourde dans le second cas.
[37] [14] Comme l’indique le directeur de la section des formations dans l’article [38] “L’AERES passée au crible”. Numéro spécial de l’ORS (oct. 2008).
[39] [15] Chez nous on continue à délivrer des « notes » et/ou à « faire des recommandations ». Ce qui n’influe en rien, d’ailleurs, sur les nombreux palmarès publiés dans la presse, qui expriment avant tout une « réputation » professionnelle ou sociale externe.
[40] [16] [41] Voir le blog Sciences de Sylvestre Huet.
Article printed from JFM’s blog: http://jfmela.free.fr/jfmblog
URL to article: http://jfmela.free.fr/jfmblog/?p=83
URLs in this post:
[1] [1]: #_ftn1
[2] [2]: #_ftn2
[3] [3]: #_ftn3
[4] [4]: #_ftn4
[5] [5]: #_ftn5
[6] [6]: #_ftn6
[7] [7]: #_ftn7
[8] [8]: #_ftn8
[9] [9]: #_ftn9
[10] [10]: #_ftn10
[11] [11]: #_ftn11
[12] [12]: #_ftn12
[13] [13]: #_ftn13
[14] [14]: #_ftn14
[15] [15]: #_ftn15
[16] [16]: #_ftn16
[17] « Soyez l’arbitre de votre évaluation »: http://jfmela.free.fr/jfmblog/?p=81
[18] [1]: #_ftnref1
[19] [2]: #_ftnref2
[20] [3]: #_ftnref3
[21] “L’AERES passée au crible”. Numéro spécial de l’ORS (oct. 2008): http://jfmela.free.fr/jfmblog/wp-content/aeres_supplement-ors.pdf
[22] [4]: #_ftnref4
[23] [5]: #_ftnref5
[24] [6]: #_ftnref6
[25] [7]: #_ftnref7
[26] « Soyez l’arbitre de votre évaluation »: http://jfmela.free.fr/jfmblog/?p=81
[27] « Evaluation de la recherche universitaire en Grande-Bretagne »: http://jfmela.free.fr/jfmblog/?p=14
[28] [8]: #_ftnref8
[29] « La fascination des palmarès internationaux d’universités »: http://jfmela.free.fr/jfmblog/?p=40
[30] [9]: #_ftnref9
[31] [10]: #_ftnref10
[32] [11]: #_ftnref11
[33] Rapport de Sir Gareth Roberts: http://www.ra-review.ac.uk
[34] [12]: #_ftnref12
[35] [13]: #_ftnref13
[36] Missions de la Section des formations et des diplômes de l’AERES.: http://www.aeres-evaluation.fr/Presentation-de-la-rubrique,27
[37] [14]: #_ftnref14
[38] “L’AERES passée au crible”. Numéro spécial de l’ORS (oct. 2008): http://jfmela.free.fr/jfmblog/wp-content/aeres_supplement-ors.pdf
[39] [15]: #_ftnref15
[40] [16]: #_ftnref16
[41] Voir le blog Sciences de Sylvestre Huet.: http://sciences.blogs.liberation.fr/home/2008/11/laeres-prconise.html
Click here to print.
Copyright © 2007 JFM's blog. All rights reserved.