- JFM’s blog - http://jfmela.free.fr/jfmblog -
La Grande-Bretagne réévalue sa réforme de l’évaluation
Posted By JFM On 6 octobre 2009 @ 18:18 In Evaluation | Comments Disabled
Le nouveau projet est susceptible d’être encore modifié d’ici 2013, après l’actuelle consultation, et à l’issue du pilot exercise prévu en 2010. Résumons ici cependant ses principales caractéristiques.
Il est fortement affirmé que le REF doit prendre en considération l’excellence de toutes les formes de recherche. L’évaluation portera sur trois aspects de la recherche intervenant avec des pondérations différentes - indiquées ci-dessous - dans l’évaluation globale[6] [5].
Les comités évaluent la qualité scientifique d’une sélection des meilleures publications et autres productions de l’unité soumise à évaluation. Chaque institution sélectionne les « chercheurs actifs » dont le travail est soumis à évaluation. Chaque chercheur présente 3 ou 4 publications ou autres productions (des productions de toute nature peuvent être présentées).
Draft definitions of levels for the outputs sub-profile :
We have tested the potential for such indicators to replace expert review (at least in science based disciplines) but found that they are not sufficiently robust and would not be acceptable to the Higher Education sector if used in this way. (..) We do not expect that the arts, humanities or many social sciences would opt to use citation information, given the limitations of such data in these subjects.
On entend par là les retombées de la recherche sur l’économie, la société, les politiques publiques, la culture et la qualité de la vie. C’est une préoccupation ancienne de la Grande-Bretagne dont la production de brevets n’est pas à la hauteur de son rang en recherche fondamentale[9] [8] et c’est devenu un leitmotiv aujourd’hui[10] [9].
- Un certain nombre d’études de cas (case studies).
- Une déclaration générale (impact statement) expliquant comment l’unité détecte les opportunités d’application, qui sont les utilisateurs, donnant une vue générale des applications de la recherche de l’unité et de la continuité de ce genre d’activités.
Draft definitions of levels for the impact sub-profile
c) Environnement (15%)
On entend par là principalement l’environnement de recherche : infrastructure, ressources, organisation, stratégie, gestion des ressources humaines… Cet aspect n’est pas nouveau et se retrouve dans toutes les évaluations de la recherche. Nous n’insisterons donc pas. L’idée centrale avancée dans le projet de REF est qu’une appréciation de la qualité de l’environnement de recherche pour des unités dont la production est bien évaluée, donne une indication sur ses capacités à maintenir ses performances à l’avenir. C’est dans cette perspective que la notation sera établie.
We propose to introduce definitions for the starred levels for research environment in terms of the extent to which resourcing, management and engagement are demonstrably in keeping with or conducive to the continuing production of outputs and achievement of impacts at each starred level.
We propose to present the assessment outcomes in the form of an overall excellence profile for each submission, by combining the three sub-profiles for outputs, impact and environment. We will also publish the sub-profiles.
The basis will be recognition of research excellence, with additional recognition for high impact built on that excellence.
Both the overall profile and the sub-profiles will be expressed in terms of the proportions of submitted activity found to reach each of four starred levels.
By way of illustration, a typical REF sub-panel could receive submissions for around 2,000 staff (a maximum of 6,000-8,000 outputs and 200-400 impact case studies), and could operate as follows:
a. Around 20 panel members would be involved in reviewing all aspects of submissions
b. These members could be assisted by around 15- 20 “associate members”: around half of these would be additional practising researchers ; the other half would be additional user members to focus on assessing impact.
c. Although there would be more academic members on panels overall, the impact submissions would be reviewed mainly by the user members.
d. The members could organise themselves into informal sub-groups.
[16] [1] L’Angleterre, l’Ecosse, le Pays de Galles et l’Irlande du Nord, ont chacun leur funding body, mais le RAE était le même pour tout le Royaume Uni.
[17] [2] Voir J-F Méla [18] « Evaluation de la recherche universitaire en Grande –Bretagne » in JFM’s blog
[19] [3] Un certain nombre de documents récents sont consultables sur le site [20] http://www.hefce.ac.uk/ref
[22] [5] La pondération des trois évaluations serait a priori la même pour tous les champs disciplinaires. Les coefficients affichés ici sont provisoires ; une décision finale sera prise après l’exercice pilote de 2010.
[23] [6] Cependant la Higher Education Statistics Agency (HESA) pourra publier les proportions de chercheurs proposés à l’évaluation, ce qui constituera, qu’on le veuille ou non, un élément de comparaison des différents départements et universités.
[24] [7] Un grand nombre de conseils de prudence sont donnés, qui illustrent le caractère sensible de cette affaire.
[28] [9] Dans une lettre du 22 janvier 2009, le secrétaire d’Etat du Department of education and skills insistait beaucoup sur le fait que le REF devrait tenir compte de l’impact économique et sociétal de la recherche.
[29] [10] Une unité ne pourra pas se prévaloir de retombées de sa propre recherche qui auraient été réalisées indépendamment par d’autres.
[30] [11] Cependant une liste d’indicateurs possibles est donnée en annexe du [31] document soumis à la consultation.
[32] [12] Le poids important (25%) attribué à l’évaluation de l’impact a déjà soulevé des réserves. Voir par exemple le [33] communiqué du HEPI.
[34] [13] Lorsqu’on a beaucoup « d’unités d’évaluation », un département de recherche peut avoir un trop grand nombre d’unités de rattachement potentielles.
[35] [14] La réduction notable du nombre d’unités d’évaluation et de sous-comités fait craindre à certains que l’évaluation ne soit pas faite par des pairs compétents dans leur discipline.
Article printed from JFM’s blog: http://jfmela.free.fr/jfmblog
URL to article: http://jfmela.free.fr/jfmblog/?p=135
URLs in this post:
[1] [1]: #_ftn1
[2] [2]: #_ftn2
[3] [3]: #_ftn3
[4] [4]: #_ftn4
[5] nouvelles propositions: http://www.hefce.ac.uk/pubs/hefce/2009/09_38/09_38.pdf
[6] [5]: #_ftn5
[7] [6]: #_ftn6
[8] [7]: #_ftn7
[9] [8]: #_ftn8
[10] [9]: #_ftn9
[11] [10]: #_ftn10
[12] [11]: #_ftn11
[13] [12]: #_ftn12
[14] [13]: #_ftn13
[15] [14]: #_ftn14
[16] [1]: #_ftnref1
[17] [2]: #_ftnref2
[18] « Evaluation de la recherche universitaire en Grande –Bretagne »: http://jfmela.free.fr/jfmblog/?p=14
[19] [3]: #_ftnref3
[20] http://www.hefce.ac.uk/ref: http://www.hefce.ac.uk/ref
[21] [4]: #_ftnref4
[22] [5]: #_ftnref5
[23] [6]: #_ftnref6
[24] [7]: #_ftnref7
[25] [8]: #_ftnref8
[26] l’OST: http://www.obs-ost.fr/
[27] : http://www.obs-ost.fr/
[28] [9]: #_ftnref9
[29] [10]: #_ftnref10
[30] [11]: #_ftnref11
[31] document soumis à la consultation.: http://www.hefce.ac.uk/pubs/hefce/2009/09_38/09_38.pdf
[32] [12]: #_ftnref12
[33] communiqué du HEPI.: http://www.hepi.ac.uk/478-1718/HEPI-response-to-HEFCE%27s-REF-proposals.html
[34] [13]: #_ftnref13
[35] [14]: #_ftnref14
Click here to print.
Copyright © 2007 JFM's blog. All rights reserved.