- JFM’s blog - http://jfmela.free.fr/jfmblog -

Evaluation de la recherche universitaire en Grande-Bretagne

Posted By JFM On 6 mars 2007 @ 22:49 In Evaluation, Recherche | Comments Disabled

1- Introduction

La Grande-Bretagne est une référence en matière de recherche fondamentale et d’enseignement supérieur en Europe.

Top 10 Countries in the World - Nobel Prizes in Science 1951 to 2005

Country of Citizenship

Chemistry

Physics

Medicine

Total Nobel Prizes

Nobel Prizes-Science

Nobel Prizes

Nobel Prizes

Nobel Prizes*

In Science 1951-2005

 

102*

123*

125*

350*

1. United States

48 (47%)

75 (61%)

72 (58%)

195 (56%) of all Prizes
2. Great Britain

19 (19%)

7 (6%)

19 (15%)

45 (13%)

3. Germany

10 (11%)

13 (11%)

9 (7%)

32 (9%)

4. Russia

1 (1%)

9 (8%)

2 (2%)

12 (4%)

5. France

1 (1%)

4 (3%)

5 (4%)

10 (3%)

6. Sweden

0

2 (2%)

6 (5%)

8 (2%)_

6. Japan

4 (4%)

3 (3%)

1 (1%)

8 (2%)

8. Canada

3 (3%)

2 (2%)

0

5 (2%)

8. Dutch

1 (1%)

4 (3%)

0

5 (2%)

8. Switzerland

2 (2%)

0

3 (2%)

5 (2%)

*Includes the remaining countries of the world that won 26 Nobel Science Prizes
1951 to 2005 Chemistry 13 (13%) Physics 4 (3%) Medicine 9 (6%) Total 26 (5%)

Médailles Fields :
Sur la même période, 46 médailles Fields ont été décernées :
USA (12), France (9)[1] [1], URSS/Russie (8), Grande-Bretagne (5), Japon (3), autres pays (9).

Dans le classement de Shangaï, depuis le début, on trouve 4 universités anglaises (Cambridge, Oxford, Imperial College, University College London) parmi les 25 premières, et 2 (Cambridge et Oxford) parmi les 10 premières. Dans le classement de 2006, Cambridge apparaît même à la deuxième place, juste derrière Harvard.

Un très bonne « productivité »
Avec une proportion de chercheurs de moins de 6 pour mille emplois (contre 8 en France) la part mondiale de la Grande-Bretagne dans les publications scientifiques est d’environ 8% contre 5% pour la France, avec un indice d’impact supérieur.Ces performances, ainsi que celles mesurées en nombre de récompenses internationales, sont supérieures aux nôtres pour un PIB comparable avec une dépense totale moindre (1,88% contre 2,18%)[2] [2] et une part de financement public inférieure (0,69% contre 0,89%).Les positions britanniques sont très fortes dans les sciences de la vie ainsi qu’en opto-électronique.La position de la Grande Bretagne en matière de brevets est comparable à la notre et nettement surclassée par l’Allemagne.

La Grande-Bretagne concilie un système d’universités publiques très autonomes, avec un pilotage étatique souple, d’une très grande lisibilité.

Il est intéressant d’analyser le système britannique car il n’est pas si éloigné du notre et que son dispositif d’allocation des crédits récurrents peut être mis en parallèle avec notre « contrat recherche »

2- La structure des universités

L’Angleterre compte 170 établissements d’enseignement supérieur, dont 115 universités et 55 « colleges ».

Chaque université a son organisation propre (avec des particularités dues à l’Histoire pour les plus anciennes). Mais, en dehors peut-être d’Oxford et Cambridge, on retrouve partout les mêmes principes d’organisation.

L’université est présidée par un « chancellor » qui a un rôle honorifique. Elle est dirigée par le « vice-chancellor » qui est un « professionnel » du management universitaire (c’est souvent un universitaire mais il peut aussi être issu du monde de l’entreprise ou de la fonction publique). Il est assisté de pro-vice-chancellors qui sont, le plus souvent, des universitaires. Nommé par le « council », après consultation du « Senate », pour une période renouvelable, il négocie son salaire.

University council [3] [3]:

C’est l’organe dirigeant de l’université du point de vue de la stratégie (après consultation du « Senate » pour les aspects académiques), du management et des finances. De taille réduite (25-30 membres), la communauté universitaire y est représentée (y compris les étudiants) mais de façon minoritaire.

Composition (Université de Sheffield)[4] [4] :

The Chancellor
The Pro-Chancellors
The Treasurer
The Vice-Chancellor

The Pro-Vice-Chancellors

The Chairman of Convocation
One Person Elected by Convocation
Thirteen Persons Appointed by the Council
Two Deans of the Faculties
Five members of the Senate elected by the Senate
Two Officers of the Union of Students

One person to be elected by and from the employees of the University who are not members of the academic or academic related staff.

Senate [5] [5]:

Présidé par le vice-chancellor, il est compétent pour les affaires académiques (recherche, enseignement) et fait des recommandations au « university council ».

Composition (Université de Sheffield) :

C’est une instance nombreuse qui comprend, outre l’équipe de direction, les doyens de facultés (7), les chefs de départements (58), des représentants élus des professeurs (28) et des étudiants (15).

3- Le système de financement de la recherche

Système dual

Le financement structurel de l’enseignement supérieur et de la recherche, est assuré par trois institutions, les « Higher Education Funding Councils » pour l’Angleterre (HEFCE), l’Ecosse (SHEFC) et le Pays de Galles (HEFCW), auquel il faut ajouter le « Department for Employment and Learning » (DEL) pour l’Irlande du Nord.[6] [6]

Il y a par ailleurs des agences sectorielles (« Research councils ») de financement sur projets qui dépendent de l’OST (« Office of Science and Technology ») lui-même rattaché au Ministère du commerce et de l’industrie. L’OST est dirigé par le « Chief Scientific Adviser » du gouvernement.

Il n’existe rien de comparable au CNRS. On trouve des instituts thématiques dépendant plus ou moins directement des agences de moyens (« Research councils »), mais la recherche non finalisée est rattachée aux universités.

La somme des crédits structurels distribués par les HEFC et des crédits incitatifs attribués par les agences représentent plus de la moitié du financement de la recherche universitaire (le reste provenant de contrats industriels, de fondations, de subventions publiques diverses). La part relative des crédits incitatifs n’a cessé d’augmenter, ce qui suscite un débat assez vif [7] [7].

Higher Education Funding Council for England (HEFCE) :

Créé en 1992, il a compétence sur l’ensemble des universités et des instituts polytechniques d’Angleterre (qui ont été transformés en universités). Rattaché au Ministère de l’Education (« Department of Education and Skills »), il jouit d’une grande autonomie.[8] [8]

Dirigé par un Conseil (« Board ») d’une vingtaine de membres qui sont nommés par le ministre de l’Education (Secretary of State for Education and Skills) pour 3 ans (avec possibilité de renouvellement). Il s’agit de scientifiques mais aussi de quelques industriels. Les positions font l’objet d’une publicité dans la presse pour susciter des candidatures.

Le “Board” se réunit 7 fois par an (sur une matinée en principe). Il décide sur la base des rapports de son directeur (« chief executive ») qui a à sa disposition une importante structure administrative. Il respecte un code d’éthique strict. Il comprend 5 comités principaux dont celui de la recherche.

Le HEFCE finance les dépenses d’infrastructure de la recherche, les bibliothèques et les équipements informatiques collectifs.

Le financement comprend le soutien de base, mais aussi des fonds pour la formation doctorale et l’émergence de nouveaux sujets. Il a vocation à être complété par les financements sur projets distribués par les agences.

Il s’appuie essentiellement sur les évaluations du « Research Assessment Exercise » (RAE)[9] [9] qui est une campagne d’évaluation de la recherche universitaire conduite, avec une périodicité variable, dans l’ensemble du Royaume-Uni. Le premier RAE date de 1986[10] [10], suivi d’autres en 1989, 1992, 1996 et 2001. Le prochain est programmé en 2008.

Le budget recherche du HEFCE en 2006-2007 est de 1.342 M£[11] [11]. Il se répartit entre

- Crédits distribués en fonction de l’évaluation par le RAE (« Quality-related funding » ou « QR funding ») : 1318 M£ (soit 98%)[12] [12]

- Crédits destinés à l’émergence (« Research capability funding ») : 22 M£

Le budget des agences ( « Research councils ») en 2006-07 est de 2.600 M£ (ce budget concerne l’ensemble du Royaume Uni).

Les dotations de QR funding distribuées par le HEFCE sont calculées (par des formules mathématiques) à partir des notes attribuées par le RAE à chaque département. Elles sont ensuite globalisées au niveau de chaque université qui répartit sa subvention comme elle l’entend.

Les notes délivrées par le RAE sont sur une échelle 1, 2, 3b, 3a, 4, 5, 5*.

Les départements[13] [13] qui ont obtenu une note inférieure à 4 ne reçoivent plus aujourd’hui aucun QR funding[14] [14].

En 2006-07, les coefficients de pondération[15] [15] suivants sont appliqués en fonction des notes :

Notes : 3b 3a 4 5 5*

Coefficients : 0 0 1 2,1198 3,9478

Référence : [16] http://www.hefce.ac.uk/research/funding/QRfunding/

Le « Research Capability Fund » (22 M£ en 2006-07) est destiné à soutenir des recherches émergentes dans de nouveaux domaines où la recherche de base n’est pas aussi forte que dans les domaines bien établis. Les sujets émergents (« emerging subjects ») soutenus par ce fonds sont :

- Arts et design

- Communication (« Cultural studies »)

- Arts dramatiques

- Professions paramédicales

- Travail social

- Sports

Les crédits sont accordés sur avis de commissions d’experts (un pour les sujets liés aux arts et à la communication, un autre pour ceux liés à la santé, au travail social et aux activités sportives).

Research councils

On compte 8 agences (”research councils”) qui financent des recherches dans de nombreux domaines allant de la biomédecine et la physique des particules, à l’environnement, l’ingénierie et l’économie.

Ce sont :

- Engineering & Physical Sciences Research Councils (EPSRC)[17] [16]

- Council for the Central Laboratory of the Research Councils (CCLRC)[18] [17]

- Medical Research Council (MRC)[19] [18]

- Biotechnology & Biological Sciences Research Council (BBSRC)[20] [19]

- Natural Environment Research Council (NERC)[21] [20]

- Particle Physics & Astronomy Research Council (PPARC)[22] [21]

- Economic & Social Research Council (ESRC)

- Arts & Humanities Research Council (AHRC)[23] [22]

Les « Research councils » dépendent de l’OST (« Office of Science and technology ») lui-même rattaché au Ministère du commerce et de l’industrie. L’OST est un outil du gouvernement pour développer les applications de la recherche pour satisfaire les besoins économiques et sociaux. Il est rattaché au ministère de l’Industrie. Il est dirigé par le « Chief Scientific Adviser » du gouvernement. Les « Research councils » bénéficient d’une certaine autonomie à l’intérieur de l’OST. Ils sont regroupés (avec l’AHRB) dans une organisation fédérative “Resarch Council UK” (RCUK).

Budget 2006-2007 des research councils : 2.600 M£

Montant des grants allant aux universités : 800 M£

auquel il faut rajouter environ 300 M£ de bourses (« postgraduate awards»).

Outre leurs propres instituts et grands équipements, les différents “Research councils” financent la recherche universitaire au travers de programmes thématiques, mais aussi en soutenant des projets proposés par les chercheurs eux-mêmes (programmes blancs). Ils accordent des “grants” et des “fellowships” (souvent couplés), suivant une variété de procédures qu’il n’est pas question de décrire ici. Par ailleurs ils financent 15.000 bourses de thèses.

Il existe toute une panoplie de fellowships (emplois contractuels à plein temps ou à temps partiel) correspondant à des niveaux variés de chercheurs : post-doctoral fellowships, advanced research fellowships, senior research fellowships (pour des professeurs qui sont déchargés d’enseignement), academic fellowships (pour de jeunes chercheurs confirmés avant intégration dans une position universitaire).

3- Le Research Assessment Exercise (RAE)

Le RAE 2001

La recherche est classée en 67 domaines d’évaluation (« units of assessment ») avec pour chacun une commission d’experts (en majorité des universitaires avec quelques représentants du secteur des entreprises).

Chaque établissement présente des dossiers, département par département[24] [23], dans autant de domaines qu’il veut. Ces dossiers ont une forme standard. Ils comprennent une liste des « chercheurs actifs » avec 4 publications (au plus) pendant la période de référence. La liste des chercheurs présentés est laissée à l’initiative de l’université, mais on doit indiquer quelle proportion de l’effectif du département cela représente.[25] [24]

Notes attribuées : 1, 2, 3a, 3b, 4, 5, 5*

La notation est codifiée de façon précise :

5* (5 star) Levels of international excellence in more than half of the research activity submitted and attainable levels of national excellence in the remainder.

5 Levels of international excellence in up to half of the research activity submitted and attainable levels of national excellence in virtually all of the remainder.

4 Levels of national excellence in virtually all of the research activity submitted, showing some evidence of international excellence.

3a Levels of national excellence in over two-thirds of the research activity submitted, possibly showing evidence of international excellence.

3b Levels of national excellence in more than half of the research activity submitted.

2 Levels of national excellence in up to half of the research activity submitted.

1 Levels of national excellence in virtually none of the research activity submitted.

Toutes les commissions d’experts publient des guides d’évaluation qui rendent transparentes leurs méthodes de travail, ce qui n’empêche pas des ambiguïtés d’interprétation

Le RAE 2001 a fonctionné avec une soixantaine de commissions d’évaluation de 9 à 18 membres. La moitié des commissions a institué des sous-commissions qui comprennent des experts extérieurs aux commissions. Il est également fait appel à des experts isolés et toutes les commissions consultent des experts étrangers. Chaque commission expose publiquement ses méthodes de travail et d’évaluation.

Constitution des commissions :

Il y a des propositions émanant d’un grand nombre d’organisations (sociétés savantes, associations scientifiques ou professionnelles, monde industriel,..)[26] [25]. Les HEFC désignent les présidents des commissions, puis les membres de chaque commission sur proposition de son président.

Bilan et observations

Dans le RAE 2001, 80% des départements ont obtenu une note 4, 5 ou 5*, et 55% ont obtenu 5 ou 5* ; la part de chercheurs actifs dans les départements classés 4, 5 ou 5* est passée de 43% en 1996 à 64% en 2001. Cette considérable « amélioration » par rapport au RAE 1996, n’est pas sans poser problème, ceci d’autant plus que le financement n’a pas augmenté en rapport.

Coefficients de pondération pour le financement basé sur le RAE de 1996 :

Notes : 3b 3a 4 5 5*

Coefficients : 1 1,5 2,25 3,375 4,05

Coefficients de pondération pour le financement 2002-03 basé sur le RAE 2001 :

Notes : 3b 3a 4 5 5*

Coefficients : 0 0,31 1 1,89 2,71

Coefficients de pondération pour le financement 2004-05 basé sur le RAE 2001 :

Notes : 3b 3a 4 5 5*

Coefficients : 0 0 1 2,793 3,362

Coefficients de pondération pour le financement 2006-07 basé sur le RAE 2001 :

Notes : 3b 3a 4 5 5*

Coefficients : 0 0 1 3,119 3,947

Indépendamment de la rationalité qu’il y a derrière ces coefficients, l’évolution va vers davantage de sélectivité.[27] [26]

Entre 1996 et 2001, l’augmentation du nombre de bonnes notes et la croissance limitée des budgets a évidemment joué : les responsables du HEFC ont voulu préserver les crédits des départements classés 5* ; ce faisant ils pénalisaient automatiquement ceux moins bien classés qui avaient fait des efforts pour augmenter leur qualité, ce qui ne pouvait qu’engendrer du mécontentement.

Il est essentiel de comprendre et d’analyser les effets d’un tel dispositif sur les opérateurs de recherche aux différents niveaux : universités, départements, chercheurs. Il introduit une dynamique qui peut se comparer à celle de notre contrat recherche.

Une différence importante est que les HEFC maîtrisent complètement le « cahier des charges » du RAE. En particulier, ils déterminent ce que seront les unités d’évaluation (« units of assessment ») en termes de domaines, et comment la qualité de la recherche sera évaluée. Ces indications sont publiées avant le démarrage du RAE. Les HEFC maîtrisent aussi la clé de répartition des crédits en fonction de l’évaluation. Mais ceci intervient à l’issue du RAE.

Cette clé de répartition était déjà subodorée avant le RAE 2001 et beaucoup d’institutions ont pratiqué une autocensure sur des dossiers dont il était évident qu’ils obtiendraient une note inférieure à 3a.

D’une manière plus générale, les universités sont conduites à auto-évaluer leurs performances en utilisant les mêmes indicateurs que le RAE et, à organiser leurs départements conformément aux unités d’évaluation fixées dans le RAE (« game playing »). Par ailleurs l’enveloppe globale obtenue pour la recherche influera évidemment sur l’importance relative que l’université accordera à la recherche parmi ses différentes missions. Enfin la globalisation de cette dotation (que les universités sont libres de répartir comme elles l’entendent) implique de leur part l’affirmation d’une politique scientifique qui s’inscrit dans un contexte de compétition entre établissements.

La transparence des critères (nombre de chercheurs publiants et niveau des publications) et de leurs conséquences en termes de financement, incite les départements à faire de bons recrutements. Les conséquences sur l’activité individuelle des professeurs en place (qui bénéficient de la « tenure ») sont tout aussi problématiques que chez nous.

4- Critiques et réformes du RAE

Le RAE 2001 a suscité de nombreuses critiques qu’on peut résumer ainsi :

Tout d’abord un motif d’irritation des universités est la quantité de temps et de travail qui y consacrée, comparée à l’absence de financement supplémentaire qui résulte le plus souvent de l’évaluation. Mais au-delà de cette irritation, on trouve des critiques de fond.

Eric Thomas, « vice-chancellor » de l’université de Bristol (qui est dans le « top ten ») formule les observations et les griefs suivants :

- Le RAE tel qu’il a fonctionné a effectivement contribué à développer la culture du management de la recherche dans les universités. Mais aujourd’hui il a des effets pervers par ses distorsions et ses lourdeurs.

- La raison d’être de l’évaluation est de fournir une base au financement. On ne peut donc pas faire abstraction du mécanisme de financement lui-même.

- Il est vraisemblable que la recherche universitaire s’est améliorée, mais la « robustesse » du système actuel tient au fait que les universitaires connaissent les règles du jeu et qu’ils savent s’y conformer (« game playing »).

- Finalement c’est l’évaluation et ses règles qui dicte la politique, et pas les objectifs scientifiques eux-mêmes.

- L’attribution des fonds dépend de la qualité de rédaction des rapports et de projets qui ne sont pas réellement validés.

- On peut se demander si la « peer review » est réellement indispensable au niveau de l’évaluation nationale. Une grande partie du financement pourrait être attribué en fonction des indicateurs (« à l’aide d’un tableau Excel », dit-il), le détail des attributions étant laissé à l’université.

Certaines critiques portent par ailleurs sur le processus de concentration des moyens de la recherche induit par le RAE et le système de financement qui lui est couplé.[28] [27]

D’autres critiques s’interrogent sur la rationalité - notamment économique - qu’il y a à financer la recherche séparément de l’enseignement.

Le rapport de Sir Gareth Roberts

http://www.ra-review.ac.uk/

Un comité présidé par Sir Gareth Roberts (ex-directeur du HEFCE) a procédé à un audit et a formulé des propositions de réforme du RAE.

Dans la présentation de sa démarche, Sir Gareth Roberts a dégagé quelques problématiques qu’on retrouve dans les recommandations de son rapport :

- Pour les sciences dures, il suffirait peut-être d’un petit comité de 10 personnes pour juger de la qualité du travail au travers d’indicateurs de publications et d’impact.

- Pour les sciences humaines et sociales, le système actuel est sans doute préférable, qui met l’accent à la fois sur les articles, sur les livres ou sur les articles de synthèse.

- Il suggère d’introduire une grande diversité dans les critères et les méthodes du RAE, à la fois pour prendre en compte la recherche appliquée, la valorisation, l’émergence,.., mais aussi pour décourager le « game-playing » et encourager les collaborations inter-institutions et inter-disciplinaires.

Qu’est-ce qui peut remplacer le RAE ? Roberts voit deux modèles possibles :

- Adapter le système existant en modifiant la taille des unités que l’on évalue, faire une évaluation par grands secteurs, étalée dans le temps, introduire une grande variété de critères et de méthodes, renforcer les liens avec la pratique, mettre l’accent sur le partenariat, introduire un système de notation plus souple.

- Un second modèle consisterait à combiner des indicateurs de production avec une approche du type « centres d’excellence ». Des indicateurs sur le nombre des docteurs produits, la recherche sur contrat, le nombre de papiers,.., pourraient être utilisés pour déterminer la subvention globale aux établissements. Ce serait aux universités elles-mêmes de dire ensuite où elles mettent leurs crédits en fonction de l’analyse de leurs forces et de leur propre politique scientifique.

La comité d’audit a produit en mai 2003 un rapport qui a fait l’objet d’une large consultation dans les universités et d’un vaste débat national.

Dans ses conclusions, le rapport propose finalement un nouveau système qui vise à concentrer l’effort d’évaluation là où « le jeu en vaut la chandelle ». Le système proposé est apparemment plus compliqué, mais prétend réduire la tâche réelle.

Parmi les thèmes qui ont émergé dans le rapport, il y a aussi :

- La nécessité d’un lien clair entre évaluation et financement.

- La nécessité d’une plus grande transparence dans la sélection des commissions.

Recommandations :

1- L’évaluation doit se baser sur le jugement d’experts qui peuvent utiliser des indicateurs.

2- Evaluation tous les six ans avec un mi-parcours pour moduler le financement, mais uniquement pour apprécier des variations significatives d’activité.

3- Séparer l’évaluation de la qualité de la recherche de l’évaluation stratégique (« competences assessment») de l’institution, ce qui comprend :

- Politique de recherche de l’institution.

- Politique des ressources humaines, notamment traitement des jeunes chercheurs, post-docs, jeunes maîtres de conférences.

- Reconnaissance de l’ensemble des tâches administratives et techniques d’accompagnement de la recherche (« equal opportunities policy »).

- Encouragement à « disséminer » la recherche en dehors des universités, en direction de l’enseignement et en faveur du « public understanding of science ».

Cette évaluation prendrait place environ deux ans avant l’évaluation principale. Un dialogue serait engagé avec l’institution qui disposerait de temps pour modifier ses pratiques avant que des sanctions ne soient prises.

4- Moduler l’importance de l’évaluation en fonction des enjeux et notamment du rapport R/(R+E) où R désigne le montant des crédits recherche et E le montant des crédits enseignement.

On distinguerait trois cas de figures :

- Les institutions les moins actives en recherche[29] [28] : des modalités d’évaluation ad hoc seraient déterminées par les HEFC.

- Des critères plus ou moins automatiques pour les départements les moins compétitifs des autres établissements. Ce mode d’évaluation est désigné par « Research Capacity Assessment » (RCA).

- Une véritable évaluation par des experts pour les départements les plus compétitifs (analogue à ce qui existe déjà). Ce mode d’évaluation est désigné par « Research Quality Assessment » (RQA).

Les institutions choisiraient de soumissionner au RCA ou au RQA suivant les domaines.

5- Remplacer les notes par un « profil de qualité » (« quality profile ») des départements soumis à évaluation (cf infra).

Préciser la relation entre les niveaux de notation et les niveaux de financement, et aussi les volumes de financements relatifs du RCA et du RQA.

6- Le rapport d’audit propose une organisation un peu différente des commissions d’évaluation :

- 4 à 5 super commissions constituées de personnalités incontestables et comprenant des étrangers, chargés de superviser la constitution des commissions et leur fonctionnement.

- 20 à 25 commissions qui sont responsables de l’évaluation ; ils vérifient aussi que les priorités de l’unité de recherche sont cohérentes avec les priorités de l’institution.

- 60 à 70 sous-commissions dans lesquels se fait une part importante du travail effectif.

Il peut également être fait appel à des experts isolés en dehors du domaine de la commission proprement dite. Toutes les commissions consultent des experts étrangers.

Pour constituer les commissions, on recueille les propositions émanant d’un grand nombre d’organisations (associations de chercheurs, sociétés savantes, associations professionnelles, monde industriel,…). Les membres de chaque commission sont choisis sur proposition du président. Les présidents de commissions sont eux-mêmes désignés par un « comité de sélection ».

7- Les commissions doivent fixer des critères qui prennent en compte l’excellence de la recherche appliquée et de la « practice-based research » [30] [29].

8- Les HEFC devraient construire et proposer des indicateurs adaptés à chaque domaine disciplinaire.

Propositions retenues pour le RAE 2008

[31] http://www.rae.ac.uk/default.htm

Le principe du RAE a été réaffirmé[32] [30], avec des modifications limitées qui s’inspirent d’une partie seulement des recommandations du rapport Roberts.

La périodicité sera désormais de 6 ans. Le prochain RAE est prévu en 2008 et le coup d’envoi a été donné dès 2004. Les orientations, les directives et la composition des commissions ont été rendues publiques très en avance.[33] [31]

Le RAE est toujours basé sur un examen de dossiers par des experts, pilotée par 15 commissions disciplinaires, s’appuyant sur 67 sous-commissions (une par unité d’évaluation). Il n’y aura finalement pas d’évaluation stratégique séparée des établissements.

Des dispositions seront adoptées pour donner « le poids qu’il convient » à la recherche appliquée, ainsi qu’à l’émergence et à l’interdisciplinarité.

Les commissions s’appuieront sur des indicateurs quantitatifs.

Les dossiers seront allégés. Comme par le passé ils ne feront mention que de 4 publications par chercheur au plus. D’une manière générale, l’accent a été mis sur l’allègement de la charge de travail pour les soumissionnaires, et sur l’importance de ne pas distordre l’activité que l’on entend mesurer.

Les résultats ne seront plus des notes globales, mais des « profils de qualité » (« quality profiles ») pour les différents départements. Les chercheurs actifs de de chaque département seront classés sur 4 niveaux (plus un niveau « unclassified »), en indiquant les proportions de ceux qui sont classés à chaque niveau. Cette procédure devrait limiter les préoccupations tactiques dans l’élaboration des dossiers et encourager les départements à présenter tous leurs bons chercheurs, plutôt que de viser à obtenir la note globale maximale par une auto-censure excessisve. La nouvelle méthode devrait aussi bénéficier aux institutions qui ont de petites « poches d’excellence » au sein de grandes unités de recherche.

Quality levels :

4* : Quality is world-leading in terms of originality, significance and rigour.

3* : Quality is internationally excellent in terms of originality, significance and rigour but which nonetheless falls short of the highest standards of excellence.

2* : Quality that is recognized internationally in terms of originality, significance and rigour.

1* : Quality that is recognized nationally in terms of originality, significance and rigour.

Unclassified : Quality that falls below the standard of nationally recognized work.

Structure des unités d’évaluation (« assessment units ») :

- Les unités d’évaluation sont en gros les mêmes que pour le RAE 2001[34] [32]. Le principal changement est que chaque unité d’évaluation aura sa sous-commission.

Commissions (« panels ») et sous-commissions (« sub-panels ») :

- Les commissions principales contrôlent les critères et les méthodes de travail des sous-commissions. Elles décident des profils de qualité à attribuer à chaque département examiné.

Une grande attention est attachée à la désignation des commissions et sous-commissions :

- Les présidents et les membres des commissions et sous-commissions sont désignés par les directeurs des quatre HEFC.

- La présidence des commissions fait l’objet d’une publicité. Le choix se fait sur la base de candidatures.

- Les autres membres de chaque commission sont désignés sur avis du président, parmi des personnalités proposées par une grande variété d’organisations (plusieurs centaines sont agréées pour faire des propositions).

- Les présidents de sous-commissions sont choisis en concertation avec les présidents de la commission principale dont ils dépendent, parmi la liste des «nominés », en prenant l’avis des membres des commissions du RAE 2001.

- Les présidents de sous-commissions, conjointement avec les présidents des commissions dont ils dépendent, proposent la désignation de leurs membres, pris dans la liste des « nominés ».

Rebondissement en 2006 : vers un remplacement du RAE par un système d’indicateurs ?

Après le rapport Roberts et les conclusions partielles qui en avaient été tirées, on pensait l’affaire entendue ; le RAE 2008 était sur les rails et mobilisait déjà les HEFC et les universités. Mais, en Mars 2006, à la surprise générale, Gordon Brown, chancelier de l’Echiquier et futur premier ministre, jette un pavé dans la marre en reprenant les critiques les plus radicales et en annonçant que le RAE doit être « radicalement simplifié » et remplacé par une évaluation basée sur des indicateurs. L’annonce de cette décision qui n’avait fait l’objet d’aucune concertation avec le ministère de l’Education, est apparue comme un diktat inspiré par des préoccupations purement budgétaires. Le sort du RAE 2008 a paru un moment en question.

Les arguments avancés n’étaient pas nouveaux. Le point essentiel était que le RAE constituait une procédure lourde et coûteuse, non seulement en argent mais en travail des universitaires, pour un résultat qui pourrait être obtenu de façon plus automatique à partir d’un système d’indicateurs. A cette occasion sont ressorties les objections qui figurent déjà dans le rapport Roberts : le RAE induirait des comportements biaisés de la part des établissements (obsédés par le souci d’être bien classés) et ne prendrait pas bien en compte l’interdisciplinarité, ni l’émergence de nouvelles recherches ni la recherche finalisée.

Cette annonce a suscité des réactions variées. Au départ, certains « vice-chancellors » ont paru soulagés à la perspective d’être déchargés d’un énorme travail qui perturbait la vie des établissements et dont le bénéfice était faible en termes d’argent[35] [33]. Les universités issues des « Polytechnics » ne se sont pas, non plus, montrées très attachées au RAE, trop sélectif à leurs yeux. Cependant les objections à la réforme n’ont pas tardé à se multiplier et sont devenues majoritaires lorsque le gouvernement a précisé ses intentions et les caractéristiques de l’évaluation sur indicateurs qu’il envisageait de mettre en place.

Une consultation[36] [34] a été lancée entre Juin et Octobre 2006, sur la base d’un document qui exposait les orientations et les options possibles. Plusieurs modèles d’évaluation sont proposés dans ce document, mais dans ces différents modèles, l’indicateur principal est toujours le volume des crédits sur programmes obtenus pas les départements : « grants » des « research councils », subventions des fondations, programmes européens ou contrats industriels. Ces données se trouvant modulées dans les différents modèles par l’importance attribuée aux différentes sources et aux différentes disciplines[37] [35], ou bien normalisées par le nombre de chercheurs actifs, ou encore lissées pour atténuer les variations brutales qui pourraient en résulter dans les subventions des établissements par rapport aux calculs issus du RAE.

Curieusement les indicateurs bibliométriques sont à peine évoqués. Les promoteurs de la réforme font valoir que ces indicateurs sont davantage pertinents à un certain niveau d’agrégation (et pour les comparaisons internationales) que pour évaluer un département en particulier[38] [36].

Dès le lancement de la consultation, le gouvernement a admis qu’une telle réforme ne pourrait pas entrer en vigueur à court terme, et qu’en particulier le RAE 2008 irait jusqu’à son terme. Sa suppression aurait d’ailleurs mécontenté tous ceux qui s’étaient déjà lancés dans sa préparation. Mais l’idée a été maintenue que l’on pourrait ensuite basculer assez vite dans un système d’évaluation sur indicateurs, au moins dans les disciplines scientifiques et technologiques. Et que cette évolution serait préparée par un exercice de simulation du nouveau système qui se déroulerait parallèlement au RAE 2008, et qui permettrait de comparer les résultats des deux procédures d’évaluation.

D’emblée il est apparu que le nouveau système ne pourrait guère être utilisé dans le champ des sciences humaines et sociales, pour lesquelles on devrait conserver la « peer review » ; ce qui rompt fâcheusement l’homogénéité du processus d’évaluation qui existait dans le RAE.

D’autre part, l’objectif de l’évaluation du RAE n’est pas seulement de fournir des critères pour répartir des crédits, mais de donner des notes (ou des « profils de qualité ») qui attestent du niveau scientifique des départements. Les universités sont autant attachées à ces notes qu’à l’argent, car celles-ci déterminent l’attraction que les établissements vont exercer sur les chercheurs et sur les étudiants.

Les indicateurs ne sont pas nécessairement les mêmes s’il s’agit de décerner des notes de niveau scientifique ou de calculer des montants de crédits. S’agissant des crédits, les promoteurs de la réforme font valoir que lorsqu’on totalise la dotation d’un grand établissement, il y a une forte corrélation entre les montants calculés selon le RAE et selon le nouveau système[39] [37]. Mais il n’en est pas de même pour un petit établissement, et c’est encore moins vrai au niveau d’un département particulier.

Cependant, si la répartition des crédits par un système normé était satisfaisante au niveau des établissements, on pourrait imaginer que chaque université mette en place un système performant d’auto-évaluation pour répartir sa subvention globale[40] [38]. L’inconvénient est que ces évaluations locales se prêteraient mal à des comparaisons nationales ou internationales de niveaux scientifiques.

Une des critiques les plus sévères de la réforme proposée émane du « Higher Education Policy Institute » (HEPI) qui est un « think tank » très influent[41] [39]. Le HEPI souligne que la consultation ministérielle n’a pas ouvert un véritable débat de fond, se contentant de tracer des pistes sommaires. Il formule des objections très fortes contre les orientations avancées. Ce serait rendre la recherche extrêmement dépendante des financeurs. Une trop grande importance serait donnée aux « décrocheurs de contrats » et la recherche de base serait sacrifiée. Le HEPI demande que l’on conserve au « QR funding » sa spécificité (« distinctive role ») sans quoi il deviendrait un simple financement additionnel des contrats.

Le HEPI conteste l’argument d’économies. Le coût du RAE est connu[42] [40] et concerne une opération qui n’a lieu que tous les 6 ans, tandis que le coût du nouveau système risque d’être bien plus élevé à cause de l’inflation qu’il y aura des demandes de « grants » ou de contrats, qui seront faites chaque année. Il n’y aura pas d’économies mais le coût sera supporté principalement par les universités. De plus les « research councils » qui se reposent aujourd’hui sur les évaluations du RAE devront faire leurs propres évaluations QR.

Les défauts du RAE avaient été bien mis en évidence par le rapport Roberts. Certains de ces défauts ne sont pas spécifiques au RAE et se retrouveront dans toute évaluation compétitive. Le nouveau système ne les corrigerait pas, mais introduirait un biais supplémentaire en faveur de la recherche finalisée. La pression sur les comportements individuels sera plus forte puisqu’on évaluera la capacité des individus à obtenir des contrats, plutôt que le niveau scientifique d’un département. Le nombre de chercheurs actifs dans un département comptera peu car on se focalisera sur quelques performances individuelles. Et, dans ces conditions, il sera plus difficile pour un « vice chancellor » d’affirmer une politique. Le HEPI met en garde contre une politique qui tend à déconnecter l’évaluation de la recherche de la qualité globale des départements qui sont la base de la qualité d’une université.

L’idée qui se dégage de la consultation comme de l’analyse du HEPI, est qu’on ne peut pas abandonner complètement le système basé sur la « peer review », mais qu’on peut l’améliorer. Tout d’abord en faisant un plus grand usage des indicateurs. Cette idée figurait déjà dans le rapport Roberts. On pourrait ne déclencher une « peer review » que dans certains cas. Par exemple, les indicateurs pourraient distinguer les institutions ou les départements dont les performances ont évolué, et pour lesquelles on déclencherait la « peer review ». Le rapport Roberts proposait quant à lui de réserver la « peer review » aux départements les plus compétitifs, et d’appliquer des critères plus automatiques aux autres.

La réflexion va se poursuivre dans les années qui viennent, au-delà des propositions iconoclastes de Gordon Brown. Elle s’enrichira de l’expérience du RAE 2008 maintenu. Le rapport Roberts constitue encore pour l’instant la meilleure base d’une telle réflexion.[43] [41]



[44] [1] 9 médailles auxquelles on pourrait ajouter 3 autres obtenues par des étrangers travaillant en France.[45] [46] [2] Le gouvernement a engagé en 2004 un plan d’investissement de 1 milliard de livres sur 10 ans, et a récemment affirmé sa volonté de porter à 2,5 % la part du PIB consacrée à la recherche, d’ici à 2014.

[47] [3] « Board » dans les universités les plus récentes.

[48] [4] L’université de Sheffield (24.000 étudiants) est dans le « top ten » en Grande Bretagne ; elle est classée 69ème dans le classement de Shanghai ; elle a eu 5 prix Nobel (3 en Médecine et 2 en Chimie).

[49] [5] « Academic board » dans les universités les plus récentes.

[50] [6] : le « Department of Health » (Ministère de la santé), finance via le « National Health Service » (NHS, le service public de santé britannique) une grande partie des activités d’enseignement et de recherche des universités dans les domaines médicaux

[51] [7] Ceci pose, en particulier, un problème financier aux universités car les crédits incitatifs ne couvrent qu’une partie du coût complet de la recherche. Depuis 2005 les agences sont censées couvrir 80% de ce coût.

[52] [8] Dans la terminologie britannique, c’est un « non-departmental public body ».[53] [9] Il existe, en parallèle, un « Teaching Quality Assessment Exercise » (TQA) qui évalue la qualité de l’enseignement, mais le financement de l’enseignement se fait sur une base essentiellement quantitative (nombre d’étudiants).

[54] [10] Depuis les années 80, il y avait des évaluations du même type, mais moins systématiques

[55] [11] En comparaison le budget du SFC est de 1′ordre de 200 M£.

[56] [12] Le budget de la MSU était d’environ 600 M€ (dont 300 M€ pour les contrats et 200 M€ pour les allocations). Le budget recherche du HEFCE est de l’ordre de 2 milliards d’euros ; il finance des équipements d’intérêt général comme les bibliothèques, mais les allocations figurent pour l’essentiel au budget des agences à hauteur de 300 M£, soit 450 M€.

[57] [13] Les structures soumises à évaluation sont des départements de recherche, ce qui ressemble à nos unités de recherche, sauf que l’on regroupe les laboratoires d’un même secteur. Les grandes universités présentent une cinquantaine de départements de recherche, alors que les plus petites se contentent de quelques unités.

[58] [14] Il faut noter que, lors du dernier RAE, en 2001, 80% des départements ont obtenu une note 4, 5 ou 5*, et 55% ont obtenu 5 ou 5*. Les départements avec la note 4 ont reçu 118 M£.

[59] [15] Il y a aussi des coefficients de pondération de coûts, variant de 1 à 1,6 suivant les disciplines et les sujets.

[60] [16] Le budget de l’EPSRC est de l’ordre de 500 M£. Il ne dispose d’aucune unité propre.

[61] [17] Le CCLRC finance notamment les grands équipements de la Physique. Il est prévu qu’il fusionne avec le EPSRC.

[62] [18] En 2005-2006 le MRC a soutenu la recherche universitaire à hauteur de 224 M£ et a financé ses propres unités et instituts à hauteur de 238 M£.

[63] [19] Le BBSRC finance 9 instituts.

[64] [20] Le NERC dispose de 4 centres de recherche en propre (Géologie, Océanographie,..).

[65] [21] Le PPARC finance notamment 3 observatoires dont 2 à l’étranger.

[66] [22] Le budget de l’ESRC est d’environ 120 M£ et celui de l’AHRC d’environ 80 M£.

[67] [23] Un département de recherche regroupe un certain nombre d’unités de recherche au sens où nous l’entendons.

[68] [24] Il y a eu 48.000 « chercheurs actifs » présentés à l’évaluation.

[69] [25] Pour le RAE 2008, il y a eu près de 5000 propositions émanant de 1400 institutions !

[70] [26] Le tiers des crédits est concentré sur 6 universités. Mais, en France aussi, le tiers des crédits contractuels est concentré sur 10 universités, et la moitié sur 20 universités.

[71] [27] En 2002-03, lorsque le rapport a été fait, 40 institutions britanniques sur 132 avaient un rapport R/(R+E) inférieur à 2% (où l’on note R le budget recherche et E le budget enseignement) ; elles recevaient en moyenne 27.000 £ de crédits recherche par an, alors que la moyenne nationale est de 455.000 £.

[72] [28] Celles pour lesquelles le rapport R/(R+E) est faible.

[73] [29] Dans des domaines comme la médecine, la pratique chirurgicale, ou dans les sciences sociales, la pratique des décideurs.

[74] [30] Certains avaient proposé de le supprimer et de répartir le financement structurel en fonction des projets soutenus par les agences.

[75] [31] On ne peut être qu’impressionné par le « professionnalisme » de la procédure.

[76] [32] Les HEFC considèrent que de toute façon on n’échappe pas à la contrainte de tracer des frontières disciplinaires, et qu’il vaut mieux préserver une certaine stabilité dans ce découpage.

[77] [33] C’est notamment le cas d’Eric Thomas, influent « vice-chancellor » de l’université de Bristol dont le point de vue critique rapporté plus haut rencontre cette proposition de réforme.

[78] [34] [79] http://www.dfes.gov.uk/consultations/conResults.cfm?consultationId=1404

[80] [35] Ainsi on peut tenir compte du fait que les fondations concentrent des crédits considérables sur la recherche biomédicale.

[81] [36] Le choix des revues peut être déterminant et certaines disciplines sont bien moins bien couvertes que d’autres.

[82] [37] Certains ont fait observer malicieusement qu’on trouverait certainement aussi une corrélation avec « le volume de thé bu dans ces établissements »…

[83] [38] Cette idée figure déjà dans le rapport Roberts.

[84] [39] Cet « institut » est une sorte de club qui rassemble notamment des « vice chancellors » et des hauts fonctionnaires de premier plan. Financé à ses débuts par une subvention du HEFCE, il a aujourd’hui une autonomie financière et politique.

[85] [40] Le HEPI estime à 100 M£ le coût maximum du RAE, soit 1% des sommes qui seront distribuées durant les 7 années qui suivent le RAE 2001.

[86] [41] Immédiatement après la rédaction de cet article, le HEFCE a publié une [87] note circulaire réaffirmant le maintien du RAE 2008 et précisant l’architecture du dispositif d’évaluation et de financement de la recherche qui lui succèderait.


Article printed from JFM’s blog: http://jfmela.free.fr/jfmblog

URL to article: http://jfmela.free.fr/jfmblog/?p=14

URLs in this post:
[1] [1]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn1
[2] [2]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn2
[3] [3]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn3
[4] [4]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn4
[5] [5]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn5
[6] [6]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn6
[7] [7]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn7
[8] [8]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn8
[9] [9]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn9
[10] [10]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn10
[11] [11]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn11
[12] [12]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn12
[13] [13]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn13
[14] [14]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn14
[15] [15]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn15
[16] http://www.hefce.ac.uk/research/funding/QRfunding/: http://www.hefce.ac.uk/research/funding/QRfunding/
[17] [16]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn16
[18] [17]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn17
[19] [18]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn18
[20] [19]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn19
[21] [20]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn20
[22] [21]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn21
[23] [22]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn22
[24] [23]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn23
[25] [24]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn24
[26] [25]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn25
[27] [26]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn26
[28] [27]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn27
[29] [28]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn28
[30] [29]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn29
[31] http://www.rae.ac.uk/default.htm: http://www.rae.ac.uk/default.htm
[32] [30]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn30
[33] [31]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn31
[34] [32]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn32
[35] [33]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn33
[36] [34]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn34
[37] [35]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn35
[38] [36]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn36
[39] [37]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn37
[40] [38]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn38
[41] [39]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn39
[42] [40]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftn40
[43] [41]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref40
[44] [1]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref1
[45] : http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref2
[46]
[2]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref2
[47] [3]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref3
[48] [4]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref4
[49] [5]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref5
[50] [6]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref6
[51] [7]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref7
[52] [8]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref8
[53] [9]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref9
[54] [10]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref10
[55] [11]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref11
[56] [12]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref12
[57] [13]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref13
[58] [14]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref14
[59] [15]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref15
[60]
[16]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref2
[61] [17]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref17
[62] [18]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref18
[63] [19]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref19
[64] [20]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref20
[65] [21]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref21
[66] [22]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref22
[67] [23]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref23
[68] [24]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref24
[69] [25]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref25
[70] [26]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref26
[71] [27]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref27
[72] [28]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref28
[73] [29]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref29
[74] [30]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref30
[75] [31]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref31
[76] [32]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref32
[77] [33]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref33
[78] [34]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref34
[79] http://www.dfes.gov.uk/consultations/conResults.cfm?consultationId=1404: http://www.dfes.gov.uk/consultations/conResults.cfm?consultationId=1404
[80] [35]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref35
[81] [36]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref36
[82] [37]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref37
[83] [38]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref38
[84] [39]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref39
[85] [40]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref40
[86] [41]: http://jfmela.free.fr/jfmblog/wp-admin/#_ftnref40
[87] note circulaire: http://www.hefce.ac.uk/pubs/circlets/2007/cl06_07/

Copyright © 2007 JFM's blog. All rights reserved.