Archive for the 'Evaluation' Category

Imprimer cet article Imprimer cet article

Un manifeste européen pour l’évaluation de la recherche

C’est à la suite de la 19ème conférence internationale sur les indicateurs en science et technologie, qui s’est tenue à Leiden (Pays-Bas) en septembre 2014, qu’a été publié un « manifeste pour la mesure de la recherche »  C’est la première fois que des experts appartenant aux observatoires scientométriques européens publient un tel document qui se veut une plateforme pour l’évaluation de la recherche, au terme d’une réflexion engagée depuis plusieurs années, notamment en France par l’OST. Ce manifeste formalise des critiques sur la bibliométrie qui a pris une telle importance depuis quelques années dans la conduite et le financement de la recherche et propose d’en tenir compte dans le travail d’évaluation. Ces critiques ne sont pas nouvelles[1], mais elles s’accompagnent ici de propositions pour les méthodes d’évaluation et le travail des experts.

Le constat qui est fait est que « les évaluations ne sont plus fondées sur des réflexions mais sur des indicateurs » et les rédacteurs ne craignent pas d’affirmer : « Nous avons observé avec une inquiétude grandissante le mauvais usage des indicateurs dans l’évaluation de la performance scientifique ». Le manifeste propose « un condensé des bonnes pratiques » et formule dix principes qui paraissent à la fois raisonnables et ambitieux. L’application pratique de ces principes reste le plus souvent à préciser. Cet article est un commentaire critique des propositions de ce manifeste, qui souligne seulement quelques questions auxquelles il faudrait répondre pour rendre ces propositions moins théoriques.

lire la suite…

Imprimer cet article Imprimer cet article

Fluctuations de l’évaluation

On trouvera dans le présent blog un article intitulé « Evaluer quoi et pourquoi ? » écrit en 2008 et qui faisait le point sur l’une des dispositions phares de la loi de programme pour la recherche de 2006 : la création d’une « Agence d’évaluation de la recherche et de l’enseignement supérieur » (AERES) à laquelle était attribuée une mission quasiment universelle d’évaluation (unités de recherche, formations et diplômes, universités et organismes de recherche). Aujourd’hui, à l’appel de l’Académie des Sciences, on supprime l’AERES d’un trait de plume, on reprend tout et on recommence avec un « Haut conseil de l’évaluation de la recherche et de l’enseignement supérieur » (HCERES). Ce n’est certainement pas la fin de l’histoire et s’il est encore trop tôt pour porter un jugement définitif sur cette réforme, il est important d’en situer le contexte et les enjeux.

L’évaluation de l’enseignement supérieur et de la recherche, telle qu’on l’envisage aujourd’hui, est une idée relativement neuve en France. Si l’on remonte aux origines (l’université impériale…), on ne parlait pas alors d’évaluation mais de « contrôle » par des inspecteurs généraux, des recteurs…, et cette tradition étatique s’est perpétuée très longtemps, disons jusqu’aux années 1980. L’évaluation des enseignants du supérieur était limitée aux procédures de recrutement et de promotion. Le CNRS avait mis en place des évaluations individuelles et collectives de la recherche dans ses laboratoires depuis les années 1950, mais il n’existait rien de tel dans les universités. Il ne fut pas question d’évaluation lors du colloque de Caen de 1966, pas plus que dans la loi d’orientation d’Edgar Faure qui crée la nouvelle université française d’après 1968. Ce n’est que dans les années 1980 que ce thème de l’évaluation émerge sous l’influence de personnalités comme Laurent Schwartz, avec la création marquante en 1985 du Comité national d’évaluation (CNE) qui subsistera jusqu’à son intégration dans l’AERES. L’essor du thème de l’évaluation va de pair avec celui de l’autonomie et de la concurrence, comme en témoigne le fameux rapport du Collège de France, rédigé par Pierre Bourdieu en 1985. Mais, paradoxalement, la création de l’AERES témoigne de la permanence du centralisme. S’agissant d’évaluation, on se trouve pris chez nous, en effet, dans des contradictions dont il est difficile de sortir.

lire la suite…

Imprimer cet article Imprimer cet article

Les limites d’une loi qui ne règle rien

L’examen parlementaire du projet de loi sur l’enseignement supérieur et la recherche va s’engager dans un contexte assez déconcertant. Il est assez remarquable de voir, d’un côté, des syndicalistes qui demandent l’abandon de la loi[1], des universitaires radicaux pour lesquels la loi actuelle (LRU) est un mal absolu, et qui accusent le pouvoir de la maintenir - voire de l’aggraver[2] - et, de l’autre, un groupe de ci-devant recteurs qui voient dans la nouvelle loi la trahison de la LRU (à laquelle ils sont globalement favorables) et « la capacité de l’enseignement supérieur à s’autodétruire » [3]. Les syndicats d’enseignants et de chercheurs accusent la ministre de passer à la trappe le rapport Le Déaut dont l’auteur estime, lui : « l’avant-projet de loi reprend largement les conclusions de mon rapport ». Tandis que, parallèlement, le président de la CPU n’hésite pas à affirmer : « Cette loi porte une grande ambition, elle va profondément changer le paysage de l’enseignement supérieur et de la recherche ». Et l’UNEF, de son côté, considère qu’elle a obtenu « des engagements importants de la ministre pour remettre les étudiants au cœur de la réforme ».

Les uns et les autres ne doivent pas regarder le projet de loi avec les mêmes lunettes. L’ennui c’est qu’il faille des lunettes pour porter un jugement.

La situation dans laquelle nous sommes englués aujourd’hui mérite analyse et réflexion, plutôt qu’anathème. D’où vient cette incapacité à avancer dans l’élaboration d’une réforme qui soit autre chose qu’un ensemble de mesures techniques, (les unes formelles, les autres déstabilisantes), sans grands objectifs qui emportent l’adhésion ? Une réforme réussie suppose des forces qui la portent, qui aient une vision claire et raisonnée des transformations souhaitables. L’idée de trouver ces forces par le biais des Assises, a échoué, disons le. Elle n’aurait eu de sens que s’il y avait eu, auparavant, une large prise de conscience des enjeux et des transformations à opérer. On a plutôt eu l’expression d’intérêts hétéroclites, face à une technocratie d’Etat peu portée aux audaces. Il a manqué un travail préalable, comme cela avait été le cas avec les colloques de Caen qui ont engendré, en leur temps, une nouvelle forme d’université. Car une réforme n’est pas la simple résultante d’une loi.

lire la suite…

Imprimer cet article Imprimer cet article

Quelques propositions que les Assises ne feront pas

Les Assises de l’enseignement supérieur et de la recherche ont tenu leurs sessions à l’échelon des universités, des régions, en attendant la session nationale et le verdict que prononcera le Comité de pilotage. On pouvait craindre des conflits entre ceux qui veulent abroger toutes les réformes, et ceux qui s’en accommodent finalement assez bien. Il n’en est rien pour l’instant : la protestation s’exprime à l’extérieur et l’ambiance générale est plutôt à la résignation. Certes, on attend des réformes pour corriger les errements d’un passé proche. Mais « la révolution attendra ».

Pourtant c’est bien d’une révolution qu’aurait besoin l’université française, un changement aussi profond qu’il y a quarante ans. Mais, à l’époque, les « colloques de Caen » avaient préparé le terrain et fait émerger des idées qui s’étaient ensuite incarnées dans des réformes, à la faveur du séisme de 1968. Aujourd’hui, l’interrogation du « que faire ? » reste entière. Pourtant de vraies questions affleurent ici ou là[1]. Mais les Assises glissent dessus, tant ces questions remettent de choses en cause. Dans les universités se sont tenus des ateliers, des tables rondes, de petits colloques, les uns assez convenus sur les thèmes officiels des Assises, les autres, plus originaux, sur des sujets particuliers.[2] Ces débats, même s’ils ne rassemblent pas les foules, ne sont pas inutiles pour relancer la réflexion de fond, mais on est loin de « la volonté d’assurer une traduction législative aux propositions des Assises dès le début 2013 ». Nous verrons comment le Comité de pilotage s’en sortira pour préparer cette traduction, mais, en attendant, il est instructif de passer en revue quelques propositions que les Assises ne feront pas. Tant pis si c’est un peu provocateur !

lire la suite…

Imprimer cet article Imprimer cet article

Les surprises du classement Q&S pour les mathématiques

Entre 2004 et 2009, le classement des universités de Quacquarelli Symonds (Q&S), société privée basée à Londres qui conseille les étudiants “à haut potentiel” pour leurs études et leurs carrières, était produit pour le compte du Times Higher Education de Londres, et était publié comme classement du Times (classement THE). Mais depuis 2010, les classements de Q&S et THE sont distincts. Le classement Q&S 2010, qui vient de sortir, donne des résultats surprenants, comme on le verra ci-dessous dans le cas des mathématiques. Dans cette note, je discute quelques questions que cela pose.

C’est le Times Higher Education qui a décidé, en 2009 de changer de méthodologie (et de partenaire) pour son classement. Sa rédaction estimait que la méthode précédente, basée en grande partie (40% du score total) sur la réputation des institutions était biaisée, notamment par la taille trop réduite du panel consulté. A l’issue d’une vaste consultation, elle a réactualisé ses critères, et choisi un nouveau partenaire, Thomson Reuters, la société qui produit, entre autres, le Science Citation Index[1]. Les nouveaux critères incluent encore la réputation, et Thomson Reuters fait appel à Ipsos pour cette partie de l’étude. Parmi les autres aspects pris en compte figurent la bibliométrie, l’internationalisation du corps enseignant…

La réputation, qui compte pour 50% dans le classement de Q&S, est établie en interrogeant un panel d’universitaires, chercheurs, mais aussi de responsables des ressources humaines d’entreprises du  monde entier : 15 000 universitaire et 5 000 DRH. On demande à chaque expert de dire à quel grand champ disciplinaire il appartient ; il y en a cinq : sciences de la nature, bio-médecine, technologie, sciences sociales, humanités et arts. Puis chaque expert classe jusqu’à trente institutions qui lui paraissent être les meilleures dans son domaine. En ce qui concerne les DRH, on leur demande dans quelles universités ils recrutent en priorité. L’autre moitié de l’évaluation se base sur des indicateurs objectifs : nombre de professeurs/chercheurs étrangers, nombre d’étudiants étrangers, et évidemment bibliométrie (établie en partenariat avec l’éditeur scientifique Elsevier).

L’enquête Q&S a l’avantage, si l’on peut dire, d’inclure un classement particulier pour les mathématiques. Dans la mesure où les mathématiques ne sont pas identifiées comme un domaine disciplinaire, cela peut paraître problématique (qui sont les experts appelés à donner leur opinion sur les départements de mathématiques ?), mais ils ont bien publié un classement. A contrario, THE ne publie pas de classement en mathématiques autre que celui qui est basé entièrement sur la bibliométrie ; nous nous y arrêterons un peu plus loin.

lire la suite…

Imprimer cet article Imprimer cet article

Des jésuites au CNU ?

Le texte suivant émane de la Commission Permanente du Conseil National des Universités (CP-CNU). Après les petits scandales d’auto-promotion qui ont marqué certaines sections du CNU, comme la 19ème section de Sociologie, ce texte est un petit bijou de jésuitisme qui se passe de commentaires. Ou plutôt, avant tout commentaire ultérieur, je vous laisse le plaisir de déguster ce texte qui mérite d’être largement diffusé…

On lira deux commentaires en post-scriptum.

 

La fausse question dite de « l’auto-promotion »
La CP-CNU dénonce fermement le soupçon de partialité que fait peser sur les pratiques du CNU en matière de promotion nationale le discours qui, quel qu’en soit sa forme et son auteur, évoque les « auto-promotions CNU » -ou encore la « part nationale » des promotions-, c’est-à-dire, pour parler clair, les promotions des membres du CNU -PR ou MC- par la

section à laquelle ils appartiennent. Une telle démarche visant à établir que tous les candidats à un avancement de grade ne seraient pas également traités dans la mesure où interviendrait le critère de l’appartenance au CNU est manifestement fallacieuse.Quelques évidences doivent ici être rappelées.

1. La notion d’ « auto-promotion » est sans pertinence. En effet, le terme « auto » renvoie à soi-même ou aux siens. Il reste à identifier quel est le cercle des siens. Or, en la matière, de multiples hypothèses sont envisageables et pourront être tirées de statistiques qui, à défaut d’être vérifiables, se prêtent à toutes les interprétations et déductions. En d’autres termes, les sections du CNU pourraient aussi bien être suspectées de pratiques différenciées selon d’autres types d’appartenance des candidats : laboratoire de recherche, lieu d’exercice, école de pensée, spécialisation disciplinaire, affiliation politique ou syndicale …. La notion d’ « auto-promotion » est par elle-même insaisissable. Il s’agit ainsi d’un procès fondé sur des données statistiques dont on ne peut rigoureusement extraire aucune donnée probante mais auxquelles, en revanche, l’on peut faire dire à peu près ce que l’on veut… Il est illusoire -si l’on en avait la tentation- de vouloir établir des statistiques et présenter des pourcentages à partir d’une population (nombre de candidats appartenant au CNU pour telle promotion dans telle section) beaucoup trop faible. Un exemple suffit à montrer l’absurdité du procédé. Si une section CNU a un seul de ses membres candidat, par exemple, a la promotion PR 1° classe, on ne saurait bien évidemment « constater » un taux d’ « auto-promotion » de 100 %., quel que soit par ailleurs le nombre total de promotions au titre du contingent national, le nombre de promouvables, le nombre de candidats ayant déposé un dossier ! Autant dire que si la population française comporte 16% de gauchers et que la section X doit examiner cinq candidatures à la PR 1°classe dont celle d’un gaucher qu’elle promeut, le taux de promotion des gauchers par la section X est de 100% ! De telles statistiques établies seraient vides de sens.
2. La question dite de l’ « auto-promotion » -si l’on admettait un instant qu’elle puisse être pertinente- ne saurait être limitée, sauf à procéder à une analyse partielle et partiale, aux seules promotions nationales effectuées par le CNU. C’est oublier que 50% des promotions relèvent du pouvoir de décision des établissements. Il conviendrait alors de s’intéresser également au phénomène des « auto-promotions » locales et de se pencher sur les promotions des membres de ses divers conseils effectuées par chaque Université, sans parler de celle de son Président. L’autonomie des établissements ne saurait en effet justifier que l’on soit indifférent à la manière dont sont traitées les candidatures au niveau local, en vertu du principe d’égalité des enseignants-chercheurs. On se bornera ici à souligner que, compte tenu de la répartition géographique et disciplinaire qui caractérise la composition même de chaque section du CNU, le degré de « proximité » d’un membre du CNU avec les autres membres de sa section est sans conteste moins important que celui d’un membre d’un conseil d’administration ou d’un conseil scientifique avec l’équipe présidentielle de l’Université.
3. Les promotions, qu’elles soient nationales ou locales, ont lieu au mérite. Laisser penser que les promotions des membres du CNU pourraient obéir à d’autres motifs conduit nécessairement à remettre en cause le principe démocratique qui est au fondement même de la gestion du corps des enseignants-chercheurs. Les membres siégeant au CNU sont, pour les 2/3 d’entre eux, élus. On peut raisonnablement penser que leur compétence a pesé dans leur élection comme elle pèse au moment de l’examen de leur dossier de candidature à une promotion. On voudra également faire crédit à Madame la Ministre et à ses prédécesseurs de croire qu’elle ne choisit pas les membres nommés du CNU sur des critères autres que ceux de leur compétence. Il suffit, d’ailleurs, de consulter les listes des membres du CNU promus par les sections lors des dernières campagnes d’avancement pour constater que, sauf cas marginaux, leur promotion ne souffre pas de contestation au sein du corps auquel ils appartiennent.
4. Aucune règle du statut de la fonction publique ne saurait justifier que les membres du CNU ne puissent présenter -comme tout autre membre de la fonction publique- leur candidature à une promotion et s’interdisent pendant la durée de leur mandat (4 ans) de bénéficier d’une telle promotion, alors même qu’ils remplissent une lourde charge. Une telle interdiction s’avérerait discriminatoire. Il appartient à chaque section du CNU de définir librement sa politique en la matière et de décider si elle considère, selon ses traditions et usages, que ses membres peuvent ou non être promus. La pratique des sections est ici diverse et c’est là le propre de la liberté universitaire. On ajoutera que la nouvelle procédure relative aux promotions ne distingue plus la voie « nationale » et la voie « locale » et suppose que toute candidature soit examinée par le CNU.
5. Le CNU est désormais doté de règles déontologiques strictes, à l’élaboration desquelles la CP-CNU a largement contribué, qui encadre son mode de fonctionnement : Publicité des critères de promotion : les critères de promotion doivent être énoncés dans le rapport annuel d’activités de la section et sont affichés sur le site de la CP-CNU (art. 40-I et 56-I du décret du 6 juin 1984 modifié relatif au statut des enseignants-chercheurs ; art.1 du décret du 16 janvier 1992 modifié relatif au CNU). La pratique de nombreuses sections, antérieurement à la modification du décret de 1984, était, au demeurant, de rendre publique la liste des membres promus. Exigence déontologique : interdiction pour le membre du CNU candidat à une promotion de siéger durant toute la session de sa section consacrée à l’examen des candidatures à ladite promotion (art. 15 al.1 de l’arrêté du 19 mars 2010 fixant les modalités de fonctionnement du CNU). Cette règle était déjà appliquée par de nombreuses sections avant l’adoption de cet arrêté. Transparence : obligation pour les candidats au CNU (comme pour les membres nommés) de publier une notice biographique (art.4 du décret relatif au CNU).La collégialité des décisions rendues dans ce cadre constitue, au demeurant, le meilleur gaged’une décision conforme aux principes défendus par le CNU.
 6. Il faut y insister : la procédure des promotions nationales par le CNU fournit des garanties de nature déontologique que n’offre en aucune manière la procédure des promotions locales. Et si l’on ne saurait évidemment prétendre que les choix du CNU sont indiscutables, ils ne le sont ni plus ni moins que ceux de tout autre organe collégial. Ajoutons seulement que la publicité de ses décisions et le rapport public qui les éclaire permettent à chacun d’en vérifier le bien fondé. Les analyses qu’ils suscitent sont le corollaire de cette transparence. Il est souhaitable que cette dernière ne favorise pas l’instruction de faux procès.

7. Statuant en matière d’avancement de grade, la section compétente du CNU est un jury de concours qui se prononce sur les mérites des candidats. Le bien fondé de ses décisions, qui échappe au contrôle du juge, ne saurait être discuté et remis en cause par quiconque.

Conclusion

  • Le CNU rend des comptes sur ses procédures et ses décisions (affichage des critères ; publication de la liste des promus ; rapport annuel d’activité …). Il n’a pas à se lancer dans la démonstration de sa probité. C’est à ceux qui mettent en doute celle-ci et, par là même, mettent en cause le principe démocratique de l’élection du CNU, qu’il revient de démontrer précisément le caractère manifestement infondé d’une promotion et d’établir qu’un ou plusieurs candidats non retenus avaient un dossier d’une qualité supérieure à celle du candidat promu.
  • La CP-CNU demande solennellement l’abandon de l’usage du terme « autopromotion» dans toutes les publications internes et publiques du MESR et que ce dernier renonce à toute tentative visant à évaluer statistiquement une prétendue « part nationale » dans les promotions du CNU.

 

Commentaires

 

1- Pierre Arnoux, professeur à l’université Aix-Marseille II, me signale que la position de la section Mathématiques du CNU se démarque nettement de celle formulée dans le texte précédent. On peut lire en effet sur la page CNU section 25 :

Sur le fonctionnement du CNU 25 de 2008 à 2011 : lors de la campagne de qualication, les 4, 5 et 6 février 2008, les membres du CNU 25 ont abordé les questions de la promotion et des CRCT de ses membres durant les 4 années à venir du mandat de cette section. A été adoptée la position suivante :

Les membres du CNU 25 ne pourront bénéficier d’une promotion ni d’un Congé de Recherche et de Conversion Thématique au niveau du CNU durant leur appartenance à la commission. Ils peuvent néanmoins être candidat à une promotion ou un CRCT au niveau de leur établissement d’origine. Il est demandé aux membres du conseil, lors d’une éventuelle candidature à la promotion ou à une CRCT au niveau local, de préciser qu’ils ne candidatent pas au titre du CNU en raison de la position achée ci-dessus.

JFM : Il faut noter cependant que la dernière phrase est désormais caduque car la dernière mouture de la réforme ne fait plus de différence entre niveau local et national : on ne peut plus demander une promo locale sans la demander au CNU. Si donc la section 25 s’en tient à la position qu’elle avait adoptée en 2008, les membres du CNU25 ne pourront plus candidater pendant 4 ans.

2- Colette Guillopé, professeur à l’université Paris Est Créteil, apporte les précisions suivantes :

  • Les décrets statut et CNU du 23 avril 2009 sont effectivement appliqués depuis les promotions 2010.
  • Les collègues matheux de la section 25, et sans doute aussi de la section 26, ont adopté le fonctionnement suivant pour les membres du CNU:
  1. Inscrire sur le dossier de promotion qu’on ne souhaite pas être examiné par le CNU pour une promotion CNU.
  2. Le CNU ne renvoie aucune indication à l’établissement sur le dossier examiné, et cela est vrai pour tous les candidats. (Je ne me souviens plus de la formulation exacte, mais cela est très explicite. Le CNU refuse purement et simplement toute forme de classement en A, B ou C, ou toute autre forme. Les candidats sont promus par le CNU ou ils ne le sont pas, voilà tout.)
Imprimer cet article Imprimer cet article

Débats autour du concept d’excellence

Ce texte est le support d’un exposé que j’ai fait au séminaire de Jean-Richard Cytermann à l’EHESS, le 18.11.2010. Il synthétise et complète sur certains points plusieurs articles antérieurs.

Aujourd’hui en France, lorsqu’il est question de politique en matière d’enseignement supérieur et de recherche, on n’échappe pas à « l’excellence » : campus d’excellence, pôles d’excellence, initiatives d’excellence, laboratoires d’excellence, équipements d’excellence, chaires d’excellence, prime d’excellence scientifique… Cette épidémie frappe plus largement l’Europe. Ainsi l’Allemagne a lancé une « initiative d’excellence »[1]. La citation suivante extraite du récent document de l’Union européenne intitulé « Europe 2020 Flagship Inititaive – Innovation Union » résume assez bien l’idéologie sous-jacente :

Our education systems at all levels need to be modernized. Excellence must even more become the guiding principle. We need more world-class universities, raise skill levels and attract top talent from abroad.

We need to get more innovation out of our research. Cooperation between the worlds of science and the world of business must be enhanced, obstacles removed and incentives put in place.

On y trouve une double référence : aux classements internationaux d’universités, et à la « stratégie de Lisbonne ». On peut dire que cette politique de l’excellence a véritablement démarré dans les années 2000 avec l’explosion de la mondialisation. Initialement, la stratégie de Lisbonne lancée en 2000 visait à faire de l’Union Européenne « l’économie de la connaissance la plus compétitive et la plus dynamique du monde d’ici 2010, capable d’une croissance économique durable, accompagnée d’une amélioration quantitative et qualitative de l’emploi et d’une plus grande cohésion sociale ». Cette stratégie volontariste apparaît en échec, à strictement parler, mais elle a été réactualisée, et la politique de recherche et développement reste au centre du dispositif.

Qu’il s’agisse des palmarès internationaux ou de la stratégie de Lisbonne, on voit immédiatement l’ambigüité du concept d’excellence : s’agit-il de formation, de recherche, ou d’innovation ? Se place-t-on dans une perspective scientifique, économique, ou démocratique ? L’abus du mot excellence ne vient-il pas conjurer le sentiment de déclin de l’Europe et, pour ce qui nous concerne ici, ne vient-il pas masquer notre incapacité à avoir de « véritables universités » en France ?

lire la suite…

Imprimer cet article Imprimer cet article

Le bonnet d’âne des palmarès

La ministre Valérie Pécresse a choisi de donner au Figaro Magazine une interview exclusive pour présenter l‘enquête nationale sur l’insertion des diplômés bac+5 de l’université. Elle la présente avec éclat comme « le premier palmarès des universités ». Et c’est un fait qu’au concours des palmarès foireux, celui-ci va peut-être gagner le premier prix. Ses faiblesses méthodologiques frisent la malhonnêteté politique et dénotent, à tout le moins, un  manque d’exigence intellectuelle. Je ne saurais trop recommander au lecteur de consulter les nombreuses chroniques que Pierre Dubois à consacrées dans son blog aux indicateurs d’insertion, sur EducPros et LeMonde.fr. On y trouvera des analyses détaillées et précises. Le sociologue Pierre Dubois sait de quoi il parle ; il a dirigé l’OFIPE de l’université de Marne la Vallée, et connaît bien le réseau des observatoires universitaires de l’insertion professionnelle. Ses critiques sont sanglantes mais le plus souvent font mouche.

On ne peut que souscrire aux objectifs de l’enquête : avoir des informations sur l’insertion des diplômés de l’université.  C’est un sujet complexe et une tâche difficile. On ne saurait reprocher à ceux qui s’y sont essayés des incertitudes, des approximations, et même des erreurs dans les résultats, à condition qu’elles ne soient pas masquées derrière un discours sans faille. Et ce qui est proprement scandaleux c’est de convertir cet essai en un palmarès où les universités sont classées au dixième de point près comme s’il s’agissait de la mesure d’une constante physique universelle. Ce qui trahit d’ailleurs un engagement antérieur de ne comparer les performances des établissements que toutes choses égales par ailleurs.

C’est une mauvaise action qui démonétise les efforts que l’on pourra faire pour une meilleure connaissance des débouchés des diplômes et de la valeur ajoutée des formations qui y conduisent. Valérie Pécresse a perdu une bonne occasion de rester modeste. Avec une pareille copie, elle risque fort de rater son examen terminal.

Imprimer cet article Imprimer cet article

La course à l’excellence dans le ghetto français

Excellence est un mot qu’on entend souvent aujourd’hui à propos des universités et de la recherche, ce qui n’aurait rien d’anormal si l’excellence n’était pas si étroitement subordonnée à l’idée de classement. Il faut être les mieux classés ! L’objectif du Conseil Européen de Lisbonne était de faire de l’Union Européenne « l’économie de la connaissance la plus compétitive et la plus dynamique du monde ». Et la conclusion qu’on en a tirée, c’est qu’il nous faudrait pour cela un petit nombre « d’universités d’excellence » (world class universities). L’excellence impliquerait donc une politique de concentration des meilleurs et de séparation des « moins bien classés ».

Nous avons eu l’occasion de discuter précédemment le rôle des classements[1] et leur relation à la politique universitaire. A vrai dire, la politique n’est pas réellement fondée sur les classements ; ceux-ci sont plutôt invoqués pour la justifier, et ceci de façon parfois caricaturale. Ainsi lors d’un récent conseil national de l’UMP, le président Sarkozy a déclaré : « Pour l’autonomie des universités, qui nous a valu neuf mois d’occupation l’année dernière, nous n’avons pas reculé d’un demi-centimètre. Et pour la première fois depuis vingt-cinq ans, dans le classement des universités de Shanghai, les universités françaises remontent. C’était possible, nous l’avons fait ». Sauf que l’autonomie n’est pas encore une réalité (une vingtaine d’universités viennent timidement d’y entrer en 2009) et qu’il faut mettre des lunettes pour distinguer les variations de positions des universités françaises dans le classement de Shanghai !

lire la suite…

Imprimer cet article Imprimer cet article

La Grande-Bretagne réévalue sa réforme de l’évaluation

Depuis plus de 20 ans, la Grande-Bretagne avait mis en oeuvre un système d’évaluation systématique et centralisé de la recherche universitaire, le Research Assessment Exercise (RAE). Il ne s’agissait pas d’une agence comme aujourd’hui l’AERES en France, mais de l’organisation tous les quatre à six ans d’une grande campagne d’évaluation de tous les départements de recherche des universités. Le RAE était mis en place, de façon très « professionnelle », par les financeurs publics (funding bodies)[1] dont les crédits de recherche aux universités étaient ensuite calculés sur la base des résultats du RAE. Ces résultats servaient aussi aux universités à déterminer leur politique. L’évaluation était faite de façon classique et indépendante par des comités d’experts sur le mode de la peer review[2]. Mais cet exercice s’avérait extrêmement lourd, aussi bien pour ceux qui le faisaient que pour les universités qui le subissaient, avec des conséquences limitées en matière de financement de la recherche. En décembre 2006, le Department of education and skills a annoncé le remplacement du RAE par le Research Excellence Framework (REF) dans lequel l’évaluation devait se faire essentiellement sur des indicateurs bibliométriques et des indicateurs de ressources contractuelles (volume des contrats publics et privés obtenus par un département). La motivation était d’alléger au maximum l’exercice d’évaluation et de le rendre plus ou moins automatique. Ce fut un véritable coup de tonnerre, comme on peut l’imaginer, ceci d’autant plus que ces nouvelles procédures introduisaient une nette coupure entre les sciences dures et les sciences humaines et sociales pour lesquelles un traitement particulier devait être envisagé.
De fait, le RAE 2008 aura été le dernier du genre, et d’ores et déjà la décision a été prise d’avoir le premier REF en 2013. Mais les britanniques se sont donnés le temps de la réflexion sur ce que seraient exactement le contenu et les procédures du REF. En 2007 une première consultation avait eu lieu sur les propositions initiales, et depuis lors on a eu de nombreuses prises de position critiques, des débats, des colloques, des études impliquant des universités pilotes[3]. Tous les échanges entre le gouvernement et les acteurs n’ont pas été de pure forme (comme c’est bien souvent le cas chez nous…) car, le 23 septembre 2009, de nouvelles propositions ont été faites qui, sur certains points, représentent un virage à 180 degrés par rapport aux propositions initiales. Elles tirent les enseignements du RAE 2008 et surtout prennent en compte les réticences des universitaires à l’égard des indicateurs bibliométriques[4]. Mais, par ailleurs, l’accent est mis, encore plus que par le passé, sur l’évaluation de l’impact économique et sociétal de la recherche, ce qui introduit d’autres controverses. Une seconde consultation aura lieu d’ici la fin de l’année sur ces nouvelles propositions.

Dans les débats qui mobilisent les milieux de recherche britanniques, on reconnaîtra bien des sujets qui agitent nos universités et dont on a eu des témoignages lors du récent conflit. C’est une raison de s’y intéresser. Une raison supplémentaire d’observer la Grande-Bretagne, c’est que son contexte institutionnel, bien qu’historiquement éloigné du nôtre, présente un aspect très instructif pour nous. En effet, la Grande-Bretagne présente ce double aspect d’avoir des universités traditionnellement très autonomes, en même temps qu’un pilotage gouvernemental très marqué. Le fonctionnement de ce système repose sur la concertation et le débat, aux antipodes de la situation française marquée par la volonté du pouvoir politique d’imposer ses décisions et, symétriquement, l’opposition des universitaires crispés sur des positions défensives.



IPSCounter Add-On for Google Sitebar