Entre 2004 et 2009, le classement des universités de [1] Quacquarelli Symonds (Q&S), société privée basée à Londres qui conseille les étudiants “à haut potentiel” pour leurs études et leurs carrières, était produit pour le compte du Times Higher Education de Londres, et était publié comme classement du Times (classement THE). Mais depuis 2010, les classements de Q&S et THE sont distincts. Le classement Q&S 2010, qui vient de sortir, donne des résultats surprenants, comme on le verra ci-dessous dans le cas des mathématiques. Dans cette note, je discute quelques questions que cela pose.

C’est le Times Higher Education qui a décidé, en 2009 de changer de méthodologie (et de partenaire) pour son classement. Sa rédaction estimait que la méthode précédente, basée en grande partie (40% du score total) sur la réputation des institutions était biaisée, notamment par la taille trop réduite du panel consulté. A l’issue d’une vaste consultation, elle a réactualisé ses critères, et choisi un nouveau partenaire, [2] Thomson Reuters, la société qui produit, entre autres, le Science Citation Index[3] [1]. Les nouveaux critères incluent encore la réputation, et Thomson Reuters fait appel à Ipsos pour cette partie de l’étude. Parmi les autres aspects pris en compte figurent la bibliométrie, l’internationalisation du corps enseignant…

La réputation, qui compte pour 50% dans le classement de Q&S, est établie en interrogeant un panel d’universitaires, chercheurs, mais aussi de responsables des ressources humaines d’entreprises du  monde entier : 15 000 universitaire et 5 000 DRH. On demande à chaque expert de dire à quel grand champ disciplinaire il appartient ; il y en a cinq : sciences de la nature, bio-médecine, technologie, sciences sociales, humanités et arts. Puis chaque expert classe jusqu’à trente institutions qui lui paraissent être les meilleures dans son domaine. En ce qui concerne les DRH, on leur demande dans quelles universités ils recrutent en priorité. L’autre moitié de l’évaluation se base sur des indicateurs objectifs : nombre de professeurs/chercheurs étrangers, nombre d’étudiants étrangers, et évidemment bibliométrie (établie en partenariat avec l’éditeur scientifique Elsevier).

L’enquête Q&S a l’avantage, si l’on peut dire, d’inclure un classement particulier pour les mathématiques. Dans la mesure où les mathématiques ne sont pas identifiées comme un domaine disciplinaire, cela peut paraître problématique (qui sont les experts appelés à donner leur opinion sur les départements de mathématiques ?), mais ils ont bien publié un classement. A contrario, THE ne publie pas de classement en mathématiques autre que celui qui est basé entièrement sur la bibliométrie ; nous nous y arrêterons un peu plus loin.

Voici le résultat du classement Q&S en mathématiques, portant sur 200 institutions : les dix premières sont, dans l’ordre : Harvard, MIT, Cambridge, Stanford, Berkeley, Oxford, Yale, UCLA, Princeton, ETH. Les établissements français classés sont Polytechnique (22ème), l’ENS Paris (28ème), puis Dauphine (dans un paquet non interclassé 50ème à 100ème), puis, dans le paquet (non interclassé) 101ème à 150ème, l’ENS Lyon, les universités Pierre-et-Marie-Curie et enfin Joseph-Fourier entre la 151ème et la 200ème place[4] [2].

En ce qui concerne les mathématiques, ce classement est pour le moins surprenant : seulement 7 universités françaises classées dans les 200 premières, alors que la France est, tant pour la formation de chercheurs en mathématiques que comme pays d’exercice de mathématiciens au deuxième rang mondial. A contrario on peut être surpris par le grand nombre de départements de mathématiques du Royaume Uni dans le classement Q&S : 8 sont classés dans les 50 premiers, 5 entre 51 et 100, 5 entre 101 et 150, et 9 entre 151 et 200. Sept en France contre vingt-sept au Royaume Uni : même si les centre universitaires français souffrent de la concurrence des grandes écoles du point de vue des débouchés non académiques de leurs étudiants, on ne peut pas ne pas s’interroger sur le biais pro-britannique qui pourrait affecter les experts choisis par Q&S, société elle-même britannique.

Mais on peut être également surpris par les présences et les absences dans la courte liste des départements français. Celui de Paris-Sud n’y figure pas, alors qu’en sont issus ou y enseignent actuellement quatre médaillés Fields récents (sur les 18 médailles décernées depuis 1994) ! Que Polytechnique soit à la première place, devant l’Ecole normale supérieure de Paris est également étonnant, car le rôle de l’ENS dans la formation des mathématiciens français est bien plus important que celui de Polytechnique, qui a maintenant bien du mal à attirer vers la recherche en mathématiques ses propres élèves. L’excellent classement de Dauphine, en regard de l’absence de plusieurs départements très réputés est également étonnante. Si Dauphine peut en effet se targuer de compter en son sein des équipes de tout premier plan, de très larges pans des mathématiques en sont complètement absents.

Mais nous ne sommes pas au bout des surprises que nous révèle Q&S ! Leur site permet également de composer [5] son propre classement, en choisissant les critères utilisés. Ainsi, si l’on introduit les critères : Europe-France, mathématiques, études plein temps, on trouve le classement suivant (avec les notes correspondantes, la première institution ayant automatiquement 100).

Ce classement est donc en contradiction avec le précédent : trois des six institutions françaises classées dans les 150 meilleures mondiales dans le classement en mathématiques sont absentes du classement spécifique pour la France. En revanche on trouve dans ce classement spécifique plusieurs universités ou écoles qui ne sont pas particulièrement connues pour leur recherche ou formation en mathématiques : L’exemple le plus étonnant est celui de Paris IV-Sorbonne, qui ne comprend pas un seul mathématicien dans son corps enseignant[6] [3] ! S’il y a bien à HEC quelques mathématiciens spécialisés en théorie des jeux et recherche opérationnelle, disciplines importantes dans la formation des économistes et gestionnaires, ce n’est certes pas la vocation de cette école de former des mathématiciens. Et ça n’est pas faire injure aux petits départements de mathématiques de Paris I et  Paris V que de ne pas les placer de manière évidente parmi les tout meilleurs.

Les autres classements

Donnons pour mémoire, les deux autres grands classements en mathématiques. Celui de Shanghai[7] [4] donne, pour les 10 premiers, dans l’ordre : Princeton, Berkeley, Harvard, Stanford, Cambridge, UPMC, Oxford, MIT, Paris-Sud, UCLA. Par rapport au classement Q&S, la différence porte sur les deux universités françaises (UPMC et Paris Sud, remplacées dans le classement Q&S par Yale (7ème) et l’ETH Zürich (10ème). Suivent, dans le classement de Shanghai les institutions françaises suivantes : Dauphine (34ème), Paris 7 Diderot (47ème), ENS Paris et Polytechnique (51 à 76ème) Aix-Marseille I, Rennes, Strasbourg (77 à 100ème).

Le [8] classement THE en mathématiques utilise le critère unique de la bibliométrie, et plus spécifiquement le facteur d’impact des publications sur les dix dernières années. Le classement des dix premiers est assez différent : dans l’ordre Johns Hopkins, Stanford, Berkeley, Minnesota, Washington, Harvard, Princeton, Caltech, Brown, Duke. Les institutions françaises classées sont : INRIA (28ème), Paris-Sud (34ème) et Paul Sabatier  (42ème).

Que ces classements, Q&S, Shanghai et THE donnent des résultats assez différents n’est pas en soi anormal : si les trois classements reposent en grande partie sur la recherche, celui du THE n’utilise qu’un critère objectif portant sur la recherche, celui de Shanghai repose sur un ensemble  composite de critères assez hétérogènes tous liés à la recherche (bibliométrie, prix prestigieux, taux d’activité), alors que celui de Q&S est basé en grande partie sur la réputation et prend en compte l’employabilité des diplômés.

Classements : faiblesses, effets nocifs, importance

On perçoit bien les faiblesses méthodologiques de ces classements ; elles ont été abondamment soulignées, par exemple par les travaux d’Yves Gingras[9] [5] et abondamment critiquées par différents auteurs et organismes[10] [6]. La publication par l’association européenne des universités (EUA) le 17 juin d’un [11] rapport sur les classements et leur impact négatif, rapporté par Philippe Jacqué dans Le Monde daté du 18 juin 2011, montre bien l’actualité du débat. Le rapport de l’EUA souligne que seules un millier d’universités sont concernées par ces classements, sur environ 17 000 universités dans le monde et que sont pénalisées les institutions qui investissent plus sur la formation que sur la recherche — un point de vue que ne récuserait pas notre Conférence des grandes écoles !

Les effets délétères de ces classements ne sont plus à démontrer : sur le plan international, quand cinq cents universités voudraient toutes être dans les cent premières, il s’ensuit une course absurde où tous les moyens sont bons et où l’on peut perdre de vue l’essentiel. Sur le plan français, où c’est  celui de Shanghai qui a le plus frappé l’opinion, c’est en son nom 1° qu’on cherche à constituer des maxi-agglomérats d’institutions avec pour but principal de gagner des places au classement ; 2° qu’on applique une politique de concentration des moyens sur un bien trop petit nombre de lieux d’excellence, avec le risque de tuer une recherche de grande qualité, très bien reconnue internationalement,  qui se fait ailleurs que dans ces laboratoires d’excellence.

Mais ces critiques ne doivent pas nous faire perdre de vue quatre choses :

1° Les classements soulignent la faiblesse des institutions françaises, et ce pour des raisons structurelles bien réelles, et problématiques : la séparation universités-écoles et la séparation universités-organismes de recherche[12] [7].

2° Il y a de réelles différences dans la qualité globale de la recherche et de l’enseignement entre diverses institutions ; le nier est démagogique ou pas sérieux.

3° Une information fiable doit être disponibles sur les mérites des institutions universitaires. Les classements ne sont certes pas utiles pour les chercheurs professionnels ; eux savent bien où la bonne recherche est faite dans leur domaine. Mais les étudiants, eux, ont besoin de faire des choix  et ils ont le droit de baser leurs choix sur des informations plutôt que sur des rumeurs. Qu’il faille se méfier des classements, et donc recommander à ceux qui cherchent des informations pour leurs choix d’études de diversifier au maximum leurs sources est une chose; mais rejeter toute évaluation de ce type veut dire très exactement réserver l’information à ceux qui sont déjà au courant, c’est à dire les familles des catégories socio-professionnelles les plus élevées. Cela n’est pas acceptable.

Par ailleurs, dans le contexte français, il n’est pas superflu de rappeler que ces classements internationaux font intervenir la recherche comme critère décisif ; par rapport aux hiérarchies proposées aux lycéens, où ce sont les formations éloignées de la recherche, comme les classes préparatoires, qui sont en tête, ce n’est pas sans intérêt.

4° Enfin, les classements existent, et sont utilisés par les étudiants. Notre capacité à attirer des étudiants internationaux dès le master, ou même dès la licence, ou à retenir les étudiants français de plus en plus tentés par les études universitaires hors de France juste après le baccalauréat dépend aussi de ces classements.

[13] [1] Thomson Reuters vient d’annoncer la publication d’un nouvel outil de gestion universitaire : Institutional Profiles, qui analyse en détail 500 universités dans le monde du point de vue de la recherche (publications, citations), de la réputation, du recrutement des étudiants etc. On peut être certain que les universités seront prêtes à en payer très cher l’abonnement!

[14] [2] A titre de comparaison, mentionnons les établissements français classés en informatique : ENS Paris (32ème),  Polytechnique (51 à 100), Paris I (101-150), ENS Lyon (151-200), Joseph-Fourier Grenoble (151 200); en physique, cela donne : ENS Paris (16ème), Polytechnique (29ème), ENS Lyon (51-100), UPMC (51-100), Paris-Sud (101-150), Joseph-Fourier Grenoble (151-200).

[15] [3] Peut-être est-ce la dénomination “Sorbonne” qui a désorienté les experts de Q&S ? Jusqu’à la séparation des universités parisiennes après 1968, c’est en effet la Sorbonne qui symbolisait l’université de Paris, mathématiques comprises.

[16] [4]Ce classement maintenant bien connu de l’université Jiao-Tong de Shanghai avait été établi au départ pour aider les étudiants chinois à choisir une université pour leur poursuite d’études en 3ème cycle.

[17] [5]Yves Gingras, « Le classement de Shanghai n’est pas scientifique ». [18] La Recherche n°430, Mai 2009.

[19] [6]On pourra lire avec intérêt les débats sur le site World University News :

[20] http://www.universityworldnews.com/article.php?story=20101217222919204

[21] http://www.universityworldnews.com/article.php?story=20100820151520142

[22] http://www.universityworldnews.com/article.php?story=20100305112613216

[23] http://www.universityworldnews.com/article.php?story=20101126204406989

[24] [7]Cette séparation affecte moins les mathématiques, car l’essentiel des chercheurs travaillent dans les UMR, et signent leurs articles en faisant référence à leur université de rattachement. Dans les disciplines expérimentales, il en va différemment : bien des articles publiés par les revues par des auteurs travaillant en France ne mentionnent pas l’université de rattachement, même dans le cas d’UMR.