wie rankt de universiteitsrankings?

Meer had mijn nieuwsgierigheid niet nodig om geprikkeld te raken. Ik wilde weten hoe universiteitsrankings werken en hoe doelmatig ze zijn, hoe ze worden ingezet en of er beperkingen aan het systeem zijn en waarom de universiteit kennelijk zo wakker ligt van universiteitsrankings dat ze academici bestookt met mails om de parameters van deze rankings te optimaliseren.

selectieve criteria

Frank Willaert, emeritus professor Nederlandse letterkunde, ziet het met tegenzin gebeuren. “Een voornaam punt van kritiek is de keuze van de criteria, de indicatoren en het gewicht dat men aan elk criterium geeft. Dat is noodzakelijk willekeurig. Of beter gezegd: gedetermineerd door de opvattingen van de samenstellers van zo’n ranking over wat het belangrijkst is en dus het zwaarst moet wegen. De academische reputatie bij de peers? De reputatie bij werkgevers? De verhouding studenten-staf? Het aantal internationale studenten? Het aantal buitenlandse stafleden? De research output? En hoe meet men die output dan? Bij elk van die criteria die ik hier noem en die bijvoorbeeld bij de QS-ranking worden gebruikt, valt weer van alles te bemerken. Betekent een gunstige student-staf-ratio dat studenten op een optimale begeleiding kunnen rekenen? Of dat er sterk wordt ingezet op research? Kortom, wat meet men met zo’n variabele eigenlijk?”

“Aan de andere kant vallen er ook criteria te bedenken die niet worden meegenomen”, stipt Willaert aan. Hij somt er enkele op: “De toegankelijkheid van een universiteit, de investering van de overheid (en dus van de gemeenschap) in een universiteit, de diversiteit van haar staf of de diversiteit van haar studenten zijn daar bij mijn weten allemaal voorbeelden van. En eerlijk: ik zou ook niet weten hoe zwaar je ze zou moeten laten wegen. Men veegt van alles bij elkaar, men weegt kaneel bij lood en men komt tot scores die bij een andere weging van de criteria, of met andere criteria, heel anders kunnen uitvallen. Kortom, achter die rankings zit een opvatting over wat een universiteit moet zijn. Die opvatting lijkt me een discussie waard. Moeten we allemaal op Harvard willen lijken?”

een wedstrijd die je niet winnen kan

Luc Duerloo, gewoon hoogleraar Geschiedenis, noemt de rankings dan weer een spiegelpaleis. “Het is duidelijk dat er kwaliteitsverschillen bestaan tussen universiteiten. Maar als je die universiteitsbreed bekijkt, dan weiger je in te zien dat universiteiten soms goed kunnen zijn in één ding en slecht in iets anders. Bovendien kun je ongelooflijk veel vragen stellen over hoe ze tot stand komen. Ook vind ik het merkwaardig dat er zo weinig debat is over het feit dat de rankings van commerciële aard zijn, maar wel de parameters bepalen van wat kwaliteit is en waarop universiteiten worden beoordeeld. Het halen van Nobelprijzen weegt in prestigieuze rankings zwaar door. Dat betekent dan dat je over grote financiën moet beschikken en beloftevolle onderzoekers weinig tot geen colleges laat geven.”

“Universiteiten vullen hun drie strategische doelen – onderwijs, onderzoek en dienstverlening – in op heel verschillende manieren. Er is een te grote diversiteit om zomaar aan de hand van één uniform rankingsysteem te zeggen wie nu de beste is”, vertelt Nathalie Vallet, hoogleraar aan de faculteit Ontwerpwetenschappen en de faculteit Bedrijfswetenschappen en Economie. “Hoe meer strategisch maatwerk in functie van bijvoorbeeld lokale uitdagingen, unieke principes of waarden en minder algemene of gangbare beleidskeuzes, hoe groter de kans op een lage plaats in de ranking. Dat is dan ook een gevaarlijk neveneffect van de huidige academische rankingsystemen: ze veronderstellen wereldwijd een soort van eenduidige, universeel geldende hiërarchie tussen universiteiten die er niet is. Hierdoor doen ze de rijke diversiteit en traditie, vaak verwant aan cultureel en historisch verschillende contexten, onrecht aan.”

“Er is nog een tweede gevaarlijk neveneffect”, gaat Vallet verder. “De gehanteerde criteria van de gangbare rankingsystemen zijn allesbehalve ideologisch en strategisch neutraal. Zo zijn ze duidelijk geïnspireerd door het neoliberale denken ten aanzien van de publieke sector, dat momenteel opnieuw zegeviert en duidelijk westers geïnspireerd is. Het gaat over

profitcriteria zoals het zelf genereren en binnenhalen van financiële middelen en het publiceren in al dan niet enkel een selecte groep van zogenaamde high-level academische tijdschriften die imagogewijs maximaal renderen. Dat is volgens het westers neoliberale denken een synoniem voor kwaliteit. Er zijn echter diverse redenen waarom heel wat universiteiten bewust publieke organisaties zijn en best ook blijven. Denken we bijvoorbeeld aan hun academische onafhankelijkheid en kritische zin. Als je daar nu profitcriteria aan toevoegt, krijg je heel andere organisaties. Het gevaar is reëel dat universiteiten zo hun onafhankelijkheid verliezen. Kortom, andere ideologische en culturele contexten leiden logischerwijze tot andere invullingen van criteria en rankings. Beoordelen, evalueren en zo ook ranken blijft dus steeds een uitgesproken normatief en selectief gebeuren.”

als jij mij leuk vindt, vind ik jou ook leuk

Ik vroeg ook aan UAntwerpen hoe de universiteit kijkt naar het belang van deze rankings, hoe de universiteit ze inzet en in welke mate ze een universiteit als UAntwerpen ten goede komen. Woordvoerder Peter De Meyer zegt dat de rankings geen doel op zich zijn, maar dat een mooie plek in de rankings voor UAntwerpen zeker een goede zaak is. “Internationale studenten, zeker Aziatische, houden rekening met een ranking en vinden zo hun weg naar UAntwerpen, bijvoorbeeld om te doctoreren. Door een goede internationale uitstraling gaan er ook deuren open. Die kunnen leiden tot samenwerkingen met andere kennisinstellingen.”

Niettemin klinkt de mail van de Faculteit Letteren en Wijsbegeerte ook Guido Vanheeswijck, gewoon hoogleraar filosofie die in 2020 op emeritaat ging, bekend in de oren. “Er is het jaar voordien een vraag gekomen van hetzelfde decanaat om aan onze buitenlandse collega’s kenbaar te maken hoe geweldig goed wij zijn en dan kunnen wij van de buitenlandse collega’s ook zeggen hoe geweldig wij ze vinden. Ik heb toen, ik stond kort bij mijn emeritaat, een mail geschreven aan de gehele faculteit met de boodschap dat ik dat betreurde en dat de faculteit haar ziel verkoopt op deze manier. Ik heb daar vele reacties op gekregen – individueel, want de meeste collega’s willen er in het openbaar niets op zeggen.”

Er is een te grote diversiteit om zomaar aan de hand van één uniform rankingsysteem te zeggen wie nu de beste is.

Ook Willaert stelt zich vragen bij deze gang van zaken. “De weging van de reputatie van een universiteit gebeurt door peers, die meer en meer door hun universitaire overheden worden verzocht hun bevriende collega’s van andere universiteiten te vragen om de eigen universiteit als gereputeerde instelling te vermelden bij de instituten die de rankings verzorgen. In ruil biedt de vragende academicus uiteraard aan hetzelfde te doen ten aanzien van de universiteit van zijn of haar collega. Kortom: ‘I scratch your back, you scratch mine’.
Ik vind deze werkwijze in ethisch opzicht zeer betwistbaar en methodisch curieus. Betekent het feit dat ik met een collega-onderzoeker uit universiteit x of y goed kan samenwerken meteen dat ik een betrouwbaar beeld heb van zijn of haar universiteit als geheel, in al haar aspecten?”

lokale inbedding

“Ik zou mezelf niet de grootste tegenstander van universiteitsrankings noemen omdat de indicatoren van deze rankings een soort van competitie kwantificeren”, gaat hoogleraar politieke sociologie Peter Thijssen verder. “Competitie is niet noodzakelijk slecht en leidt ertoe dat de performantie beter is. Onze universiteit gaat er vrij verstandig mee om. Mijn grootste probleem met de rankings is van maatschappelijke aard. De gehanteerde indicatoren gaan een eigen leven leiden. Wordt het onderwijs beter door de rankings? Of worden de universiteiten beter door de rankings omdat de betere studenten er belanden? Zo’n indicator meet de makkelijkst meetbare dingen. Onderwijskwaliteit is minder meetbaar.”

“Wat ik belangrijk vind bij een universiteit als UAntwerpen is het bewustzijn dat we een universiteit zijn in een stad en een maatschappelijke verantwoordelijkheid hebben, ook tegenover de studenten die er wonen. Dat is veel moeilijker om te meten, maar dat wil niet zeggen dat dat geen waarde heeft. De mate waarop een universiteit in de omgeving rekruteert, wordt vaak als iets negatiefs gezien. Hoe internationaler de studentenpopulatie, hoe beter. Topuniversiteiten trekken studenten over de hele wereld aan, maar zijn vaak slecht ingebed in hun omgeving. Die lokale inbedding zou als criterium ook een plaats moeten krijgen.”

Peter De Meyer benadrukt dat de universiteit het beleid niet op de rankings afstemt: ”Dag in, dag uit wetenschappelijk onderzoek op internationaal niveau uitvoeren en kwalitatief onderwijs aanbieden: dat is ons doel. Als dat dan wordt bevestigd met een mooie plaats in een ranking, dan is dat natuurlijk leuk. Je moet die rankings ook in perspectief zien: wereldwijd zijn er zowat 18.000 universiteiten. UAntwerpen staat in de Times Higher Education 2023 op plek 131. Dat betekent dat we tot de 1 procent beste universiteiten van de wereld behoren. Ook alle andere Belgische universiteiten behoren tot de top. Ook relevant: veel Angelsaksische universiteiten selecteren de beste studenten en vragen torenhoge inschrijvingsgelden. Wie alleen topstudenten toelaat, blijft makkelijker in de top van de rankings staan. Vlaamse universiteiten hebben ook een maatschappelijke opdracht.”

botsing tussen exacte en humane wetenschappen

De bedenking die meerdere professoren maken, is hoe relevant deze rankings zijn voor de humane wetenschappen. Een professor in de menswetenschappen die liever anoniem blijft, ziet het zo: “Ik begrijp dat de rankings in sommige vakgebieden als de medische en exacte wetenschappen wel een rol spelen, maar voor de menswetenschappen slaan ze nergens op. Daar leiden ze meer tot een koehandel, waarbij we gevraagd worden buitenlandse collega’s ertoe te brengen onze universiteit hoog te waarderen in ruil voor dezelfde hoge evaluatie van hun instelling. Niemand is in staat op een ernstige manier volledige programma’s en departementen aan andere universiteiten in te schatten – dat kunnen we zelfs niet binnen onze eigen departementen omdat we nauwelijks elkaars concrete wetenschappelijke werk kennen. De scores die we verlenen, kunnen alleen maar nattevingerwerk en pseudo-objectief zijn.”

Topuniversiteiten trekken studenten over de hele wereld aan, maar zijn vaak slecht ingebed in hun omgeving.

“Het is een triest en absurd theater”, gaat Vanheeswijck verder. “Een universiteit heeft een verantwoordelijkheid. Ze moet ten eerste de volgende generatie opleiden tot specialisten en tot mensen die hun vak kennen en die in de maatschappij dat vak kunnen uitoefenen. Ten tweede moet een universiteit studenten opleiden tot mensen die kritisch zijn over de uitgangspunten van de samenleving, maar ook kritisch zijn over zichzelf, de universiteit en de professoren. Het is niet omdat ik een opinie heb, dat je die moet aanvaarden. Die kritische reflectie vind je niet terug in de rankings. Je gaat niet studeren aan de faculteit Letteren en Wijsbegeerte om je te conformeren aan bedrijfscultuur of om professionele contracten te sluiten. Eigenlijk leer je er om imagopolitiek te doorprikken. Traditioneel heeft in de faculteit Letteren en Wijsbegeerte altijd een groot gevoel van non-conformisme geheerst, maar dat staat nu geweldig onder druk.”

“Als sociale wetenschappers hebben wij kritiek op bijvoorbeeld de Shanghai-ranking die tilt welke publicaties in grote tijdschriften zijn verschenen en hoeveel Nobelprijswinnaars een universiteit aflevert”, vertelt Thijssen. “Voor sociale wetenschappen zijn er geen Nobelprijzen, noch is er een equivalent. Dat maakt dat het niet zo’n eerlijke indicator is. Zeker voor een universiteit zoals die van Antwerpen, die toch een redelijk aantal sociale wetenschapsstudenten heeft. De indicatoren zijn misleidend omdat ze gebaseerd zijn op de performantie van de exacte wetenschappen. De research output telt daar het zwaarste mee.”

De Meyer zegt iets gelijkaardigs: “De methodologie van universiteitsrankings is vaak niet erg transparant. Het aantal Nobelprijswinnaars binnen een universiteit speelt in sommige rankings bijvoorbeeld een rol. Maar wat zegt een Nobelprijs voor een professor in de Geneeskunde in 1965 over de kwaliteit van pakweg de opleiding Communicatiewetenschappen in 2022?”

zorgen over onderwijs

Als belangrijkste bekommernis stipt Thijssen aan hoe je onderwijs opneemt in de indicatoren. “Onderwijs moet meer belang krijgen, ook al is dat moeilijk meetbaar. In de indicatoren wordt heel veel rekening gehouden met het aantal publicaties, maar hoe die publicaties zijn verspreid onder de staf speelt geen rol. Als die publicaties gerealiseerd worden door enkele toppers die de studenten zelden of nooit te zien krijgen, is dat misleidend. Je moet kijken naar wat er bereikt wordt met studenten. Je kan werken met topstudenten en hun niveau wat verhogen. Maar een veel grotere verwezenlijking is het om minder goede studenten op een topniveau krijgen.”

“We moeten kritisch blijven kijken naar het verband tussen onderzoek en onderwijs”, vertelt Thijssen.
“Typisch aan universitair onderwijs is dat we steunen op eigen onderzoek, wat de colleges ook kwalitatief versterkt. Alleen is het grote probleem dat vele studenten de toponderzoekers die ervoor zorgen dat de universiteit in de rankings stijgt, nauwelijks te zien krijgen. Universiteiten proberen hun toponderzoekers vrij te stellen van onderwijs, waardoor de koppeling tussen onderwijs en onderzoek niet wordt gerealiseerd.”

“Omdat onderzoek zwaar doorweegt in de rankings wordt onderwijs het ondergeschoven kind ten bate van onderzoek”, vreest Vanheeswijck. “Officieel tellen onderwijs en onderzoek in gelijke mate mee, maar door de huidige universitaire politiek wordt dat evenwicht op de werkvloer doorbroken. Het aantal studenten telt wel in de rankings, maar niet hoe je met de studenten omgaat. Hoeveel tijd steekt een docent in een student en in onderwijs? Mogen studenten regelmatig vragen stellen op haar of zijn bureau? Wimpel je dat af of niet? Vroeger werd het als een voorrecht gezien om aan eerstejaars les te geven en hen te introduceren in je vakgebied. Jonge docenten worden vandaag vooral beoordeeld op hun wetenschappelijke output, met als gevolg dat ze niet happig zijn om in het eerste jaar les te geven. De hele rankingsfilosofie heeft met andere woorden gevolgen voor het onderwijs aan de basis. Het is een geloof dat binnen de muren van de universiteit is gedrongen, maar dat weinig zegt over het dagelijkse klimaat en de werking op de werkvloer.”

Het is duidelijk dat de rankings niet louter op hoerageroep kunnen rekenen, de vraag blijft waarom universiteiten er niettemin zoveel waarde aan hechten. Vanheeswijck: “De universiteitsrankings passen perfect in het klimaat van publish or perish, van het kwantificeren van zaken en van een bepaalde perceptie naar buiten creëren. Ik denk dat het heel wat kwalijke effecten heeft. Het is een tendens die het laatste decennium is versneld. En natuurlijk kan één universiteit zich daar moeilijk tegen verzetten. We spreken hier over een algemeen klimaat. Is dat een fout van de universiteiten? Nee en ja. Alle universiteiten moeten dat spel meespelen, anders verliezen ze geld. Al weten velen dat het model niet deugt, ze durven dat bijna niet aan te klagen. Terwijl je die openheid juist van wetenschappers zou mogen verwachten.”

Het is zeer zorgwekkend indien universiteiten strategisch gaan denken én handelen in functie van deze rankings.

“Het grote probleem van de filosofie rond rankings is dat benoemingen en bevorderingen erdoor worden bepaald. Het filosofische essay in de moedertaal verdwijnt bijvoorbeeld in die optiek. Wie naast A1-artikels essays voor een breder publiek schrijft, maakt minder kans op een benoeming dan iemand die uitsluitend specialistische bijdragen produceert. Ik ben ervan overtuigd dat heel veel mensen dat heel goed weten. Collega’s noemen dat systeemdwang. Ofwel draai je mee in het systeem ofwel moet je ontslag nemen. Zeker de laatste jaren: de beste studenten verlaten de universiteit. De studenten die zich tactisch aanpassen aan het heersende klimaat hebben de beste kansen om er te blijven.”

Thijssen vindt het niet slecht dat elke universiteit de indicatoren waar ze goed in schoort naar voren schuift. “Je krijgt een idee waar de universiteit goed in is. Dat maakt alleen maar duidelijk dat de indicatoren verschillen. En om te kijken hoe een universiteit presteert, is dat maar één element in het verhaal. Je moet erop wijzen dat niet één indicator heilig is.” Hij stipt wel een ander risico aan: “Wanneer een heel dom criterium in een index wordt opgenomen en mensen spotten dat criterium, dan krijgt dat criterium ook waarde, hoe absurd het criterium ook is. Zulke indicatoren worden een bestaan op zich en dat groeit uit tot een soort van selffulfilling prophecy.”

“Het systeem zit niet goed omdat het niet objectiveerbaar is”, stelt Duerloo. “In Groot-Brittannië hebben ze een systeem waarbij de disciplines aan een universiteit op geregelde tijdstippen worden doorgelicht. Dat gebeurt hier ook. Maar het Britse systeem verschilt van het onze in die zin dat er bepaalde collega’s worden vrijgesteld, betaald worden om dat te doen en dat men van die collega’s verwacht dat ze daadwerkelijk stukken van professoren lezen. Hier wordt naar cijfers gekeken, terwijl in Groot-Brittannië je drie beste publicaties worden gelezen. Dat leidt tot een inhoudelijke kwaliteitsbeoordeling in plaats van een kwantitatieve.” “Het zijn zeker geen onschuldige systemen”, zegt Vallet. “Al die academische rankings pretenderen neutraal te zijn alsook de academische kwaliteit, slagkracht en identiteit te versterken, maar dat doen ze helaas allerminst. Het is slechts schijn en het is dan ook zeer zorgwekkend indien universiteiten strategisch gaan denken én handelen in functie van deze rankings. In plaats van zich in eerste instantie te buigen over de intrinsieke kwaliteit en ontwikkeling van hun drievoudige strategische opdracht, kijken ze eerst naar de gevolgen en hun ambities in de rankings. In plaats van dichter bij hun bestaansreden en identiteit te komen, riskeren ze ervan weg te drijven.”