Vier Europese supercomputers in de top 10, maar hoe relevant is dat?

De top 10 van de lijst van supercomputers van november 2024 is vooral een westerse aangelegenheid, alle systemen staan in de VS, Europa en Japan. Maar als de snelste supercomputers van China in de lijst zouden staan, zouden ze op de derde en vijfde plaats staan. En de commerciële sector bouwt machines die nog sneller zijn dan de nummer één.

Als we kijken naar de lijst van de 500 krachtigste supercomputers in november 2024, dan zien we dat het vooral een westerse aangelegenheid is. De hele top 10 staat in westerse landen, als we Japan ook tot de westerse landen rekenen. De helft van de top 10 staat in de VS, 4 staan in Europa en één in Japan.

Een solide voorsprong in supercomputers

Van de hele lijst staat ongeveer een derde (34%) in de VS, met Europa daar vlak achter (32%). China heeft iets meer dan 12%. Als het gaat om prestaties, is het beeld nog schever: meer dan de helft (55%) van alle rekenkracht van de Top 500 supercomputers staat in de VS, de EU heeft ongeveer een kwart (27%) en China slechts ongeveer 3%.

De top drie systemen op de lijst bevinden zich in het exascale bereik, wat betekent dat ze meer dan 1.000 PFlop/s leveren (dat is: één exaFlop/s) en ze bevinden zich alle drie in de VS. De snelste computer is een nieuwkomer op de lijst, El Capitan bij Lawrence Livermore National Laboratory. Het feit dat dit laboratorium zich bezighoudt met veiligheidskwesties (in brede zin) illustreert het strategische belang van supercomputers.

Dit is een heel ander beeld dan vier jaar geleden. Toen had China het grootste aantal systemen in de Top 500, bijna twee keer zoveel als de VS met een totale rekenkracht die bijna gelijk was aan die van de VS. Nu is de totale rekenkracht van China op de lijst zelfs minder dan in november 2020 omdat veel van hun nieuwe systemen niet op de lijst van 2024 staan. Hun snelste computers op de lijst, de Sunway TiahuLight (nummer 15 op de lijst) en de Tianhe-2A (nummer 24) staan er nog steeds met dezelfde prestaties op als in 2020, terwijl het snelste Amerikaanse systeem nu meer dan 10 keer zo krachtig is als in 2020.

Europa blijft bij in de supercomputerwedloop. Hun snelste systeem op de lijst is nu ook ongeveer tien keer zo snel als in 2020. Op dit moment wordt er in Duitsland een exascale supercomputer gebouwd, die nu nog 18e staat op de lijst omdat hij nog in aanbouw is.

Een misleidend beeld

Maar vanwege de specifieke manier waarop de lijst is bepaald is de lijst niet noodzakelijk een goede weergave van de grootste computersystemen ter wereld.

Ten eerste gaat het gerucht dat de krachtigste Chinese supercomputers eigenlijk van dezelfde klasse zijn als El Capitan. Er wordt aangenomen dat de Tianhe-3, die begin 2024 online kwam, een sustained performance van 1,57 exaFlop/s haalt, wat meer dan 15 keer zo snel is als het snelste Chinese systeem in 2020. Als het op de lijst zou staan, zou het op de derde plaats staan. En met 1,22 exaFlop/s zou het Chinese OceanLight-systeem op de vijfde plaats staan. De reden dat ze niet zijn opgenomen is dat er geen officiële benchmarks beschikbaar zijn voor deze systemen. Maar het maakt de lijst van supercomputers waarschijnlijk wel minder representatief.

Daarnaast is er de commerciële sector. Op lijst van de top 500 supercomputers staat Microsoft veruit als grootste speler, met zijn Eagle-systeem van 561.200 TFlop/s, het op drie na krachtigste systeem op de lijst en ongeveer een derde zo krachtig als de toponderzoeksystemen op de lijst. Maar ook hier zijn er waarschijnlijk andere commerciële systemen die niet op de lijst staan en die minstens zo krachtig zijn.

Op het gebied van AI-ontwikkeling is er een ware stormloop op enorme systemen. Volgens Elon Musk zou de Colossus supercomputer van xAI, bestaande uit 100.000 Nvidia H100 (Hopper) versnellers, een theoretische piekprestatie van 3,4 exaFlop/s hebben. Dat is hoger dan die van El Capitan, die een theoretische piekprestatie van 2,7 exaFlop/s heeft. Wanneer Colossus gebruikt wordt voor het trainen van AI-modellen, zullen er kleinere getalrepresentaties worden gebruikt (typisch FP8 of INT8) waarvoor het naar verwachting een piekprestatie van zelfs 396 exaFlop/s zal hebben. xAI is van plan om uiteindelijk het aantal processors te verdubbelen.

Ook OpenAI en Microsoft zijn bezig met de ontwikkeling van hun Stargate-systeem, dat naar verwachting uiteindelijk 2 M GPU’s/XPU’s zal tellen, wat in termen van aantallen zelfs tien keer zoveel is als wat xAI aan het bouwen is.

Merk echter op dat de prestaties van deze systemen niet echt vergeleken kunnen worden met die van de Top 500-lijst van supercomputers. Ze zijn geoptimaliseerd voor het trainen van AI-systemen en hun prestaties voor meer algemene toepassingen zijn in wezen onbekend. Dat is ook de reden waarom ze niet op de lijst staan.

Last but not least, een andere categorie rekenhardware die ontbreekt in de lijst zijn quantumcomputers. Ook hierbij is de reden om ze niet op te nemen in de Top 500 lijst van supercomputers dat quantumcomputers niet zo algemeen bruikbaar zijn als traditionele supercomputers. Daarom kunnen ze de benchmarkapplicaties die de lijst bepalen niet uitvoeren. Maar voor specifieke berekeningen kunnen ze zelfs de snelste supercomputers gemakkelijk voorbijstreven.

De technologie van kwantumcomputers ontwikkelt zich snel. De grootte van een quantumcomputer wordt vaak uitgedrukt in het aantal qubits. Ook al is dit een zeer dubieuze maat voor prestaties, het zegt toch wel iets dat de grootste quantumcomputer die nu gepland is naar verwachting 1M qubits zal hebben, terwijl de huidige grootste systemen ongeveer 1k qubits hebben. En, net als bij supercomputers in het algemeen, is de westerse voorsprong op het gebied van kwantumcomputers verre van zeker.

Dus zelfs met alle voorbehouden die horen bij het vergelijken van supercomputers, lijkt het veilig om te zeggen dat de Top 500 lijst van supercomputers nauwelijks representatief is voor de groei in rekenkracht in de wereld. Naarmate China en commerciële partijen hun capaciteiten uitbreiden en quantum computing tot wasdom komt, lijkt de voorsprong van de Amerikaanse en Europese onderzoekssystemen ineens een stuk minder solide.

Waarom supercomputers belangrijk zijn

Dit is zeker iets om je zorgen over te maken. Computing is van strategisch belang. Vergeet niet dat computers een centrale rol speelden in de Tweede Wereldoorlog. Het hielp bij het ontcijferen van berichten van het Duitse leger en het was cruciaal bij de ontwikkeling van de atoombom. Tegenwoordig wordt verwacht dat quantumcomputers de huidige versleutelingsmechanismen zullen doorbreken en alles zullen blootleggen wat tot nu toe als geheim werd beschouwd. Ook biotechnologie, inclusief de bestrijding van besmettelijke ziekten (zo niet de ontwikkeling ervan), is ondenkbaar zonder geavanceerde computers. Het zal duidelijk zijn dat wie de sterkste computerfaciliteiten heeft, een strategisch voordeel heeft.

De VS en Europa hebben dit probleem onderkend. De VS lanceerden al in 2015 hun National Strategic Computing Initiative met als doel “het Amerikaanse leiderschap op het gebied van high performance computing (HPC) te bevorderen”. In Europa werd in 2018 het EuroHPC-programma opgezet om “van Europa een wereldleider op het gebied van supercomputing te maken, Europa’s wetenschappelijke uitmuntendheid en industriële kracht te stimuleren, de digitale transformatie van zijn economie te ondersteunen en tegelijkertijd zijn technologische soevereiniteit te waarborgen”.

Vergeet de algoritmen niet

Toch is zo’n leiderschap nog lang niet verzekerd. Zelfs als het westen concurrerend blijft op het gebied van hardware, dan nog gaat het bij computing om meer dan alleen metaal. Het gaat ook om algoritmes en om de capaciteiten van de werknemers. Ook in dat opzicht verandert er veel met het toenemende gebruik van machine learning en quantumalgoritmen. Het westen heeft daar niet per se een voorsprong.

Dat wordt duidelijk gezien, wat blijkt uit rapporten zoals dat van de Society of Industrial and Applied Mathematics in de VS en, in Nederland, de Nationale Agenda Computational Science. Maar nogmaals, aangezien China in rap tempo onderzoekers opleidt, zal het een serieuze concurrent blijven op het gebied van computational science. Chinese teams hebben sinds 2016 verschillende Gordon Bell-prijzen gewonnen voor uitmuntende prestaties op het gebied van high-performance computing en in 2024 zijn er opnieuw Chinese finalisten.

Dit zijn interessante tijden voor iedereen die geïnteresseerd is in computing.