Technieken voor modelberekeningen in een stroomversnelling
Het zijn opwindende tijden voor de techniek rondom modelberekeningen. Er is een enorme behoefte aan betere en snellere modellen. In het bedrijfsleven zijn die nodig voor digitalisering en daarbuiten voor de grote vraagstukken van onze tijd zoals klimaatverandering, de energietransitie en het bestrijden van de Corona-pandemie. Gelukkig valt die toenemende vraag samen met doorbraken in de techniek om modellen te maken en door te rekenen. We vroegen twee hoogleraren naar hun visie op de huidige ontwikkelingen.
Die twee hoogleraren zijn beiden oude bekenden van VORtech. Professor Arnold Heemink van de Technische Universiteit Delft kent ons al van voor de start van ons bedrijf in 1996. Hij was betrokken bij de promotie van de twee oprichters. Heeminks onderzoek richt zich met name op het combineren van metingen en modellen, ook wel data-assimilatie of data-modelfusie genoemd. VORtech en Heemink werken samen in de ontwikkeling van een open source toolbox voor data-assimilatie onder de naam OpenDA.
Zijn collega Wil Schilders van de Technische Universiteit Eindhoven kent ons ook al lang. In 2010 schreef hij mee aan een artikel over VORtech in het Nieuw Archief voor Wiskunde. Daarnaast hebben we regelmatig contact in het kader van de Commissie Innovatie van het Platform Wiskunde Nederland. Schilders houdt zich bezig met een breed scala aan onderwerpen. De laatste jaren publiceert hij met name over Model Order Reduction, waarover later meer.
Model order reduction
Beide hoogleraren zijn het eens over de belangrijkste trends in het onderzoek. Ten eerste gebeurt er veel werk rondom Model Order Reduction: het benaderen van een computermodel met een eenvoudiger, gereduceerd model. In een recente serie boeken waar Wil Schilders aan meegewerkt heeft wordt de actuele stand van de techniek uitgebreid uit de doeken gedaan. Er zijn verschillende benaderingen.
Een wiskundig gezien relatief simpele methode is door het gereduceerde model op te bouwen uit een combinatie van de belangrijkste patronen in de oplossingen van het model. Die patronen krijg je door het exacte model door te rekenen voor een flink aantal scenario’s en dan te analyseren welke patronen belangrijk zijn en welke niet. Het zal duidelijk zijn dat hier veel haken en ogen aan zitten, maar voor veel toepassingen werkt het verrassend goed.
Arnold Heemink licht toe dat het met name een uitkomst is voor optimalisaties. Gedurende het optimalisatieproces heb je meestal niet een heel hoge nauwkeurigheid nodig, zolang het effect van parametervariaties maar ongeveer goed is. Als je dan voor elke rekenstap van het optimalisatiealgoritme een veel kleinere berekening kunt gebruiken dan scheelt dat enorm in de rekentijd. Heemink noemt een voorbeeld waarbij een model met honderdduizend vrijheidsgraden door een benadering gereduceerd kon worden tot een model met ongeveer vierhonderd vrijheidsgraden. Dat is dus een versnelling van zo’n vijfentwintig keer. Uiteindelijk moet ook nog met het volledige model geoptimaliseerd worden, maar omdat de parameters al aardig kloppen, zullen daar niet veel rekenslagen meer voor nodig zijn.
Machine learning
Een tweede hoofdstroming in het huidige onderzoek is volgens beide hoogleraren de opkomst van machine learning. Dat is uiteraard niet verrassend, gegeven de enorme aandacht voor kunstmatige intelligentie in alle sectoren van de samenleving. Voor modelberekeningen is de ontwikkeling van machine learning zowel een aanwinst als een uitdaging.
Een aanwinst is het bijvoorbeeld in de verwerking van data. Arnold Heemink beschrijft een toepassing van machine learning om gegevens te corrigeren voordat ze in een model gebruikt worden. Heemink: “In de praktijk werk je met data uit sensoren. Maar die sensoren meten vaak niet precies datgene wat je nodig hebt. Als je bijvoorbeeld stofstormen modelleert dan heb je wel methoden om kleine deeltjes te meten, maar die meten eigenlijk zowel stof als andere aerosolen. Als je ze dan wilt gebruiken als input voor simulatie van de stofstormen dan moet je een correctie doen. Dat blijkt met machine learning een stuk beter te gaan dan met traditionele methoden.”
Een ander voorbeeld waar op dit moment veel aandacht naar uitgaat is het gebruik van machine learning voor het aanvullen van simulatiemodellen ten aanzien van effecten waarvoor geen goed fysisch model bestaat. De werkelijkheid is vrijwel altijd veel complexer dan wat we kunnen modelleren omdat er allerlei effecten zijn die lastig in een model te vangen zijn. Met machine learning technieken kun je toch grip krijgen op die effecten. Daarmee kun je het model dat je op basis van fysica opgesteld hebt dan verder verbeteren.
Als je deze ontwikkeling heel ver doortrekt dan is het ook denkbaar dat machine learning modellen het traditionele model helemaal gaan vervangen of als gereduceerd model gebruikt worden. In hoeverre dat gaat gebeuren zal afhangen van de vraag of machine learning algoritmen goed genoeg zullen zijn als vervanging voor modellen die gebaseerd zijn op onze kennis van de fysica.
Dat daar nog veel onderzoek moet gebeuren wordt mooi geïllustreerd door een hoofdstuk in het rapport van het Amerikaanse Department of Energy met als titel “Domain Aware Scientific Machine Learning”. Daarin wordt onderzoek beschreven om de fysische kennis die we al hebben te gebruiken in machine learning algoritmen. Arnold Heemink herkent dit helemaal: “Fysische kennis is vaak beschikbaar in de vorm van partiële differentiaalvergelijkingen. Het is een grote wetenschappelijke uitdaging om die kennis mee te nemen in machine learning.”
Wil Schilders noemt dit aspect ook, met termen als Physics Informed Neural Networks of hybrid models. Hij is zelf betrokken bij het UNRAVEL-project, dat probeert om neurale netwerken eigenschappen mee te geven die we kennen. Schilders: “normaal hebben neurale netwerken geen weet van fysische wetten, maar daarom voorspellen ze vaak ook zo slecht. Als je die kennis al van tevoren in het netwerk stopt, dan zijn de voorspellingen veel beter en heb je ook nog eens een keer minder data nodig”.
Complexere modellen
Hoewel Model Order Reduction en Machine Learning twee belangrijke trends zijn, is daarmee zeker niet alles gezegd. Er vinden nog steeds flinke ontwikkelingen plaats op het gebied van algoritmen om modellen snel door te rekenen. Dat vakgebied staat bekend onder de naam numerieke wiskunde. Wil Schilders wijst erop dat modellen hoe langer hoe complexer worden. Steeds vaker worden in een model effecten op verschillende schalen meegenomen en worden verschillende soorten fysica gecombineerd. Bij dat laatste kun je bijvoorbeeld denken aan de interactie tussen water en de schepen die in dat water varen: je simuleert dan zowel de stroming van het water als het mechanische gedrag van de schepen en de krachten tussen die twee. Maar het kan bijvoorbeeld ook gaan om simulaties waarin elektromagnetisme en chemie een rol spelen naast mechanica.
Door hun complexiteit kunnen dit soort modellen soms heel vervelende eigenschappen hebben die het doorrekenen lastig maken. Daarom wordt er nog steeds gewerkt aan nieuwe oplosmethoden. Dat zijn vaak geen fundamenteel nieuwe benaderingen, maar meer uitwerkingen voor bepaalde categorieën van modellen. Toch kan het voor zo’n lastig model wel heel veel uitmaken om een geschikte rekenmethode te hebben.
GPU’s
Een andere reden waarom er nog veel onderzoek aan oplosmethoden gebeurt is de opkomst van grafische processoren ofwel GPU’s. Anders dan bij normale processoren kun je met zulke GPU’s in één keer een berekening doen voor heel veel data-elementen tegelijk. Niet alle rekenmethoden kunnen daar goed gebruik van maken. Ze zijn dan misschien wel efficiënt in de zin dat ze met weinig slagen een oplossing kunnen vinden, maar toch weer traag omdat ze maar één data-element tegelijk kunnen verwerken. Schilders noemt in dat verband de ICCG solver. Volgens hem haalt deze methode maar 1-2% van de peak performance van supercomputers. Het is een grote uitdaging voor numeriek wiskundigen om dit te verbeteren, en een algoritme te bedenken dat 50-70% of meer van de peak performance haalt. Schilders: “anders is het zonde van de rekentijd op de computer.” Er blijft dus veel onderzoek nodig naar nieuwe methoden die wel goed gebruik kunnen maken van GPU’s.
Een levendig vakgebied
Zowel Arnold Heemink als Wil Schilders zien de ontwikkelingen in hun vakgebied snel gaan op dit moment. Studenten herkennen dit blijkbaar ook want het animo voor wiskunde is ongekend hoog. Ook zij zien dat er vanuit de toepassingen steeds meer vraag komt naar mensen met kennis van de wiskunde en dat een carrière op dit gebied aantrekkelijk is. En omgekeerd zorgt een grote nieuwe generatie wiskundigen voor een stroomversnelling in de toepassingen. Het zijn opwindende tijden.