AI-generated image of 4,000 teraflops of computing power
Author profile picture

Deze week is NVIDIA begonnen met het verschepen van hun “DGX H100“-systemen naar klanten over de hele wereld om de ongelooflijke hoeveelheden rekenkracht te verzamelen die nodig zijn voor AI-workloads. Het vorig jaar aangekondigde DGX-systeem bevat 8 “Hopper H100”-datacenterchips. “En deze chip is razendsnel. Met een gloednieuwe GPU-architectuur, gebouwd op een 4-nanometerproces met maar liefst 80 miljard transistors, kan elke chip tot 4.000 teraflops aan rekenkracht leveren”, schrijft Sander Hofman in zijn wekelijkse nieuwsbrief.

Hm… wat is een teraflop?

Sander Hofman legt het uit: Een teraflop is het vermogen van een chip om één biljoen floating-point operaties per seconde te berekenen. Het wordt ook vaak afgekort tot TFLOP of TFLOPS. Vanwege de enorme rekenkracht wordt teraflops vaak specifiek gebruikt voor supercomputers, waar je ook petaflops (1.000 teraflops) en exaflops (1.000.000 teraflops, voor exascale computing) tegenkomt. Een elektronisch apparaat met 1 teraflop of TFLOP betekent dat de chip binnenin gemiddeld 1 biljoen floating-point berekeningen per seconde kan uitvoeren. Om je een idee te geven van wat dat in de praktijk betekent: Apple’s instapmodel M2-chip biedt 3,6 teraflops. De PlayStation 5 heeft meer dan 10 teraflops.
En NVIDIA’s Hopper H100 kan dus maar liefst 4.000 teraflops! Dat maakt het een data-cruncher extraordinaire. Deze chip is dan ook bedoeld om industriële rekenkracht te bieden voor kunstmatige intelligentie, machinaal leren, diepe neurale netwerken en andere HPC-gerelateerde werklasten.

Een revolutie voor diverse industrieën

NVIDIA’s DGX H100 systemen worden nu wereldwijd verscheept en brengen geavanceerde kunstmatige intelligentie (AI) mogelijkheden naar verschillende industrieën. Klanten over de hele wereld gebruiken deze AI-supercomputers om sectoren als financiën, gezondheidszorg, recht, IT en telecom te transformeren. Enkele voorbeelden: Green Physics AI voorspelt er de veroudering van fabrieksapparatuur mee, terwijl Boston Dynamics de DGX H100 gebruikt om behendige mobiele robots te ontwikkelen. Startups zoals Scissero en DeepL benutten de kracht van generatieve AI via DGX H100-systemen voor juridische processen en vertaaldiensten. Gezondheidszorgorganisaties, universiteiten en diverse industrieën maken gebruik van deze systemen om onderzoek te versnellen, data science pipelines te optimaliseren en innovatieve AI-gestuurde oplossingen te creëren. De DGX H100 beschikt over acht NVIDIA H100 Tensor Core GPU’s, NVIDIA NVLink en 400 Gbps ultra-lage latency NVIDIA Quantum InfiniBand, waardoor het een krachtpatser is voor AI-innovatie.

Green Physics AI: veroudering van fabrieksapparatuur voorspellen

Green Physics AI wil de efficiëntie van toekomstige fabrieken verbeteren door de veroudering van fabrieksapparatuur te voorspellen. Fabrikanten kunnen krachtige AI-modellen ontwikkelen en digital twins creëren door informatie zoals de CO2-voetafdruk, de leeftijd en het energieverbruik van een object toe te voegen aan SORDI.ai, de grootste synthetische dataset in de productiesector. Deze digitale tweelingen optimaliseren de efficiëntie van fabrieken en magazijnen en zorgen voor energie- en CO2-besparingen voor de producten van de fabriek en hun onderdelen.

Boston Dynamics’ AI Institute: behendige mobiele robots

Het AI Institute, een onderzoeksorganisatie die geworteld is in Boston Dynamics, gebruikt DGX H100 systemen om behendige mobiele robots te ontwikkelen die nuttige taken kunnen uitvoeren in fabrieken, magazijnen, rampensites en, uiteindelijk, huizen. Al Rizzi, CTO van The AI Institute, ziet een ‘robot valet’ voor zich die mensen volgt en taken voor hen uitvoert. De DGX H100 zal eerst taken op het gebied van reinforcement learning uitvoeren, een belangrijke techniek in de robotica, voordat hij AI-inferentietaken uitvoert terwijl hij rechtstreeks verbonden is met prototype-bots in het lab.

Ook start-ups profiteren van de Generative AI golf

Start-ups gebruiken DGX H100-systemen om het potentieel van generatieve AI te verkennen. Scissero, een juridische tech startup, gebruikt een GPT-gestuurde chatbot om juridische processen te stroomlijnen door het opstellen van juridische documenten, het genereren van rapporten en het uitvoeren van juridisch onderzoek. DeepL, een taalvertaalbedrijf, gebruikt verschillende DGX H100-systemen om zijn diensten uit te breiden en biedt vertalingen aan tussen tientallen talen voor klanten als Nikkei, de grootste uitgeverij van Japan. DeepL heeft ook een AI-schrijfassistent uitgebracht met de naam DeepL Write.

Betere gezondheidszorg en betere resultaten voor patiënten

Veel DGX H100-systemen worden gebruikt om de gezondheidszorg te verbeteren en de resultaten voor patiënten te vergroten. In Tokio voeren DGX H100’s simulaties uit om het ontdekkingsproces van geneesmiddelen te versnellen als onderdeel van het Tokyo-1 supercomputerproject. Xeureka, een Mitsui & Co. Ltd., beheert het systeem. Ziekenhuizen en academische gezondheidszorgorganisaties in Duitsland, Israël en de VS behoren tot de eerste gebruikers van de DGX H100-systemen.

Universiteiten en onderzoeksinstellingen omarmen DGX H100

Universiteiten over de hele wereld gebruiken DGX H100 systemen voor onderzoek op verschillende gebieden. Johns Hopkins University Applied Physics Laboratory zal een DGX H100 gebruiken om grote taalmodellen te trainen, terwijl het KTH Royal Institute of Technology in Zweden state-of-the-art computerwetenschappelijke programma’s voor het hoger onderwijs wil gaan aanbieden met behulp van het systeem. Andere use cases zijn CyberAgent in Japan, dat slimme digitale advertenties en avatars van beroemdheden maakt, en Telconet, een toonaangevende telecomprovider in Ecuador, die intelligente videoanalyses maakt voor veilige steden en taaldiensten om klanten in verschillende Spaanse dialecten te ondersteunen.

Een motor van AI-innovatie

Elke NVIDIA H100 Tensor Core GPU in een DGX H100-systeem levert ongeveer zes keer meer prestaties dan eerdere GPU’s. De acht H100 GPU’s verbinden zich via NVIDIA NVLink tot één gigantische GPU. Organisaties kunnen honderden DGX H100 nodes verbinden met een AI-supercomputer via 400 Gbps ultra-low latency NVIDIA Quantum InfiniBand, tweemaal de snelheid van eerdere netwerken.