NVIDIA har byggt en otrolig försvarsmur runt sin verksamhet genom sitt omfattande ekosystem av accelerationsbibliotek och ramverk. Några viktiga punkter:

• NVIDIA har skapat över 350 domänspecifika accelerationsbibliotek som gör det möjligt för utvecklare att dra nytta av accelererad datorberäkning. Dessa inkluderar bibliotek för djupinlärning (cuDNN), fysiksimuleringar (PhysX), beräkningslitografi (Litho), genotypning (cuPASA) och mer.

• Dessa bibliotek är avgörande för att göra accelererad datorberäkning tillgänglig för utvecklare. Utan dem skulle komplexiteten att portera algoritmer för att köras på GPU:er vara enorm.

• Separationen mellan det lågavlönade CUDA-ramverket och de högavlönade domänspecifika biblioteken är vad som har möjliggjort den utbredda användningen av accelererad datorberäkning. Det är jämförbart med betydelsen av OpenGL för datorgrafikk eller SQL för databehandling.

• NVIDIAs omfattande bibliotekssystem har skapat en massiv försvarsmur runt sin verksamhet. Utvecklare är djupt investerade i dessa bibliotek, vilket gör det extremt svårt för konkurrenter att ta sig in på marknaden.

• Förmågan att kontinuerligt utöka detta bibliotekssystem och hålla det optimerat för den senaste maskinvaran är en nyckelkonkurrenskraft för NVIDIA. Det gör att de kan ligga steget före och behålla sin dominans inom accelererad datorberäkning.

Sammanfattningsvis är NVIDIAs omfattande ekosystem av accelerationsbibliotek en enorm strategisk tillgång som har byggt en otroligt stark försvarsmur runt sin verksamhet. Denna försvarsmur kommer att vara mycket svår för konkurrenter att övervinna inom den överskådliga framtiden.

Idén om att skapa en digital tvilling av jorden, som NVIDIA kallar "Earth 2", är ett av de mest ambitiösa projekt som världen någonsin har åtagit sig. Målet är att simulera jorden för att bättre förutsäga vår planets framtid, förhindra katastrofer och förstå klimatförändringarnas påverkan så att vi kan anpassa oss bättre.

NVIDIA har gjort betydande genombrott på detta område. De har utvecklat avancerade simuleringsförmågor som kan modellera väderförhållanden, klimat och andra fysiska fenomen på ett korrekt sätt. Den digitala tvillingen av jorden drivs av AI-modeller som lär sig från stora mängder data, vilket gör det möjligt att generera mycket realistiska simuleringar.

Under keynoten demonstrerade NVIDIA hur denna digitala tvilling kan användas för att förutsäga banan och effekterna av ett annalkande oväder i Taiwan. Genom att köra flera simuleringar kunde systemet ge insikter om osäkerheterna kring ovädrets bana och potentiella effekter på regionen.

Denna teknik representerar ett stort steg framåt i vår förmåga att förstå och reagera på de utmaningar som vår planet står inför. Genom att skapa en omfattande digital modell av jorden möjliggör NVIDIA för forskare, beslutsfattare och andra att utforska framtiden på sätt som tidigare var omöjliga. Allt eftersom systemets möjligheter fortsätter att växa har det potential att transformera hur vi närmar oss globala frågor som klimatförändringar, naturkatastrofer och resurshantering.

Tills ChatGPT avslöjade det för världen handlade AI om perception, naturlig språkförståelse, datorseende och talidentifiering. Det handlade om detektion och förståelse.

Men ChatGPT introducerade världen för generativ AI - AI som kan producera tokens, oavsett om det är ord, bilder, diagram, tabeller eller till och med sånger och videor. Detta representerar ett grundläggande skifte, eftersom AI nu inte bara kan uppfatta och förstå, utan också generera nytt innehåll.

Detta markerar början på en ny era - den generativa AI-eran. AI har nu utvecklats från en superdator till ett "datacenter" som producerar en ny vara: tokens. Precis som Nikola Teslas AC-generator producerade elektroner, producerar Nvidias AI-generator tokens, som har stora marknadsmöjligheter inom i princip varje bransch.

Detta representerar en ny industriell revolution. AI är inte längre bara ett instrument för informationslagring eller databearbetning, utan en fabrik för att generera intelligens för varje bransch. Denna förskjutning från hämtningsbaserad datorberäkning till generationsbaserad datorberäkning kommer att ha en djupgående inverkan, eftersom genererade data kräver mindre energi att hämta och är mer kontextuellt relevanta.

För att möjliggöra denna nya era har Nvidia skapat Nvidia Inference Microservices (Nims) - förtränade AI-modeller som förpackats som lättanvända, fullt optimerade mikrotjänster. Detta gör det möjligt för företag att snabbt integrera generativa AI-funktioner i sina applikationer och tjänster.

NVIDIA har skapat en uppsättning AI-inferensmikrotjänster, kallade NIMS, för att göra det enklare för utvecklare att integrera avancerade AI-funktioner i sina applikationer. Dessa NIMS är förtränade AI-modeller som kan distribueras och användas enkelt, utan komplexiteten att bygga upp den underliggande AI-infrastrukturen.

De viktigaste aspekterna av NIMS inkluderar:

1. Förtränade modeller: NVIDIA har utvecklat en mängd olika förtränade AI-modeller som täcker olika domäner som språk, vision, robotik och mer. Utvecklare kan enkelt integrera dessa modeller i sina applikationer utan att behöva träna modellerna från grunden.

2. Optimerade för prestanda: NIMS är högt optimerade för att köras effektivt på NVIDIAs GPU-maskinvara, med hjälp av teknologier som Tensor Cores och CUDA. Detta säkerställer låg latens och hög genomströmning vid inferens.

3. Containeriserad distribution: NIMS är förpackade som containrar, vilket gör dem enkla att distribuera i molnet, lokalt eller på edge-miljöer. Utvecklare kan helt enkelt hämta containeravbildningen och köra AI-modellen som en tjänst.

4. Integrerad stack: NIMS inkluderar hela den programvarustack som krävs för att köra AI-modellerna, inklusive NVIDIAs körning, inferensmotorer och andra beroenden. Detta förenklar distributionen och minskar bördan för utvecklare.

5. Skalbar och tillförlitlig: NIMS är utformade för att vara skalbara, med stöd för distribuerad inferens över flera GPU:er. De inkluderar även funktioner för hög tillgänglighet och feltolerans för att säkerställa tillförlitlig drift.

Genom att tillhandahålla dessa AI-inferensmikrotjänster syftar NVIDIA till att demokratisera avancerade AI-funktioner och göra det enklare för utvecklare att införliva banbrytande AI i sina applikationer. Detta hjälper till att påskynda adoptionen av AI över olika branscher och användningsområden.

Digitala människor kommer att revolutionera industrin från kundservice till reklam och spel. Möjligheterna för digitala människor är oändliga. Genom att använda avancerad AI och datorgrafiktekniker kan digitala människor se, förstå och interagera med oss på mänskliga sätt.

Grunden för digitala människor är AI-modeller som bygger på flerspråkig talidentifiering och syntes, samt stora språkmodeller som förstår och genererar konversation. Dessa AI-modeller kopplas till annan generativ AI för att dynamiskt animera en livfull 3D-maska av ett ansikte, och AI-modeller som återger livfulla utseenden som möjliggör realtids-pathtracad subsurface-spridning för att simulera hur ljus tränger in i huden, sprider sig och lämnar på olika punkter, vilket ger huden sitt mjuka och genomskinliga utseende.

Nvidia Ace är en uppsättning digitala människoteknologier som förpackats som lättanvända, fullt optimerade mikrotjänster eller Nims. Utvecklare kan integrera Ace Nims i sina befintliga ramverk, motorer och digitala människoupplevelser. Dessa inkluderar Neotron SLM och LLM Nims för att förstå avsikt och samordna andra modeller, Reva-talNims för interaktiv tal och översättning, samt ljud till ansikte och gest Nims för ansikts- och kroppsanimering. Ace Nims körs på Nvidia GDN, ett globalt nätverk av Nvidia-accelererad infrastruktur som levererar digital människobearbetning med låg latens till över 100 regioner.

Digitala människor har potential att vara utmärkta interaktiva agenter, vilket gör interaktioner mycket mer engagerande och empatiska. Allt eftersom tekniken fortsätter att utvecklas kommer digitala människor att få en utbredd användning över branscher, vilket revolutionerar kundservice, reklam, spel och mycket mer.

Jensen Huang diskuterar de snabba framstegen inom AI-arkitektur och -infrastruktur, och lyfter fram viktiga milstolpar och framtida inriktningar:

Skalning av datacenter och transformatorer

• Skalningen av Nvidias datacenter möjliggjorde träningen av stora transformatormodeller på massiva datamängder genom oövervakad inlärning.
• Detta tillät AI-modeller att lära sig mönster och relationer från data utan behov av omfattande manuell märkning.

Fysiskt baserad AI

• Nästa generations AI behöver vara förankrad i den fysiska världen och förstå fysikens lagar.
• Detta kan uppnås genom inlärning från video, syntetisk datasimulering och AI-system som lär sig genom att interagera med varandra.

Blackwell GPU-arkitektur

• Blackwell är Nvidias nya GPU-arkitektur utformad för den generativa AI-eran.
• Nyckeldetaljer inkluderar:
  • Största chip någonsin, med två chip kopplade med 10 TB/s
  • Andra generationens transformatormotor för dynamisk precisionsjustering
  • Säker AI för att skydda modeller från stöld eller manipulation
  • Femte generationens NVLink för högbandbredds-GPU-sammankoppling
  • Tillförlitlighets- och tillgänglighetsmotor för ökad drifttid
  • Avkomprimeringsmotor för snabbare databearbetning

Modulära DGX- och MGX-system

• Blackwell-chip är integrerade i Nvidias modulära DGX- och MGX-system.
• DGX-system erbjuder luftkylda konfigurationer, medan MGX har vätskekyldaoptioner.
• Dessa system kan skalas upp för att ansluta hundratusentals GPU:er med hjälp av Nvidias avancerade nätverksteknologier.

Ethernet-innovationer för AI-fabriker

• Nvidia har utvecklat förbättringar av Ethernet för att göra det lämpligt för de burstige, låglatenta kommunikationsmönster som krävs vid AI-träning.
• Teknologier som RDMA, trängselkontroll, adaptiv routning och brusisoleringmöjliggör att Ethernet presterar på samma nivå som specialiserade InfiniBand-nätverk.

Vägkarta: Blackwell Ultra och Reuben-plattformar

• Nvidia planerar att fortsätta sin ettåriga takt av att pressa gränserna för teknik med Blackwell Ultra- och Reuben-plattformarna.
• Dessa framtida generationer kommer att bibehålla arkitekturkompatibilitet för att dra nytta av det växande programvaruekosystemet.

Huvudbudskapet är Nvidias outtröttliga strävan efter att driva på AI-arkitektur och -infrastruktur för att möjliggöra nästa våg av generativ AI och fysisk AI-tillämpningar.

Blackwell är NVIDIAs nya GPU-arkitektur, utformad för att driva nästa generations AI och högpresterande datorberäkning. Här är de viktigaste höjdpunkterna:

Nyckeldetaljer i Blackwell:

1. Massiv skala: Blackwell-chip är de största chip som någonsin tillverkats, med två av de största dödarna kopplade samman med en 10 TB/s-länk. Detta möjliggör en oslagbar beräkningskraft.

2. Tillförlitlighet och tillgänglighet: Blackwell inkluderar en Reliability and Availability (RAS)-motor som kan testa varje enskild transistor och minneselement, vilket förbättrar drifttiden och stabiliteten för storskaliga distributioner.

3. Dynamisk precisionsjustering: Blackwells andra generationens Transformer-motor kan dynamiskt anpassa beräkningsprecisionen baserat på det nödvändiga intervallet och noggrannheten, vilket förbättrar effektiviteten.

4. Säker AI: Blackwell inkluderar säkerhetsdetaljer i maskinvaran för att skydda AI-modeller från stöld eller manipulation.

5. Komprimeringsmotor: Blackwell har en dedikerad datakomprimeringsenhet som kan hämta data från lagring 20 gånger snabbare än tidigare, vilket förbättrar datatillgången.

Prestandaförbättringar

• Blackwell erbjuder en massiv ökning av AI-prestanda, med upp till 45 gånger förbättring jämfört med föregående generation.
• Den energi som krävs för att träna en 2 biljoner parameter, 8 biljoner token-modell har reducerats med 350 gånger jämfört med föregående generation.
• Tokengenereringsprestandan har förbättrats med 45 000 gånger, vilket minskar energin per token från 177 000 Joule till endast 0,4 Joule.

Skalbar arkitektur

• Blackwell-chip kombineras i kraftfulla DGX-system, med upp till 72 GPU:er kopplade med hjälp av NVIDIAs avancerade MV-Link-sammankoppling.
• NVIDIA utvecklar även nya höghastighetsethernetswitch, kallade Spectrum, för att möjliggöra smidig skalning till tiotals tusentals GPU:er och därutöver.

Sammanfattningsvis representerar Blackwell ett stort språng framåt i GPU-arkitektur, vilket möjligg