英偉達已經通過其廣泛的加速庫和框架生態系統,在其業務周圍建立了令人難以置信的護城河。一些關鍵要點:

• 英偉達已經創建了超過350個特定領域的加速庫,使開發人員能夠利用加速計算。這些庫包括用於深度學習(cuDNN)、物理模擬(PhysX)、計算光刻(Litho)、基因測序(cuPASA)等。

• 這些庫對於使加速計算對開發人員可訪問至關重要。如果沒有它們,將算法移植到GPU上運行的複雜性將是巨大的。

• 低級CUDA框架和高級特定領域庫之間的分離,是加速計算廣泛採用的關鍵。這就像計算機圖形中OpenGL的重要性或數據處理中SQL的重要性。

• 英偉達廣泛的庫生態系統已經在其業務周圍創造了一個巨大的護城河。開發人員深深投資於這些庫,使競爭對手很難進入市場。

• 不斷擴展這個庫生態系統並保持其針對最新硬件進行優化的能力,是英偉達的一個關鍵競爭優勢。這使他們能夠保持領先地位,並在加速計算領域保持主導地位。

總之,英偉達廣泛的加速庫生態系統是一項巨大的戰略資產,已經在其業務周圍建立了一個非常強大的護城河。在可預見的未來,這個護城河將很難被競爭對手克服。

創建地球的數字孿生,英偉達稱之為"地球2",是世界上最雄心勃勃的項目之一。目標是模擬地球,以更好地預測我們星球的未來,避免災難,並了解氣候變化的影響,以便我們能夠更好地適應。

英偉達在這個領域取得了重大突破。他們開發了先進的模擬功能,可以準確地模擬天氣模式、氣候和其他物理現象。地球的數字孿生由AI模型驅動,這些模型從大量數據中學習,能夠生成高度逼真的模擬。

在主題演講中,英偉達演示了如何使用這個數字孿生來預測台灣即將到來的風暴的路徑和影響。通過運行多次模擬,該系統能夠提供有關風暴軌跡和對該地區潛在影響的不確定性的見解。

這項技術代表了我們理解和應對地球面臨的挑戰能力的重大進步。通過創建地球的全面數字模型,英偉達正在使科學家、決策者和其他人以前所未有的方式探索未來。隨著這個系統的功能不斷增強,它有潛力改變我們應對氣候變化、自然災害和資源管理等全球性問題的方式。

直到ChatGPT向世界揭示它,AI一直都是關於感知、自然語言理解、計算機視覺和語音識別。它是關於檢測和理解。

然而,ChatGPT向世界介紹了生成式AI - 能夠產生令牌(無論是單詞、圖像、圖表、表格,還是歌曲和視頻)的AI。這代表了一個根本性的轉變,因為現在AI不僅可以感知和理解,還可以生成新的內容。

這標誌著一個新時代的開始 - 生成式AI時代。AI已經從超級計算機進化為"數據中心",生產一種新的商品:令牌。就像尼古拉·特斯拉的交流發電機產生電子一樣,英偉達的AI發生器產生令牌,這在幾乎所有行業都有巨大的市場機會。

這代表了一場新的工業革命。AI不再只是信息存儲或數據處理的工具,而是為每個行業生成智能的工廠。從基於檢索的計算向基於生成的計算的轉變將產生深遠的影響,因為生成的數據需要的能量更少,並且更具有相關性。

為了實現這個新時代,英偉達創造了英偉達推理微服務(Nims) - 預先訓練的AI模型,打包為易於部署、完全優化的微服務。這使公司能夠快速將生成式AI功能集成到他們的應用程序和服務中。

這場生成式AI革命的影響將是深遠的,因為AI正在從我們使用的工具轉變為技能和能力的生成器。就像軟件行業在1990年代革新了計算一樣,AI行業現在也有望革新它所觸及的每一個行業。

英偉達創建了一套AI推理微服務,稱為NIMS,以使開發人員更容易將先進的AI功能集成到他們的應用程序中。這些NIMS是預先訓練的AI模型,可以輕鬆部署和使用,無需構建底層AI基礎設施的複雜性。

NIMS的關鍵方面包括:

1. 預訓練模型:英偉達已經開發了各種預訓練的AI模型,涵蓋語言、視覺、機器人等不同領域。開發人員可以簡單地將這些模型集成到他們的應用程序中,而無需從頭開始訓練模型。

2. 經過優化的性能:NIMS高度優化,可以在英偉達的GPU硬件上高效運行,利用張量核心和CUDA等技術。這確保了低延遲和高吞吐量的推理性能。

3. 容器化部署:NIMS打包為容器,使其易於部署在雲端、內部部署或邊緣環境中。開發人員只需拉取容器映像並將AI模型作為服務運行。

4. 集成堆棧:NIMS包括運行AI模型所需的完整軟件堆棧,包括英偉達運行時、推理引擎和其他依賴項。這簡化了部署並減輕了開發人員的負擔。

5. 可擴展和可靠:NIMS被設計為可擴展的,支持跨多個GPU的分布式推理。它們還包括高可用性和容錯功能,以確保可靠的運行。

通過提供這些AI推理微服務,英偉達旨在民主化先進的AI功能,並使開發人員更容易將尖端AI納入他們的應用程序。這有助於加速AI在各行各業的採用。

數字人類將革新從客戶服務到廣告和遊戲的各個行業。數字人類的可能性是無限的。利用先進的AI和計算機圖形技術,數字人類可以以人類般的方式看到、理解和與我們互動。

數字人類的基礎是建立在多語言語音識別和合成,以及能夠理解和生成對話的大型語言模型之上的AI模型。這些AI模型連接到其他生成式AI,以動態地為3D面部網格提供逼真的動畫,以及AI模型,這些模型再現了逼真的外觀,實現了實時路徑跟蹤的次表面散射,模擬光線穿透皮膚、散射和從各個點退出的方式,賦予皮膚柔軟和半透明的外觀。

英偉達Ace是一套數字人類技術,打包為易於部署、完全優化的微服務或Nims。開發人員可以將Ace Nims集成到他們現有的框架、引擎和數字人類體驗中。這些包括用於理解意圖和協調其他模型的Neotron SLM和LLM Nims,用於交互式語音和翻譯的Reva語音Nims,以及用於面部和身體動畫的音頻到面部和手勢Nims。Ace Nims在英偉達GDN上運行,這是一個由英偉達加速基礎設施組成的全球網絡,可以在100多個地區提供低延遲的數字人類處理。

數字人類有潛力成為出色的互動代理,使互動更加引人入勝和富有同情心。隨著技術的不斷進步,數字人類將在各行各業得到廣泛應用,革新客戶服務、廣告、遊戲等領域。

Jensen Huang討論了AI架構和基礎設施的快速進步,突出了關鍵里程碑和未來方向:

擴展數據中心和變形金剛

• 英偉達數據中心的擴展,使得能夠在大規模數據集上訓練大型變形金剛模型,通過無監督學習。
• 這使AI模型能夠從數據中學習模式和關係,而無需大量人工標注。

基於物理的AI

• 下一代AI需要植根於物理世界,並理解物理定律。
• 這可以通過學習視頻、合成數據模擬和AI系統相互學習來實現。

Blackwell GPU架構

• Blackwell是英偉達為生成式AI時代設計的新GPU架構。
• 關鍵特性包括:
  • 有史以來最大的芯片,兩個芯片以10TB/s的速度連接
  • 第二代變形金剛引擎,用於動態精度調整
  • 安全AI,以保護模型免受盜竊或篡改
  • 第五代NVLink,用於高帶寬GPU互連
  • 可靠性和可用性引擎,以提高正常運行時間
  • 解壓縮引擎,用於更快的數據處理

模塊化DGX和MGX系統

• Blackwell芯片集成到英偉達的DGX和MGX模塊化系統中。
• DGX系統提供空冷配置,而MGX提供液冷選項。
• 這些系統可以使用英偉達先進的網絡技術擴展到連接數十萬個GPU。

用於AI工廠的以太網創新

• 英偉達開發了以太網的增強功能,使其適合AI訓練所需的突發性、低延遲通信模式。
• 技術如RDMA、拥塞控制、自適應路由和噪音隔離,使以太網的性能可以與專用的InfiniBand網絡媲美。

路線圖:Blackwell Ultra和Reuben平台

• 英偉達計劃繼續以一年的節奏推動技術的極限,推出Blackwell Ultra和Reuben平台。
• 這些未來的產品將保持架構兼容性,以利用不斷增長的軟件生態系統。

關鍵信息是英偉達不懈追求推進AI架構和基礎設施,以實現下一波生成式AI和物理AI應用程序。

Blackwell是英偉達的新GPU架構,旨在驅動下一代AI和高性能計算。以下是關鍵亮點:

Blackwell的關鍵特性:

1. 巨大規模:Blackwell芯片是有史以來最大的芯片,兩個最大的晶片使用10TB/s的連接方式連接在一起。這允許前所未有的計算能力。

2. 可靠性和可用性:Blackwell包括一個可靠性和可用性(RAS)引擎,可以測試每個單個晶體管和內存元素,提高大規模部署的正常運行時間和穩定性。

3. 動態精度自適應:Blackwell的第二代變形金剛引擎可以根據所需的範圍和精度動態調整計算的精度,提高效率。

4. 安全AI:Blackwell包括基於硬件的安全功能,以保護AI模型免受盜竊或篡改。

5. 壓縮引擎:Blackwell有一個專用的數據壓縮引擎,可以比以前快20倍從存儲中提取數據,提高數據吞吐量。

性能改進

• Blackwell提供了巨大的AI性能提升,與上一代相比提高了45倍。
• 訓練一個2萬億參數、8萬億令牌模型所需的能量,與上一代相比減少了350倍。
• 令牌生成性能提高了45,000倍,每個令牌的能耗從177,000焦耳降低到0.4焦耳。

可擴展的架構

• Blackwell芯片被組合成強大的DGX系統,最多可連接72個GPU,使用英偉達先進的MV-Link互連。
• 英