英伟达通过其广泛的加速库和框架生态系统,在其业务周围建立了令人难以置信的护城河。一些关键要点:

• 英伟达创建了超过350个面向特定领域的加速库,使开发人员能够利用加速计算。这些包括用于深度学习(cuDNN)、物理模拟(PhysX)、计算光刻(Litho)、基因测序(cuPASA)等的库。

• 这些库对于使加速计算对开发人员可访问至关重要。没有它们,将算法移植到GPU上的复杂性将是巨大的。

• 低级CUDA框架和高级领域特定库之间的分离,是加速计算广泛采用的关键。这类似于OpenGL对计算机图形或SQL对数据处理的重要性。

• 英伟达广泛的库生态系统为其业务创造了巨大的护城河。开发人员深深投资于这些库,使竞争对手很难进入市场。

• 不断扩展这个库生态系统并使其保持针对最新硬件的优化是英伟达的一个关键竞争优势。这使他们能够保持领先地位,并在加速计算领域保持主导地位。

总之,英伟达广泛的加速库生态系统是一项巨大的战略资产,为其业务建立了一个非常强大的护城河。在可预见的未来,这个护城河将很难被竞争对手克服。

创建地球的数字孪生,英伟达称之为"地球2",是人类有史以来最雄心勃勃的项目之一。目标是模拟地球,以更好地预测我们星球的未来,预防灾难,并了解气候变化的影响,从而更好地适应。

英伟达在这个领域取得了重大突破。他们开发了先进的模拟能力,可以准确地模拟天气模式、气候和其他物理现象。地球的数字孪生由AI模型驱动,这些模型从大量数据中学习,能够生成高度逼真的模拟。

在主题演讲中,英伟达演示了如何使用这个数字孪生来预测台湾一场即将到来的风暴的路径和影响。通过运行多次模拟,该系统能够提供关于风暴轨迹和对该地区潜在影响的不确定性的见解。

这项技术代表了我们理解和应对地球面临的挑战能力的重大进步。通过创建地球的全面数字模型,英伟达正在使科学家、决策者和其他人以前所未有的方式探索未来。随着这个系统的功能不断增强,它有潜力改变我们应对气候变化、自然灾害和资源管理等全球性问题的方式。

直到ChatGPT向世界揭示了它,AI一直都是关于感知、自然语言理解、计算机视觉和语音识别。它是关于检测和理解。

然而,ChatGPT向世界介绍了生成式AI - 能够产生令牌(无论是单词、图像、图表、表格还是歌曲和视频)的AI。这代表了一个根本性的转变,因为现在AI不仅可以感知和理解,还可以生成新的内容。

这标志着一个新时代的开始 - 生成式AI时代。AI已经从超级计算机进化为"数据中心",生产一种新的商品:令牌。就像尼古拉·特斯拉的交流发电机产生电子一样,英伟达的AI发生器产生令牌,这在几乎所有行业都有广阔的市场机会。

这代表了一场新的工业革命。AI不再仅仅是信息存储或数据处理的工具,而是为每个行业生成智能的工厂。这种从基于检索的计算向基于生成的计算的转变将产生深远的影响,因为生成的数据需要的能量更少,并且更具相关性。

为了实现这个新时代,英伟达创造了英伟达推理微服务(Nims) - 预训练的AI模型,打包为易于部署、完全优化的微服务。这使公司能够快速将生成式AI功能集成到他们的应用程序和服务中。

这场生成式AI革命的影响将是深远的,因为AI正从我们使用的工具转变为技能和能力的生成器。就像软件行业在20世纪90年代革新了计算一样,AI行业现在也有望革新它触及的每一个行业。

英伟达创建了一套AI推理微服务,称为NIMS,以使开发人员更容易将先进的AI功能集成到他们的应用程序中。这些NIMS是预训练的AI模型,可以轻松部署和使用,无需构建底层的AI基础设施。

NIMS的关键方面包括:

1. 预训练模型:英伟达已经开发了涵盖语言、视觉、机器人等不同领域的各种预训练AI模型。开发人员可以简单地将这些模型集成到他们的应用程序中,而无需从头开始训练模型。

2. 性能优化:NIMS经过高度优化,可以在英伟达的GPU硬件上高效运行,利用张量核心和CUDA等技术。这确保了低延迟和高吞吐量的推理性能。

3. 容器化部署:NIMS打包为容器,使它们易于部署在云端、本地或边缘环境中。开发人员只需拉取容器镜像并将AI模型作为服务运行。

4. 集成堆栈:NIMS包括运行AI模型所需的完整软件栈,包括英伟达运行时、推理引擎和其他依赖项。这简化了部署并减轻了开发人员的负担。

5. 可扩展和可靠:NIMS被设计为可扩展,支持跨多个GPU的分布式推理。它们还包括高可用性和容错功能,以确保可靠的操作。

通过提供这些AI推理微服务,英伟达旨在民主化先进的AI功能,并使开发人员更容易将尖端AI纳入他们的应用程序。这有助于加速AI在各种行业和用例中的采用。

数字人将从客户服务到广告和游戏等各个行业带来革命性的变革。数字人的可能性是无穷无尽的。利用先进的AI和计算机图形技术,数字人可以以人类般的方式看到、理解和与我们互动。

数字人的基础是建立在多语言语音识别和合成,以及能够理解和生成对话的大型语言模型之上的AI模型。这些AI模型连接到其他生成式AI,以动态地为一个逼真的3D面部网格提供动画,以及AI模型,这些模型再现了逼真的外观,实现了实时路径跟踪的次表面散射,模拟光线穿透皮肤、散射并从各个点退出的方式,赋予皮肤柔软和半透明的外观。

英伟达Ace是一套数字人技术,打包为易于部署、完全优化的微服务或Nims。开发人员可以将Ace Nims集成到他们现有的框架、引擎和数字人体验中。这些包括用于理解意图和协调其他模型的Neotron SLM和LLM Nims,用于交互式语音和翻译的Reva语音Nims,以及用于面部和身体动画的音频到面部和手势Nims。Ace Nims在英伟达GDN上运行,这是一个由英伟达加速基础设施组成的全球网络,可以在100多个地区提供低延迟的数字人处理。

数字人有潜力成为出色的交互代理,使互动更加引人入胜和富有同情心。随着技术的不断进步,数字人将在各行各业广泛采用,革新客户服务、广告、游戏等领域。

Jensen Huang讨论了AI架构和基础设施的快速进步,重点介绍了关键里程碑和未来方向:

扩展数据中心和变压器

• 英伟达数据中心的扩展,使得在大型数据集上训练大型变压器模型成为可能,通过无监督学习学习模式和关系。
• 这使AI模型能够从数据中学习,而无需大量的人工标注。

基于物理的AI

• 下一代AI需要植根于物理世界,并理解物理定律。
• 这可以通过学习视频、合成数据模拟以及AI系统相互学习来实现。

Blackwell GPU架构

• Blackwell是英伟达为生成式AI时代设计的新一代GPU架构。
• 关键特性包括:
  • 有史以来最大的芯片,两个芯片以10TB/s的速度连接
  • 第二代变压器引擎,用于动态精度自适应
  • 安全AI,保护模型免受盗窃或篡改
  • 第五代NVLink,用于高带宽GPU互联
  • 可靠性和可用性引擎,提高正常运行时间
  • 解压缩引擎,加快数据处理

模块化DGX和MGX系统

• Blackwell芯片集成到英伟达的DGX和MGX模块化系统中。
• DGX系统提供空冷配置,而MGX提供液冷选项。
• 这些系统可以通过英伟达先进的网络技术扩展到连接数十万个GPU。

用于AI工厂的以太网创新

• 英伟达开发了以太网的增强功能,使其适合AI训练所需的突发性、低延迟通信模式。
• 技术如RDMA、拥塞控制、自适应路由和噪声隔离,使以太网的性能可与专用的InfiniBand网络媲美。

路线图:Blackwell Ultra和Reuben平台

• 英伟达计划继续以一年的节奏推进技术极限,推出Blackwell Ultra和Reuben平台。
• 这些未来的产品将保持架构兼容性,以利用不断增长的软件生态系统。

关键信息是英伟达不懈追求推进AI架构和基础设施,以实现下一波生成式AI和物理AI应用程序。

Blackwell是英伟达的新一代GPU架构,旨在驱动下一代AI和高性能计算。以下是关键亮点:

Blackwell的主要特性:

1. 巨大规模:Blackwell芯片是有史以来最大的芯片,两个最大的芯片通过10TB/s的链接连接在一起。这允许前所未有的计算能力。

2. 可靠性和可用性:Blackwell包括一个可靠性和可用性(RAS)引擎,可以测试每个单独的晶体管和内存元素,提高大规模部署的正常运行时间和稳定性。

3. 动态精度自适应:Blackwell的第二代变压器引擎可以根据所需的范围和精度动态调整计算的精度,提高效率。

4. 安全AI:Blackwell包括基于硬件的安全功能,以保护AI模型免受盗窃或篡改。

5. 压缩引擎:Blackwell有一个专用的数据压缩引擎,可以比以前快20倍从存储中提取数据,提高数据吞吐量。

性能改进

• Blackwell提供了巨大的AI性能提升,与上一代相比提高了45倍。
• 训练一个2万亿参数、8万亿令牌模型所需的能量,与上一代相比减少了350倍。
• 令牌生成性能提高了45,000倍,每个令牌的能耗从177,000焦耳降低到0.4焦耳。

可扩展的架构

• Blackwell芯片被组合成强大的DGX系统,最多可连接72个GPU,使用英伟达先进的MV-Link互连。
• 英伟达还在开发新的高速以太网交换机Spectrum,以实现无缝扩展到数万个GPU及以上。

总的来说,Blackwell代表了GPU架构的重大飞跃,为下一代AI和高性能计算应用程序提供了前所未有的性能、效率和可扩展性。

机器人时代已经到来。世界各地的研究人员和公司正在开发由物理AI驱动的机器人,这些模型可以理解指令,并自主执行复杂的现实世界