2024年人工智能指数报告突出了行业在前沿人工智能研究方面的持续领导地位。2023年,行业生产了51个值得注意的机器学习模型,而学术界只贡献了15个。此外,还有21个值得注意的模型来自行业-学术界的合作,创下新高。

行业主导前沿人工智能研究的这一趋势正在不断增强。报告提出了政府是否应该更多参与人工智能项目的问题,因为私营部门的主导地位可能在未来造成令人担忧的权力失衡。

此外,报告指出,2023年发布的基础模型数量比2022年翻了一番,其中65%的新发布模型是开源的,高于2022年的44%和2021年的33%。这表明开源人工智能的趋势正在增强,尽管像GPT-4及其后续版本这样的最先进的受限模型仍然是闭源的。

报告还估算了这些模型的训练成本,其中GPT-4估计为7800万美元,Gemini Ultra为1.91亿美元,突出了开发这些先进人工智能系统所需的巨大投资。

总的来说,报告描绘了行业在前沿人工智能研究方面持续领导的画面,同时开源模型正在崛起,政府更多参与的潜在需求也浮现,以应对人工智能领域权力失衡的担忧。

2024年人工智能指数报告突出了开源人工智能模型日益突出的地位。一些关键要点:

• 2023年,149个新发布的基础模型中有65%是开源的,高于2022年的44%和2021年的33%。这显示了向更多开源人工智能开发的明确趋势。

• 2023年GitHub上的人工智能相关项目数量激增59.3%,从2022年的400万增加到2023年的1220万。这种开源活动的爆发是由2022年底ChatGPT的发布推动的。

• 尽管像GPT-4和Gemini Ultra这样的闭源模型在某些基准测试中仍然占据主导地位,但报告指出开源系统正在不断追赶并主导人工智能格局。

• 开源人工智能的兴起被视为一种积极趋势,促进了透明度和可访问性。但仍然存在强大开源模型落入错误手中的潜在风险。

• 监管机构将需要权衡开放创新的好处,同时缓解滥用并确保这些变革性技术的负责任发展。

总之,2024年人工智能指数突出了开源人工智能的惊人增长,正在重塑格局,挑战闭源模型的主导地位。这一趋势很可能继续成为人工智能界未来几年的关注重点。

本章检查了人工智能系统在各种基准测试中与人类能力的对比表现。数据显示了一个越来越令人印象深刻的趋势,人工智能在几个任务上超越了人类表现:

• 人工智能已经超越了人类在图像分类、视觉推理和英语理解等基准测试中的表现。
• 然而,人工智能在更复杂的任务如竞争级数学、视觉常识推理和规划等方面仍然落后于人类。

这些基准测试的趋势表明,随着我们进入2023年及以后,人工智能正在迅速缩小差距,甚至在许多领域超越人类基准线。一些关键要点:

• 人类基准线正在被超越的领域包括图像分类和自然语言理解。
• 尽管人工智能在数学和阅读理解等方面落后,但性能差距正在迅速缩小。
• 像多任务语言理解(MMLU)测试这样的基准显示,人工智能能力正在快速接近人类水平。

这些数据表明,到2024年底,人工智能系统可能会在广泛的认知任务中达到与人类近乎持平的水平。像GPT-4这样大型语言模型的持续进步很可能推动人工智能表现的进一步突破。随着这些能力的增长,监测人工智能系统与人类能力相比的进步和局限性将变得至关重要。

传统上,人工智能系统的范围有限,语言模型擅长文本理解但在图像处理方面表现不佳,反之亦然。然而,最近的进步导致了强大的多模态模型的出现,如谷歌的Gemini和OpenAI的GPT-4。

这些模型展现了出色的灵活性,能够处理图像和文本。事实上,Gemini 1.5 Pro甚至可以处理音频。2023年,多模态人工智能能力的基准达到94.04%,而人类基准为89.8%。

多模态人工智能的进步促使研究人员开发了更具挑战性的基准,如编码的SWE基准、图像生成的Heim、一般推理的MMU以及道德推理的Mocker。这些新的基准旨在推动人工智能能力的边界,并发现其局限性。

尽管人工智能模型在已建立的基准如IMAC、SNAP和SuperGLUE上已达到性能饱和,但这些更复杂和更具挑战性的评估的出现将继续挑战研究人员和开发人员。跨多个模态进行推理、理解和交互的能力是实现更全面和更强大的人工智能系统的关键一步。

随着多模态人工智能领域的发展,我们可以期待在未来几年内看到更加令人印象深刻的进步,人工智能代理将越来越擅长导航和理解真实世界的多样性和互联性。

人工智能指数报告突出了人工智能在传统语言和视觉任务之外的专门基准测试方面的快速进步。随着人工智能系统的不断进步,研究人员开发了更具挑战性和细微差别的基准来评估其能力。

这个领域的一些关键发展包括:

1. 编码基准: 引入了评估人工智能模型编码能力的新基准SWE Bench。这个基准引发了争议,有人指控演示结果并非完全真实。然而,许多开源项目在这个具有挑战性的任务上表现出色。

2. 推理基准: 像HEIM用于图像推理、MMU用于一般推理、MOCKER用于道德推理的基准已经出现,旨在推动人工智能推理能力的边界。尽管当前模型在这些领域仍然落后于人类,但报告表明,借助GPT-5等先进模型的发布,推理方面的突破可能即将到来。

3. 基于代理的基准: Agent Bench评估自主代理在各种环境中的表现,显示了持续的改进。人工智能代理现在可以掌握像Minecraft这样的复杂游戏,并更有效地处理购物和研究协助等现实世界任务。

4. 音乐生成基准: 在MusicCaps等音乐生成模型基准上的评估显示,人工智能在产生高质量音乐方面取得了进步。报告指出,这个领域中闭源和开源模型之间的差距仍然很大,表明最先进的音乐生成能力主要集中在专有系统中。

5. 多模态基准: 报告突出了强大多模态人工智能模型(如谷歌的Gemini和OpenAI的GPT-4)的兴起,它们可以处理文本、图像甚至音频的组合。这些模型在已建立的多模态基准上达到了与人类相当的性能,表明该领域取得了重大进步。

随着这些专门基准的不断发展,它们将提供更细致和全面的了解现代人工智能系统的能力和局限性。报告表明,以更复杂的方式进行推理、规划和与世界互动的能力将是未来人工智能发展的关键重点。

报告突出的一个关键趋势是对语言模型的人工评估越来越受重视。报告指出,使用盲目A/B测试和人工评分来评估不同模型性能的LMS聊天机器人领域正在成为一个日益重要的基准。

报告认为,这种人工评估方法很有价值,因为它评估了模型的整体性能和用户体验,而不仅仅依赖于特定的测试分数。报告认为,一些传统基准可能存在污染或错误问题,使人工评估方法更可靠。

具体而言,报告指出,在LMS聊天机器人领域,GPT-4 Turbo目前领先,即使在Claude 3发布后也是如此。这表明用户发现GPT-4 Turbo更有效和更令人满意,尽管其他模型可能有所改进。

报告认为,这种人工评估方法应该被更广泛地使用,因为它提供了更全面的语言模型能力评估。随着模型变得越来越复杂,从用户的角度与之互动和评估其性能和影响力变得至关重要。

总的来说,人工评估的日益重要性突出了需要考虑语言模型的用户体验和实际应用,而不仅仅关注技术基准。这种转变反映了这些人工智能系统日益成熟和对社会的影响,以及确保它们满足人类用户需求和期望的必要性。

语言建模与机器人技术的融合产生了更灵活的机器人系统,如PaLM-E和RT2。这些模型不仅具有改善的机器人能力,还可以提出问题,这标志着机器人能够更有效地与现实世界互动的重大进步。

这些模型的发展正在提高它们的能力,而机器人是一个比传统人工智能更具挑战性的领域。然而,将会出现相互补充的突破,从而导致未来更有效的机器人。我们已经看到了令人印象深刻的演示,如机器人Figure One流畅自然的动作,完全由神经网络实现,展示了这个领域的快速进步。

在评估自主代理系统在八个环境中表现的Agent Bench上,总体得分正在提高。创建能够在特定环境中自主运行的人工智能代理系统一直是一个挑战,但新兴研究表明,自主代理的性能正在改善。当前的代理可以掌握像Minecraft这样的复杂游戏,并有效地处理购物和研究协助等现实世界任务。

该论文强调了Nvidia系统Voyager在Minecraft中的性能改进,它使用GPT-4提高了代理的推理能力,使其能够在开放式世界中学习、探索和规划。这展示了未来更强大系统在这类自主代理任务中的潜力。

报告突出了人工智能驱动的音乐生成领域的几个关键趋势:

1. 音乐基准测试的性能改善: 在像MusicCaps这样的既定基准上评估音乐生成模型显示,人工智能系统在生成高质量音乐的能力方面正在稳步提高。闭源语言模型在这些基准上明显优于开源对应物。

2. 先进音乐生成模型的出现: 像Music-LM和Music-Gen这样的模型在音乐生成方面展现了令人印象深刻的能力,展示了这个领域的快速进步。这些模型现在能够产生越来越难以与人类创作的作品区分的音乐。

3. 与人类创作音乐的差距缩小: 报告指出,人工智能生成音乐的性能正在接近人类创作的音乐水平,两者之间的差距越来越小。这表明人工智能驱动的音乐生成正在达到可以与人类创造力媲美的质量。

4. 对音乐行业的潜在影响: 随着人工智能音乐生成能力的不断提高,报告突出了这对音乐行业的潜在影响。这可能会导致音乐的制作、分发和消费方式发生变化,可能会颠覆传统的商业模式和创作过程。

5. 评估音乐生成的挑战: 报告承认建立评估人工智能生成音乐质量和创造力的强大和标准化基准是一个挑战。这需要进一步的研究和开发,以确保对这些系统进行公平和全面的评估。

总的来说,报告表明,人工智能驱动的音乐生成领域正在快速发展,这些系统的质量和能力都在显著提高。随着技术