元宝(Metabot),一个GitHub原生的最先进编码代理,在软件工程基准测试中取得了38%的分数,超过了之前的最高分33%。这一突破是由于Metabot新的认知架构解决了结构化工作流程中的问题。

该架构涉及多步骤的过程:

1. 收集上下文
2. 规划和编辑
3. 将计划分解为单个编辑
4. 应用编辑
5. 测试和审查计划
6. 如果需要,收集更多上下文
7. 提交最终解决方案

这种迭代和结构化的方法使Metabot能够超越阿里巴巴的Factory AI和IBM Research等行业领导者。AI驱动编码代理的快速进步证明了AI发展的加速步伐,每隔几周就有所改进。

这一进步的影响是重大的,因为它表明未来几年软件开发改进的速度可能呈指数级增长。随着AI模型的不断发展,AI辅助编码革新软件工程行业的潜力变得越来越明显。

谷歌最近发布了两个新的语言模型,Gemini 2,分别有270亿和90亿参数。这些模型在主观评估中的表现优于更大的模型,如LLaMA 3(700亿参数)、Chinchilla(700亿参数)和ChatGPT,尽管它们的规模较小。

270亿参数的Gemini 2模型表现出色,在聊天机器人领域击败了这些更大的模型。虽然它可能无法在客观基准测试中超越它们,但用户可能都没意识到他们在与这么小的模型交互,这是相当了不起的。

此外,谷歌在语言模型方面取得了重大进展,包括将Gemini 1.5 Pro的上下文窗口长度增加到200万个令牌。这比之前的模型有了显著改进,使谷歌在这个领域领先于其他主要的AI实验室。

Gemini 2模型的开源性质,加上其出色的性能和效率,使其成为自然语言处理领域一个有前景的发展。随着谷歌不断推出新模型并取得突破,我们可以期待在未来几年内看到更加令人印象深刻的进步。

AI格局正在快速发展,出现了一些关键突破和预测,正在塑造这项技术的未来。以下是一些值得注意的进展:

1. Metabot:一个突破性的编码代理

   • Metabot,一个GitHub原生的最先进编码代理,在软件工程基准测试中取得了38%的分数,超过了之前的最高分33%。
   • 这一成就展示了AI驱动软件开发的令人印象深刻的进步,Metabot超越了阿里巴巴、Factory和IBM Research等行业领导者。
   • Metabot背后的认知架构,包括收集上下文、规划、编辑和测试,在解决复杂的编码挑战方面证明是高度有效的。

2. 谷歌的Gemini 2:超越更大的模型

   • 谷歌发布了Gemini 2,一个270亿参数的模型和一个90亿参数的模型,它们在聊天机器人领域表现出色。
   • 这些Gemini 2模型超越了更大的模型,如LLaMA 3(700亿参数)、Cohere(720亿参数)和ChatGPT,展示了高效和高性能AI系统的潜力。
   • Gemini 2的开源性质和广泛的框架兼容性使其成为开发者和研究人员的一个有吸引力的选择。

3. 扩展上下文长度:推动边界

   • 谷歌宣布推出Gemini 1.5 Pro,其上下文窗口长度达到200万个令牌,大大扩展了其语言模型的输入能力。
   • 这一发展与OpenAI的GPT-4探索保持一致,GPT-4展示了处理45分钟视频输入(可能在100万令牌范围内)的能力。
   • 增加上下文长度的竞争突出了持续努力,以增强AI模型处理更长更复杂输入的能力。

4. Anthropic的预测:数十亿美元的训练运行

   • Anthropic CEO Dario Amodei预测,到2027年,AI模型的训练成本可能高达1000亿美元,并将在大多数任务中超越人类能力。
   • 这一惊人的成本预测突出了推动AI发展边界所需的巨大投资,下一次训练运行可能需要10亿美元。
   • 这些高成本训练运行的影响指出,需要大量资金和资源来推动AI技术的持续进步。

5. 加速科学发现

   • Amodei还表示,AI模型可能会加速科学发现和突破,特别是在生物学和药物发现等领域。
   • AI驱动系统能够达到诺贝尔奖获得者或各领域顶尖专家水平的可能性,可能会导致突破性发现的激增。
   • 这一愿景与AlphaFold等项目取得的进步一致,这些项目展示了加速蛋白质结构预测的能力。

AI格局的持续发展,这些里程碑和预测突出了进步的快速步伐,以及这项技术在软件开发、科学研究等各个领域的变革性潜力。

Anthropic的CEO Dario Amodei做出了一些关于AI未来的引人注目的预测。他相信,到2027年,AI模型的训练成本可能高达1000亿美元,它们在大多数任务中将超越大多数人类。这表明,潜在的下一次训练运行,可能需要10亿美元,将推动AI的极限。

Amodei认为,AI在加速科学发现和治疗疾病方面将产生重大影响。他设想,专门的AI模型将拥有与诺贝尔奖获得者或主要制药公司药物发现负责人一样丰富的知识和创造力。这些模型可以以人类研究人员无法企及的方式进行实验和探索,从而在生物学和药物发现等领域取得突破。

我们已经看到像谷歌的AlphaFold这样的AI模型,能够大幅加快蛋白质结构的发现。Amodei相信,如果我们有"一百万个与那些发明这些东西的所有科学家一样有知识和创造力的AI系统

科学发现的速度可能会激增

甚至长期存在的疾病也可能得到解决或治愈。\n\n虽然这听起来像是一个未来的、具有挑战性的目标

但AI模型的基本能力表明

这种进步是可能的。随着规模、算法和硬件的不断改进

AI革新科学研究和医疗突破的潜力变得越来越切实可行。

OpenAI一直在开发"评论者"模型,以帮助提高其AI系统(特别是ChatGPT)的准确性和一致性。关键要点如下:

• OpenAI基于GPT-4训练了一个名为"Critic GPT"的模型,用于识别ChatGPT输出中的错误。
• 当人们使用Critic GPT评审ChatGPT的响应时,他们的表现比没有评论者模型的人高出60%。
• OpenAI现在正在努力将类似Critic GPT的模型集成到其基于人类反馈的强化学习(RLHF)管道中。
• 这是一个"递归自我改进"的例子,AI模型被用来评估和改进其他AI模型。
• 随着AI模型变得更加先进,人类训练者发现其微妙错误变得越来越困难。评论者模型可以帮助解决这一挑战。
• 然而,存在一个根本性的局限性 - 到某一点,AI模型可能会变得比提供反馈的任何个人人类都聪明,使人类参与的方法更加困难。
• 这引发了关于AI系统何时以及如何过渡到完全的递归自我改进,而无需直接人类监督的问题。

AI的快速进步,特别是在模型发布领域,确实令人惊叹。本文中讨论的这些突破是对令人难以置信的进步的一个证明。

开发Metabot这个超越之前基准的最先进编码代理,是一个重大成就。它能够超越阿里巴巴、IBM等领先AI实验室的表现,这清楚地表明了AI创新的快速步伐。

谷歌发布Gemini 2模型,其性能优于更大的模型如LLaMA和Chinchilla,这是另一个令人兴奋的发展。这些较小的模型能够超越它们更大的对应物,这证明了底层架构的高效性和有效性。

上下文长度和能力的进步,如Gemini 1.5 Pro 200万令牌的上下文窗口,以及GPT-4处理更长输入的潜力,表明AI驱动应用程序的未来必将取得更大的突破。

来自行业领袖(如Anthropic CEO Dario Amodei)关于AI模型到2027年在大多数任务中超越人类能力的预测,既引人入胜又令人深思。这种进步的影响,无论是在科学发现还是日常生活中,都是深远的。

随着AI格局的不断发展,创新的步伐只会越来越快。这些模型不断改进和推动可能性边界的能力,证明了这项技术的巨大潜力。