Meta 正在努力開發業界最先進的 AI 模型,目標是在 2025 年實現。他們計劃將即將推出的 Llama 4 模型的訓練數據量提高 10 倍,相比 Llama 3 已經與最先進的模型具有競爭力。

Zuckerberg 表示,Meta 寧願建立過剩的計算能力,而不是不足,因為他們正在為未來幾年所需的計算和數據做準備。訓練 Llama 4 所需的計算量可能將是 Llama 3 的近 10 倍,而未來的模型將繼續超越這一水平。

這一雄心勃勃的目標意味著 Llama 4 將需要超越 Google、Anthropic、OpenAI 等公司的最新模型。能否實現這一目標仍有待觀察,因為 AI 競賽正在不斷升級,行業內的進步也在加速。不過,Meta 願意大量投資計算能力和數據,表明他們決心保持在大型語言模型領域的領導地位。

根據 Quora 首席執行官兼 OpenAI 董事會成員 Adam D'Angelo 的說法,人工通用智能 (AGI) 可能會在未來 5 到 15 年內實現。D'Angelo 在最近的一次活動中做出了這一預測,並表示 AGI 的出現將是世界上一個非常重要的變革。

OpenAI 公司開發了一個新的五級分類系統,用於跟踪其實現 AGI 的進度。前三個等級包括:

1. 具有對話語言能力的聊天機器人。
2. 具有人類水平問題解決能力的推理系統。
3. 能夠採取行動的智能體和系統。

D'Angelo 的預測表明,即使在實現完全 AGI 之前,達到人類水平的問題解決和行動能力也將是「改變遊戲規則」的事件,可能會對世界產生重大影響。

鑒於近年來 AI 技術的快速進步,在未來 5 到 15 年內實現 AGI 的預測,雖然雄心勃勃,但業內專家認為仍在可能範圍之內。特別是未來 5 年,隨著更多世界頂尖的研究實驗室和公司將精力集中在這一挑戰上,AI 發展有望加速。

不過,在通往 AGI 的道路上,是否會出現任何重大障礙或技術瓶頸仍有待觀察。實現這一里程碑的競賽正在激烈進行,其實現的影響可能是深遠的,因此這是未來幾年需要密切關注的關鍵領域。

Google 的新實驗模型 Gemini Pro 0801 在過去一週的聊天機器人領域進行了測試,獲得了超過 20,000 張社區投票。這是 Gemini 首次登上榜首,以 1,300 分的驚人成績超越了 GPT-4 和 CLAUDE 3.5,並在視覺排行榜上也獲得了第一名。

Gemini Pro 在多語言任務中表現出色,在技術領域、難度較高的提示和編程方面也展現了強大的性能。這是一個重大成就,因為 Gemini 1.5 Pro 已經成功超越了高度能力的 GPT-4 和 CLAUDE 3.5 模型。

有趣的是,Google 沒有將這個模型標記為 Gemini 2,這可能意味著他們可能實施了一些額外的推理或後訓練技術來增強模型的能力。這種方法與 Anthropic 在 CLAUDE 3.5 上所做的類似,該模型展示了比之前版本更強的推理能力。

Gemini Pro 0801 的表現突出了聊天機器人領域的持續進步,模型不斷推動著可能性的邊界。接下來我們將看到 Gemini Pro 0801 能夠保持其領先地位多長時間,以及 OpenAI 或其他 AI 公司是否會在不久的將來推出更強大的模型。

Nvidia 正在通過其 Project Roo 計劃努力簡化和加速人形機器人的開發。該公司正在為人形機器人生態系統的開發者引入一套工具,以更有效地構建他們的 AI 模型。

Nvidia 方法的關鍵組成部分包括:

1. 合成數據生成管道: Nvidia 從使用混合現實設備(如 Apple Vision Pro)收集的人類演示數據開始。然後,他們使用 Nvidia 的模擬工具(如 Omniverse、RoboSuite 和 MimicGen)將這些數據增加千倍或更多。

2. 分布式計算基礎設施: Nvidia 正在利用其 DGX、OVX 和 Jetson Thor 計算平台來支持開發工作流程。DGX 負責處理視頻和文本以訓練多模態基礎模型,OVX 運行模擬堆棧,而 Jetson Thor 用於在真實機器人上測試模型。

3. 基於 Omniverse 的模擬: Nvidia 的 Omniverse 模擬框架,集成到 Isaac Lab 中,允許開發者生成大量不同的環境和佈局,以增加訓練數據的多樣性。

4. 基於生成式 AI 的工具: Nvidia 的 MimicGen 工具可以根據少量原始捕獲數據生成大規模的合成運動數據集,進一步擴展了訓練數據。

目標是使全球開發者能夠為人形機器人硬件平台構建更好的 AI 模型。Nvidia 相信「物理 AI」的時代已經到來,機器人可以理解和與物理世界互動。

通過簡化開發工作流程並提供強大的計算基礎設施,Nvidia 旨在加快人形機器人領域的進展,推動 AI 驅動的人形機器人時代的到來。

ICML 2024 的研究人員提出了一種名為「像圖表一樣計劃」的新提示工程技術,可以顯著提高語言模型在複雜的多步驟任務上的性能。

這種技術背後的關鍵洞見是,當前的語言模型在異步規劃 - 即在某些子任務並行的同時,按順序執行其他子任務的能力 - 方面存在困難。為了解決這個問題,「像圖表一樣計劃」的方法提示模型首先生成任務的圖表表示,捕捉子任務之間的依賴關係。模型然後可以使用這個圖表來制定完成整個任務的最佳計劃。

研究人員發現,這種方法在各種語言模型上都優於基線方法。例如,在涉及煮咖啡、煎雞蛋、烤吐司等任務中,「像圖表一樣計劃」的方法將完成任務的總時間縮短了 20% 以上,相比於順序規劃。

這項工作突出了語言模型仍有巨大的潛力,而創新的提示工程技術可以解鎖新的能力。正如研究人員所指出的,這是一種「現成的提示工程方法」,不需要額外的訓練,使其成為提高模型性能的一種可行方法。

總的來說,「像圖表一樣計劃」技術代表了語言模型能力的一項重要進步,特別是在複雜的多步驟推理方面。隨著語言模型的不斷發展,我們可以期待看到更多創新的提示工程方法,推動這些系統的能力邊界。