元宇宙(Meta)發布了他們的Llama3模型,這是一個類似GPT-4的AI聊天機器人助手。初步結果相當令人印象深刻,Llama3在各種基準測試中表現出色。Llama3的70億參數版本可以在功能強大的桌面機器上運行,並在HumanEval編碼任務基準測試中獲得82%的成績,這接近現代專有系統的表現。

Llama3在GPQA科學測試中也表現出色,得分接近40%,這是非常令人印象深刻的。然而,在專注於數學的任務上,其表現不如GPT-4,得分僅為50%,而GPT-4可以在類似的數學問題上獲得70%以上的成績。

此外,元宇宙正在開發一個更大的400多億參數模型,預計將在各種測試中比70億參數版本有顯著改進。這個更大的模型仍在開發中,但預計將在今年年底前發布。

Llama3的出色表現尤其值得注意,因為它是一個開源模型,所有人都可以免費使用。這與GPT-4等專有系統不同,後者無法自由訪問。Llama3在某些方面與GPT-4早期版本相當,這證明了開源AI模型的進步。

在評估AI模型的表現時,基準測試的選擇至關重要。理想的基準測試應該在足夠具有挑戰性以區分模型,但又不太困難以至於模型難以表現良好之間取得平衡。

成功率低於10%的測試通常不被視為良好的測試,因為很難得出具有統計意義的結論。另一方面,成功率在80-85%或更高的測試可能會失去意義,因為它們可能包含錯誤或答案已被洩露,允許模型簡單地複製正確的響應。

GPQA測試涵蓋有機化學、分子生物學和物理等各種科學學科,被認為是一個很好的具有挑戰性但有意義的基準。在這個測試中獲得接近40%的成績被認為是非常出色的。

在評估AI模型在實際使用案例中的表現時,Arena排行榜提供了更相關的評估。這個測試衡量模型協助普通人通常執行的任務的能力,而不僅僅是學術或技術挑戰。

關鍵洞見是,找到基準難度的適當平衡至關重要,而像Llama3這樣的開源模型現在表現出色,在各種測試中常常與GPT-4等專有系統相媲美或甚至超越。

Llama3,元宇宙的開源AI聊天機器人,在各種基準測試中表現出色,與GPT-4等專有系統相媲美。有一個70億參數版本可以在功能強大的桌面機器上使用,Llama3在HumanEval編碼任務中獲得82%的成績,在具有挑戰性的GPQA科學測試中獲得40%的出色成績。雖然其50%的數學表現落後於GPT-4的70%,但即將推出的4000億參數模型預計將進一步改善這些結果。

同樣令人印象深刻的是谷歌DeepMind的Gemini 1.5 Pro,它在Arena排行榜上表現出色,甚至在某些方面超越了早期版本的GPT-4。Gemini 1.5 Pro從整部電影和代碼庫中學習的能力使其脫穎而出,它獲得了整體第二名,以及長提示的第一名。

這些強大的AI助手,無論是開源還是專有,都標誌著該領域的重大進步。用戶現在可以在歐盟以外的地方免費訪問Llama3和Gemini 1.5 Pro,體驗這些尖端模型的功能。

您可以通過以下方式免費試用Llama3和Gemini 1.5 Pro AI模型:

1. Llama3:

   • 據作者所知,如果您位於歐洲以外,可以在Meta的網站上試用Llama3。
   • 您也可以下載並在任何地方運行Llama3模型。
   • 有些網站正在托管Llama3,您可以通過這些平台進行嘗試。視頻描述中提供了相關鏈接。

2. Gemini 1.5 Pro:

   • 由谷歌DeepMind開發的Gemini 1.5 Pro也可以在歐盟以外免費試用。
   • 視頻描述中提供了訪問Gemini 1.5 Pro的鏈接。

作者強調,Llama3和Gemini 1.5 Pro都是令人印象深刻的AI模型,幾乎與付費專有系統一樣出色,但您可以免費使用它們。

AI助手的進步速度令人驚嘆,開源模型如Llama3和Gemini 1.5 Pro現在已經與付費專有系統(如GPT-4)相媲美。這些開源模型可供所有人免費使用,這是一個了不起的發展。

Meta的70億參數Llama3模型在各種基準測試中表現出色,包括具有挑戰性的GPQA科學領域測試。雖然它在數學方面可能不如GPT-4,但仍然交出了令人印象深刻的成績。此外,即將推出的4000億參數Llama3模型預計將進一步提升這些功能。

同樣,谷歌DeepMind的Gemini 1.5 Pro也是一個非常出色的AI助手,可與GPT-4早期版本的表現相媲美。它特別擅長涉及更長提示和複雜上下文的任務,如觀看整部電影或學習代碼庫。

這些開源AI模型的可用性,可以免費試用,是一個重要的里程碑。它使先進的AI技術民主化,讓每個人都可以探索和利用這些強大的工具。這是一個美好的時代,我們見證了AI的快速進步,以及這些卓越功能的日益普及。