Metabot, một tác nhân mã hóa tiên tiến bản địa của GitHub, đã đạt được điểm số đáng chú ý là 38% trên thước đo kỹ thuật phần mềm, vượt qua trạng thái của nghệ thuật trước đó là 33%. Bước đột phá này đã được thực hiện bởi kiến trúc nhận thức mới của Metabot, giải quyết các vấn đề trong quy trình làm việc có cấu trúc.

Kiến trúc này bao gồm một quy trình nhiều bước:

1. Thu thập ngữ cảnh
2. Lập kế hoạch và chỉnh sửa
3. Phân tách kế hoạch thành các chỉnh sửa riêng lẻ
4. Áp dụng các chỉnh sửa
5. Kiểm tra và xem xét kế hoạch
6. Thu thập thêm ngữ cảnh nếu cần
7. Nộp giải pháp cuối cùng

Phương pháp lặp lại và có cấu trúc này đã cho phép Metabot vượt qua các nhà lãnh đạo trong ngành như Alibaba's Factory AI và IBM Research. Sự tiến bộ nhanh chóng của các tác nhân mã hóa được điều khiển bởi AI là minh chứng cho tốc độ gia tăng của sự phát triển AI, với những cải tiến được thấy trong vài tuần.

Implikasi của sự tiến bộ này là đáng kể, vì nó gợi ý rằng tốc độ cải thiện phát triển phần mềm có thể theo cấp số nhân trong những năm tới. Khi các mô hình AI tiếp tục phát triển, tiềm năng của mã hóa được hỗ trợ bởi AI để cách mạng hóa ngành công nghiệp kỹ thuật phần mềm trở nên rõ ràng hơn.

Google vừa mới phát hành hai mô hình ngôn ngữ mới, Gemini 2, với lần lượt 27 tỷ và 9 tỷ tham số. Những mô hình này đã vượt qua các mô hình lớn hơn như LLaMA 3 (70 tỷ tham số), Chinchilla (70 tỷ tham số) và ChatGPT trong các đánh giá chủ quan, mặc dù kích thước của chúng nhỏ hơn.

Mô hình Gemini 2 với 27 tỷ tham số đã thể hiện hiệu suất ấn tượng, vượt qua các mô hình lớn hơn này trong lĩnh vực trò chuyện. Mặc dù nó có thể không vượt qua chúng trong các tiêu chuẩn đo lường khách quan, nhưng việc người dùng có thể không nhận ra rằng họ đang tương tác với một mô hình có kích thước như vậy là đáng chú ý.

Ngoài ra, Google đã đạt được những tiến bộ đáng kể trong các mô hình ngôn ngữ của họ, bao gồm cả việc tăng độ dài cửa sổ ngữ cảnh lên 2 triệu token trong Gemini 1.5 Pro. Đây là một cải tiến đáng kể so với các mô hình trước đây và đặt Google dẫn đầu các phòng thí nghiệm AI lớn khác trong lĩnh vực này.

Bản chất mã nguồn mở của các mô hình Gemini 2, cùng với hiệu suất và hiệu quả ấn tượng của chúng, khiến chúng trở thành một sự phát triển đầy hứa hẹn trong lĩnh vực xử lý ngôn ngữ tự nhiên. Khi Google tiếp tục phát hành các mô hình mới và đạt được những bước đột phá, chúng ta có thể mong đợi thấy những tiến bộ ấn tượng hơn nữa trong những năm tới.

Bối cảnh AI đang phát triển nhanh chóng, với một số bước đột phá và dự đoán chính định hình tương lai của công nghệ này. Dưới đây là một số diễn biến đáng chú ý:

1. Metabot: Tác nhân mã hóa đột phá

   • Metabot, một tác nhân mã hóa tiên tiến bản địa của GitHub, đã đạt được điểm số đáng chú ý là 38% trên thước đo kỹ thuật phần mềm, vượt qua trạng thái của nghệ thuật trước đó là 33%.
   • Thành tựu này thể hiện những tiến bộ ấn tượng trong phát triển phần mềm được điều khiển bởi AI, với Metabot vượt qua các nhà chơi hàng đầu trong ngành như Alibaba, Factory và IBM Research.
   • Kiến trúc nhận thức đằng sau Metabot, bao gồm việc thu thập ngữ cảnh, lập kế hoạch, chỉnh sửa và kiểm tra, đã chứng minh là rất hiệu quả trong việc giải quyết các thách thức mã hóa phức tạp.

2. Gemini 2 của Google: Vượt qua các mô hình lớn hơn

   • Google đã phát hành Gemini 2, một mô hình 27 tỷ tham số và một mô hình 9 tỷ tham số, những mô hình này đã thể hiện hiệu suất đáng chú ý trong lĩnh vực trò chuyện.
   • Các mô hình Gemini 2 này đã vượt qua các mô hình lớn hơn như LLaMA 3 (70 tỷ tham số), Cohere (72 tỷ tham số) và ChatGPT, thể hiện tiềm năng của các hệ thống AI hiệu quả và có hiệu suất cao.
   • Bản chất mã nguồn mở của Gemini 2 và khả năng tương thích khung rộng của nó khiến nó trở thành một lựa chọn hấp dẫn cho các nhà phát triển và nhà nghiên cứu.

3. Mở rộng độ dài ngữ cảnh: Đẩy lùi ranh giới

   • Google đã công bố sự sẵn có của Gemini 1.5 Pro với cửa sổ ngữ cảnh 2 triệu token, mở rộng đáng kể khả năng đầu vào của các mô hình ngôn ngữ của họ.
   • Sự phát triển này phù hợp với việc khám phá GPT-4 của OpenAI, mô hình đã thể hiện khả năng xử lý đầu vào video 45 phút, có thể trong khoảng 1 triệu token.
   • Cuộc đua để tăng độ dài ngữ cảnh nổi bật những nỗ lực liên tục để nâng cao khả năng của các mô hình AI trong việc xử lý các đầu vào dài và phức tạp hơn.

4. Dự đoán của Anthropic: Các đợt huấn luyện trị giá tỷ đô

   • Giám đốc điều hành của Anthropic, Dario Amodei, dự đoán rằng vào năm 2027, các mô hình AI sẽ tốn tới 100 tỷ đô la để huấn luyện và sẽ vượt qua khả năng của con người trong hầu hết các nhiệm vụ.
   • Dự đoán về chi phí đáng kinh ngạc này nhấn mạnh những khoản đầu tư đáng kể cần thiết để đẩy lùi ranh giới của sự phát triển AI, với các đợt huấn luyện tiếp theo có thể tốn 1 tỷ đô la.
   • Hàm ý của những đợt huấn luyện có chi phí cao này là sự cần thiết của nguồn tài chính và nguồn lực đáng kể để thúc đẩy sự tiến bộ liên tục của công nghệ AI.

5. Gia tăng tốc độ khám phá khoa học

   • Amodei cũng gợi ý rằng các mô hình AI có thể gia tăng tốc độ khám phá và bước đột phá khoa học, đặc biệt là trong các lĩnh vực như sinh học và phát triển thuốc.
   • Tiềm năng của các hệ thống được điều khiển bởi AI để hoạt động ở mức độ của các nhà khoa học đoạt giải Nobel hoặc các chuyên gia hàng đầu trong các lĩnh vực khác nhau có thể dẫn đến sự gia tăng các khám phá đột phá.
   • Tầm nhìn này phù hợp với những tiến bộ được thấy trong các dự án như AlphaFold, những dự án đã thể hiện khả năng gia tăng tốc độ dự đoán cấu trúc protein.

Khi bối cảnh AI tiếp tục phát triển, những cột mốc và dự đoán này nổi bật tốc độ tiến bộ nhanh chóng và tiềm năng biến đổi của công nghệ này trong các lĩnh vực khác nhau, từ phát triển phần mềm đến nghiên cứu khoa học và hơn thế nữa.

Dario Amod, Giám đốc điều hành của Anthropic, đã đưa ra một số dự đoán thú vị về tương lai của AI. Ông tin rằng vào năm 2027, các mô hình AI sẽ tốn tới 100 tỷ đô la để huấn luyện, và chúng sẽ giỏi hơn hầu hết con người trong hầu hết các nhiệm vụ. Điều này gợi ý rằng các đợt huấn luyện tiếp theo, có thể tốn 1 tỷ đô la, sẽ đẩy lùi ranh giới những gì AI có thể đạt được.

Một lĩnh vực mà Amod tin rằng AI sẽ có tác động đáng kể là trong việc gia tăng tốc độ khám phá khoa học và chữa trị bệnh tật. Ông tưởng tượng ra các mô hình AI chuyên biệt, có kiến thức và sáng tạo như các nhà khoa học đoạt giải Nobel hoặc các giám đốc phát triển thuốc tại các công ty dược phẩm lớn. Những mô hình này có thể thử nghiệm và khám phá theo cách mà các nhà nghiên cứu con người không thể, dẫn đến những bước đột phá trong các lĩnh vực như sinh học và phát triển thuốc.

Chúng ta đã thấy ví dụ về các mô hình AI, như AlphaFold của Google, có thể gia tăng tốc độ khám phá cấu trúc protein một cách đáng kể. Amod tin rằng nếu chúng ta có "một triệu bản sao của một hệ thống AI, có kiến thức và sáng tạo về lĩnh vực như tất cả những nhà khoa học đã phát minh ra những thứ đó", tốc độ khám phá khoa học có thể gia tăng, và thậm chí những bệnh lâu đời cũng có thể được giải quyết hoặc chữa khỏi.

Mặc dù điều này có vẻ như một mục tiêu tương lai và đầy thách thức, những khả năng cơ bản của các mô hình AI cho thấy những tiến bộ như vậy là có thể. Khi quy mô, thuật toán và phần cứng tiếp tục được cải thiện, tiềm năng của AI trong việc cách mạng hóa nghiên cứu khoa học và các bước đột phá y tế trở nên ngày càng cụ thể.

OpenAI đã làm việc để phát triển các mô hình "phê bình" nhằm giúp cải thiện độ chính xác và sự phù hợp của các hệ thống AI của họ, đặc biệt là ChatGPT. Các điểm chính là:

• OpenAI đã huấn luyện một mô hình được gọi là "Critic GPT" dựa trên GPT-4 để xác định các sai sót trong đầu ra của ChatGPT.
• Khi mọi người sử dụng Critic GPT để xem xét các phản hồi của ChatGPT, họ vượt qua những người không có mô hình phê bình 60% thời gian.
• OpenAI hiện đang làm việc để tích hợp các mô hình giống Critic GPT vào đường ống học tập tăng cường với phản hồi của con người (RLHF) của họ.
• Đây là một ví dụ về "tự cải thiện lặp đi lặp lại" khi các mô hình AI được sử dụng để đánh giá và cải thiện các mô hình AI khác.
• Khi các mô hình AI trở nên tinh vi h