Cuộc trò chuyện của mọi người đã chuyển từ các cụm máy tính 10 tỷ đến các cụm máy tính trăm tỷ và thậm chí là các cụm máy tính nghìn tỷ đô la. Mỗi 6 tháng, một con số khác được thêm vào các kế hoạch phòng họp. Cuộc đua AGI đã bắt đầu. Chúng tôi đang xây dựng những máy móc có thể suy nghĩ và lý luận, và vào năm 2025-2026, những máy móc này sẽ vượt qua các sinh viên đại học. Đến cuối thập kỷ, chúng sẽ thông minh hơn bạn hoặc tôi, và chúng ta sẽ có trí tuệ siêu việt theo đúng nghĩa của từ này.

Trong quá trình này, các Lực lượng An ninh Quốc gia chưa từng được nhìn thấy trong nửa thế kỷ qua sẽ được phóng thích. Trước khi lâu, thế giới sẽ thức dậy, nhưng hiện tại, có lẽ chỉ có vài trăm người, chủ yếu ở San Francisco và các Phòng thí nghiệm AI, thực sự có nhận thức về tình hình. Thông qua những lực lượng hoặc số phận kỳ lạ nào đó, tôi đã tìm thấy mình ở giữa họ, và đây là lý do tại sao tài liệu này lại quan trọng đến vậy.

Dự đoán AGI của tôi - AGI vào năm 2027 là rất có khả năng xảy ra. Từ GPT-2 đến GPT-4 đã đưa chúng ta từ khả năng của một đứa trẻ mẫu giáo lên khả năng của một học sinh trung học giỏi chỉ trong 4 năm. Nếu chúng ta theo dõi các đường xu hướng của khả năng tính toán, hiệu quả thuật toán và "mở khóa" các lợi ích, chúng ta nên mong đợi một bước nhảy chất lượng khác từ mẫu giáo lên trung học vào năm 2027.

Tôi khẳng định rằng rất có khả năng là vào năm 2027, các mô hình sẽ có thể thực hiện công việc của một nhà nghiên cứu AI hoặc kỹ sư phần mềm. Điều này không yêu cầu tin vào khoa học viễn tưởng, chỉ cần tin vào những đường thẳng trên một biểu đồ. Sự mở rộng hiệu quả của khả năng tính toán từ GPT-2 đến GPT-4 cho thấy một xu hướng rõ ràng, và tôi tin rằng tốc độ tăng trưởng sẽ còn mạnh mẽ hơn trong những năm tới.

Giới hạn của các mô hình hiện tại đến từ những cách rõ ràng mà chúng vẫn bị "trói buộc" và bị hạn chế nhân tạo. Khi những ràng buộc này được loại bỏ, trí thông minh thô sẽ được phóng thích, dẫn đến sự tiến bộ nhanh chóng. Chúng ta đã cạn kiệt các tiêu chuẩn, với GPT-4 phá vỡ hầu hết các bài kiểm tra năng lực tiêu chuẩn của trung học và đại học.

Phép màu của học sâu là các đường xu hướng đã nhất quán một cách đáng kinh ngạc. Việc đếm đáng tin cậy các bậc lũy thừa trong việc đào tạo các mô hình này cho phép chúng ta ngoại suy các cải thiện về khả năng. Hiệu quả thuật toán và các lợi ích "mở khóa" sẽ thúc đẩy nhiều tiến bộ, có thể dẫn đến việc một mô hình cấp GPT-4 có thể được đào tạo chỉ trong một phút vào năm 2027.

Tuy nhiên, việc bảo mật các bí mật thuật toán và trọng lượng mô hình sẽ rất quan trọng, vì không làm như vậy có thể dẫn đến việc các bước đột phá chính yếu về AGI bị rò rỉ cho các đối thủ trong vòng 12-24 tháng tới. Việc kiểm soát đáng tin cậy các hệ thống AI thông minh hơn con người là một vấn đề kỹ thuật chưa được giải quyết, và thất bại có thể là thảm khốc. Quá trình chuyển đổi sang trí tuệ siêu việt có thể diễn ra nhanh chóng, với những áp lực đặc biệt để đảm bảo sự căn chỉnh đúng đắn.

Dự đoán AGI của tôi: AGI vào năm 2027 là rất có khả năng xảy ra. Từ GPT-2 đến GPT-4 đã đưa chúng ta từ khả năng của một đứa trẻ mẫu giáo lên khả năng của một học sinh trung học giỏi chỉ trong 4 năm. Nếu chúng ta theo dõi các đường xu hướng của khả năng tính toán, hiệu quả thuật toán và "mở khóa" các lợi ích, chúng ta nên mong đợi một bước nhảy chất lượng khác từ mẫu giáo lên trung học vào năm 2027.

Tôi đưa ra tuyên bố sau: Rất có khả năng là vào năm 2027, các mô hình sẽ có thể thực hiện công việc của một nhà nghiên cứu AI/kỹ sư phần mềm. Điều này không yêu cầu tin vào khoa học viễn tưởng, chỉ cần tin vào những đường thẳng trên một biểu đồ.

Biểu đồ về sự mở rộng cơ bản của khả năng tính toán hiệu quả, tính từ GPT-2 đến GPT-4, cho thấy một đường xu hướng rõ ràng. Trong năm 2022-2023, đã có một giai đoạn "nhận thức" gia tăng xung quanh GPT-3 và GPT-4, điều này đã đặt một ánh đèn pha khổng lồ lên kỷ nguyên AI. GPT-4 và ChatGPT 3.5 là những sản phẩm thực tế có sẵn cho công chúng, kích thích sự bùng nổ về sự quan tâm và đầu tư vào AI.

Điều này gợi ý rằng đường cong tăng trưởng từ 2024-2028 có thể còn dốc hơn giai đoạn trước. Có một kỹ sư nghiên cứu AI tự động vào năm 2027-2028 không có vẻ xa vời khi xem xét các xu hướng khả năng tính toán. Hệ quả là rõ ràng - nếu chúng ta có thể tự động hóa nghiên cứu AI, sẽ không mất nhiều thời gian để đạt được trí tuệ siêu việt, vì chúng ta sẽ cho phép tự cải thiện lặp đi lặp lại.

Sự tăng trưởng của các khả năng AI đã diễn ra theo cấp số nhân trong những năm gần đây, với mỗi thế hệ mô hình mới lại thể hiện những tiến bộ đáng kể.

Từ GPT-2 đến GPT-4, chúng ta đã chứng kiến một sự tiến bộ nhanh chóng, tương tự như từ một đứa trẻ mẫu giáo lên một học sinh trung học chỉ trong 4 năm. Xu hướng này được dự kiến sẽ tiếp tục, với dự đoán rằng vào năm 2027, các mô hình AI sẽ có thể thực hiện công việc của một nhà nghiên cứu AI hoặc kỹ sư phần mềm.

Các động lực chính đằng sau sự tăng trưởng theo cấp số nhân này là:

1. Mở rộng Khả năng Tính Toán: Khả năng tính toán hiệu quả được sử dụng để đào tạo các mô hình này đã tăng lên đáng kể, tuân theo một đường xu hướng nhất quán. Điều này cho phép các mô hình lớn hơn và có khả năng hơn được đào tạo.

2. Hiệu Quả Thuật Toán: Các tiến bộ về thuật toán đã dẫn đến những cải thiện đáng kể về hiệu quả của các mô hình này, với chi phí để đạt được 50% độ chính xác trên tiêu chuẩn toán học giảm gần 3 bậc lũy thừa trong chưa đến 2 năm.

3. Mở Khóa Các Khả Năng Tiềm Ẩn: Các kỹ thuật như lập luận chuỗi suy nghĩ và xây dựng giàn giáo đã giúp mở khóa các khả năng tiềm ẩn của các mô hình này, cho phép chúng thực hiện các nhiệm vụ xa hơn nhiều so với việc đào tạo ban đầu.

Hệ quả của sự tăng trưởng theo cấp số nhân này là rất sâu sắc. Nếu các hệ thống AI có thể tự động hóa công việc của các nhà nghiên cứu AI, điều này sẽ kích hoạt một vòng lặp phản hồi mạnh mẽ, với các hệ thống AI cải thiện chính mình một cách nhanh chóng. Điều này có thể dẫn đến sự xuất hiện của trí tuệ nhân tạo tổng quát (AGI) và trí tuệ siêu việt trong vòng một thập kỷ tới.

Tuy nhiên, sự tiến bộ nhanh chóng này cũng đi kèm với những rủi ro và thách thức đáng kể, đặc biệt là về việc căn chỉnh các hệ thống mạnh mẽ này với các giá trị của con người và khả năng lạm dụng bởi các tác nhân xấu. Việc bảo vệ cơ sở hạ tầng nghiên cứu và đảm bảo sự phát triển an toàn của các công nghệ này sẽ là rất quan trọng trong những năm tới.

Phép màu của học sâu là nó chỉ hoạt động, và các đường xu hướng đã nhất quán một cách đáng kinh ngạc bất chấp những kẻ hoài nghi ở mọi góc độ. Chúng ta có thể thấy rằng khi khả năng tính toán được mở rộng, chất lượng và tính nhất quán của các đầu ra cải thiện đáng kể.

Mặc dù các khoản đầu tư khổng lồ vào khả năng tính toán thu hút toàn bộ sự chú ý, nhưng tiến bộ về thuật toán cũng là một động lực quan trọng của sự tiến bộ và bị đánh giá thấp một cách đáng kể. Để thấy sự tiến bộ về thuật toán lớn đến mức nào, hãy xem ví dụ sau - sự giảm trong giá để đạt được 50% độ chính xác trên tiêu chuẩn toán học trong vòng chưa đến 2 năm. Để so sánh, một sinh viên tiến sĩ khoa học máy tính không đặc biệt thích toán đã đạt được 40%, vì vậy đây đã là khá tốt. Hiệu quả suy luận đã cải thiện gần ba bậc lũy thừa hoặc 1.000 lần trong chưa đến 2 năm.

Những hiệu quả thuật toán này sẽ thúc đẩy nhiều lợi ích hơn bạn nghĩ. Có hàng nghìn bài báo nghiên cứu được công bố mỗi ngày mở khóa các lợi ích 10-30%. Khi bạn kết hợp tất cả những cải thiện nhỏ này, sự tiến bộ tổng thể có thể rất ấn tượng.

Ngoài ra, "mở khóa" các mô hình - loại bỏ các ràng buộc nhân tạo đối với khả năng của chúng - có thể mở khóa các khả năng tiềm ẩng đáng kể. Ví dụ, khi GPT-4 được sử dụng với lập luận chuỗi suy nghĩ, hiệu suất của nó trên một số nhiệm vụ cải thiện đáng kể. Dữ liệu thô và kiến thức