Nhiều phòng thí nghiệm AI đang chạy đua xây dựng các trung tâm dữ liệu khổng lồ, tốn kém hàng tỷ đô la và tiêu thụ năng lượng như cả một thành phố nhỏ. Nỗ lực này xuất phát từ niềm tin vào việc “mở rộng quy mô” – ý tưởng rằng việc tăng cường sức mạnh tính toán cho các phương pháp huấn luyện AI hiện có sẽ dẫn đến các hệ thống siêu thông minh.
Tuy nhiên, một nhóm ngày càng tăng các nhà nghiên cứu AI cho rằng việc mở rộng quy mô các mô hình ngôn ngữ lớn (LLM) có thể đang đạt đến giới hạn, và cần có những đột phá khác để cải thiện hiệu suất AI. Đây chính là quan điểm mà Sara Hooker, cựu Phó Chủ tịch Nghiên cứu AI của Cohere, đang theo đuổi với công ty khởi nghiệp mới của bà, Adaption Labs. Bà đồng sáng lập công ty cùng với Sudip Roy, một cựu nhân viên khác của Cohere và Google, dựa trên ý tưởng rằng việc mở rộng quy mô LLM đã trở thành một cách không hiệu quả để khai thác thêm hiệu suất từ các mô hình AI.
Trong một cuộc phỏng vấn với TechCrunch, Hooker cho biết Adaption Labs đang xây dựng các hệ thống AI có thể liên tục thích ứng và học hỏi từ kinh nghiệm thực tế một cách hiệu quả. Bà từ chối chia sẻ chi tiết về phương pháp hoặc liệu công ty có dựa vào LLM hay kiến trúc khác hay không.
“Có một bước ngoặt hiện tại, nơi rõ ràng rằng công thức chỉ đơn thuần là mở rộng quy mô các mô hình này – các phương pháp ‘scaling-pilled’, vốn hấp dẫn nhưng cực kỳ nhàm chán – đã không tạo ra được trí thông minh có khả năng điều hướng hoặc tương tác với thế giới,” Hooker nói. Bà nhấn mạnh rằng “thích ứng là cốt lõi của việc học”. Ví dụ, nếu bạn va vào bàn khi đi bộ, bạn sẽ học cách bước cẩn thận hơn vào lần sau. Các phòng thí nghiệm AI đã cố gắng nắm bắt ý tưởng này thông qua học tăng cường (RL), nhưng các phương pháp RL hiện tại không giúp các mô hình AI đang hoạt động học hỏi theo thời gian thực.
Adaption Labs là dấu hiệu mới nhất cho thấy niềm tin của ngành vào việc mở rộng quy mô LLM đang lung lay. Một bài báo gần đây từ các nhà nghiên cứu MIT cho thấy các mô hình AI lớn nhất thế giới có thể sớm cho thấy lợi nhuận giảm dần. Dù các phòng thí nghiệm AI dường như tin rằng việc mở rộng quy mô RL và các mô hình lý luận AI là biên giới mới, với các nghiên cứu tốn kém hàng triệu đô la, Adaption Labs lại đặt mục tiêu tìm kiếm đột phá tiếp theo và chứng minh rằng học hỏi từ kinh nghiệm có thể rẻ hơn nhiều. Theo các nhà đầu tư, công ty đang trong quá trình huy động vòng hạt giống trị giá 20 đến 40 triệu đô la. Tin từ TechCrunch cho biết, nếu Hooker và Adaption Labs đúng về những hạn chế của việc mở rộng quy mô, điều này có thể tạo ra những tác động sâu sắc, đặc biệt khi hàng tỷ đô la đã được đầu tư vào việc mở rộng quy mô LLM với giả định rằng các mô hình lớn hơn sẽ dẫn đến trí tuệ nhân tạo tổng quát.
