Trong nhiều năm qua, các chuyên gia đã kỳ vọng vào tiềm năng phát triển vượt bậc của AI, tin rằng khả năng của các mô hình AI sẽ tiếp tục gia tăng theo cấp số nhân. Tuy nhiên, gần đây, niềm tin đó bắt đầu lung lay khi nhiều người trong ngành lo ngại rằng những gì chúng ta đạt được với các mô hình ngôn ngữ lớn (LLM) có thể đang chững lại.
Cuối tuần qua, The Information đã đăng tải một báo cáo cho thấy những lo lắng này không chỉ là suy đoán. Nhiều nhà nghiên cứu tại OpenAI đã bày tỏ sự thất vọng với hiệu suất của Orion — tên mã cho mô hình AI thế hệ mới của công ty. Theo các nhà nghiên cứu này, Orion chỉ mang lại những cải thiện nhỏ so với GPT-4, khác xa với sự đột phá từng thấy từ GPT-3 lên GPT-4. Thậm chí, trên một số tác vụ, Orion "không thực sự vượt trội" so với phiên bản trước.
Ảnh minh họa (Nguồn: Arstechnica)
Sự bất an này càng được củng cố thêm khi Ilya Sutskever, nhà đồng sáng lập OpenAI, người đã rời công ty vào đầu năm nay, cảnh báo rằng các phương pháp huấn luyện truyền thống có thể đang đến giới hạn. Theo Sutskever, những năm 2010 là "thời kỳ bùng nổ" khi mà thêm tài nguyên tính toán và dữ liệu cho cùng một phương pháp đào tạo vẫn có thể tạo ra các cải tiến đáng kể. Nhưng giờ đây, ông cho rằng chúng ta đang quay lại thời kỳ phải "khám phá và tìm tòi" vì không còn đủ dữ liệu chất lượng để tiếp tục duy trì phương pháp huấn luyện truyền thống.
Đi tìm "chìa khóa" tiếp theo
Theo nhiều chuyên gia, vấn đề nằm ở chỗ không còn nhiều dữ liệu văn bản mới, chất lượng cao để các LLM tiếp tục huấn luyện. Phần lớn dữ liệu văn bản công khai trên Internet và trong sách báo đã được sử dụng hết. Báo cáo từ Epoch AI đã chỉ ra rằng, nếu tiếp tục khai thác các dữ liệu này theo đà tăng trưởng hiện tại, chúng ta sẽ hoàn toàn "cạn kiệt" nguồn dữ liệu văn bản do con người tạo ra vào khoảng từ 2026 đến 2032.
Để vượt qua giới hạn này, OpenAI và nhiều công ty khác đã chuyển sang thử nghiệm với dữ liệu tổng hợp (synthetic data) — loại dữ liệu do các mô hình khác tạo ra. Tuy nhiên, các chuyên gia tranh luận liệu loại dữ liệu "nhân tạo" này có thực sự hiệu quả. Một số ý kiến lo ngại rằng sau vài chu kỳ huấn luyện với dữ liệu nhân tạo, các mô hình ngôn ngữ có thể gặp phải tình trạng gọi là "sụp đổ ngữ cảnh," khi khả năng hiểu ngữ cảnh bị suy giảm.
Bên cạnh đó, các nhà nghiên cứu đang kỳ vọng vào việc cải thiện khả năng lập luận của AI thay vì chỉ chú trọng vào việc mở rộng dữ liệu huấn luyện. Tuy nhiên, các nghiên cứu gần đây cho thấy các mô hình "tân tiến" nhất vẫn dễ dàng bị đánh lừa bởi các yếu tố gây nhiễu. Một hướng tiếp cận khác là sử dụng mô hình "giáo viên" (teacher model) để huấn luyện các mô hình "học trò" (student model) thông qua quy trình chắt lọc tri thức, hy vọng cải thiện chất lượng thông tin truyền đạt.
Hướng đi mới: AI chuyên biệt hóa
Nếu các phương pháp huấn luyện hiện tại đang đến giới hạn, thì giải pháp tiếp theo có thể là phát triển các mô hình AI chuyên biệt hóa. Microsoft đã bắt đầu thử nghiệm thành công với các mô hình ngôn ngữ nhỏ tập trung vào các tác vụ và vấn đề cụ thể. Trái ngược với LLM tổng quát như hiện nay, các AI trong tương lai có thể tập trung vào các lĩnh vực hẹp hơn và chuyên sâu hơn, giống như cách các nghiên cứu sinh tiến sĩ đào sâu vào những ngách kiến thức riêng biệt.
Sự chững lại này của AI có phải dấu hiệu chấm hết cho các mô hình ngôn ngữ lớn không? Câu trả lời vẫn chưa rõ, nhưng những thay đổi trong chiến lược và hướng tiếp cận của các công ty AI lớn cho thấy cuộc đua phát triển AI đang bước sang một chương mới, với những hướng đi không còn dễ dàng và phải đòi hỏi sự sáng tạo nhiều hơn trong việc tìm kiếm "chìa khóa" đột phá.
Tham khảo Arstechnica
Lấy link