Trong thế giới công nghệ, không có nhiều cái tên tạo ra sức hút lớn như Thinking Machines Lab của Mira Murati. Với khoản tài trợ ban đầu lên tới 2 tỷ đô la và một đội ngũ “ngôi sao” gồm các cựu nhà nghiên cứu hàng đầu từ OpenAI, phòng thí nghiệm này đã trở thành tâm điểm chú ý, khiến giới chuyên môn và người hâm mộ AI không ngừng đặt câu hỏi về những gì họ đang xây dựng. Mới đây, một bài đăng trên blog đã hé lộ cái nhìn đầu tiên về một trong những dự án đầy tham vọng của họ: tạo ra các mô hình AI có khả năng đưa ra phản hồi nhất quán, có thể tái tạo. Đây không chỉ là một bước tiến kỹ thuật mà còn là một sự thay đổi tư duy, thách thức quan niệm cố hữu về tính ngẫu nhiên của trí tuệ nhân tạo. Nếu bạn từng hỏi ChatGPT cùng một câu hỏi vài lần và nhận được những câu trả lời khác nhau, bạn sẽ hiểu tầm quan trọng của việc giải quyết vấn đề này. Thinking Machines Lab không chỉ chấp nhận thực tế đó mà còn tin rằng nó hoàn toàn có thể được khắc phục.
Đánh bại tính không xác định: Từ gốc rễ vấn đề đến giải pháp đột phá
Trong bài đăng nghiên cứu có tiêu đề “Defeating Nondeterminism in LLM Inference” (Đánh bại tính không xác định trong suy luận LLM), nhà nghiên cứu Horace He của Thinking Machines Lab đã đi sâu vào khám phá nguyên nhân cốt lõi gây ra sự ngẫu nhiên trong phản hồi của các mô hình AI. Từ lâu, cộng đồng AI đã chấp nhận rằng các mô hình hiện tại là những hệ thống không xác định, tức là chúng không thể luôn đưa ra cùng một kết quả cho cùng một đầu vào. Tuy nhiên, He lập luận rằng nguyên nhân sâu xa nằm ở cách các nhân GPU (GPU kernels) – những chương trình nhỏ chạy bên trong chip máy tính của Nvidia – được ghép nối với nhau trong quá trình xử lý suy luận. Bằng cách kiểm soát cẩn thận lớp điều phối này, ông tin rằng hoàn toàn có thể làm cho các mô hình AI trở nên xác định hơn, tức là chúng sẽ cung cấp những phản hồi nhất quán mỗi khi được hỏi cùng một câu hỏi.
Việc tạo ra các phản hồi có thể tái tạo không chỉ mang lại lợi ích to lớn cho các doanh nghiệp và nhà khoa học, những người cần độ tin cậy và tính chính xác cao trong ứng dụng AI. Horace He còn nhấn mạnh rằng nó có thể cải thiện đáng kể quá trình đào tạo học tăng cường (Reinforcement Learning – RL). RL là phương pháp thưởng cho các mô hình AI khi chúng đưa ra câu trả lời đúng. Nhưng nếu các câu trả lời luôn hơi khác nhau, dữ liệu đào tạo sẽ trở nên nhiễu loạn. Việc có các phản hồi nhất quán hơn sẽ giúp toàn bộ quá trình RL “mượt mà” hơn, nâng cao hiệu quả đào tạo. Điều này đặc biệt quan trọng khi Thinking Machines Lab đã tiết lộ kế hoạch sử dụng RL để tùy chỉnh các mô hình AI cho các doanh nghiệp, một chiến lược kinh doanh đầy tiềm năng.
Mặc dù Mira Murati từng tuyên bố sản phẩm đầu tiên của Thinking Machines Lab sẽ ra mắt trong những tháng tới và “hữu ích cho các nhà nghiên cứu và các startup phát triển mô hình tùy chỉnh”, nhưng vẫn chưa rõ liệu công nghệ này có ứng dụng trực tiếp từ nghiên cứu về tính xác định hay không. Bài đăng blog này, là phần đầu tiên trong chuỗi “Connectionism” mới của công ty, cũng là một phần trong nỗ lực của Thinking Machines Lab nhằm công bố thường xuyên các bài viết, mã nguồn và thông tin nghiên cứu khác để “mang lại lợi ích cho công chúng và cải thiện văn hóa nghiên cứu của chính mình”. Đây là một cam kết đáng chú ý, đặc biệt khi OpenAI, công ty cũ của Murati, đã trở nên kín đáo hơn sau khi phát triển lớn mạnh. Với mức định giá 12 tỷ đô la, thách thức thực sự đối với Thinking Machines Lab là liệu họ có thể giải quyết những vấn đề cốt lõi này và biến nghiên cứu thành các sản phẩm đột phá để xứng đáng với giá trị đó hay không.
