OpenAI thương mại hóa Decisions API nhằm cạnh tranh trực tiếp với Jev của TypeSafe

Tốc độ xử lý dữ liệu giảm từ 1,4 giây xuống còn 0,13 giây là kết quả thực tế mà ứng dụng học ngoại ngữ Speak ghi nhận sau khi thay thế các mô hình ngôn ngữ lớn (LLMs – Large Language Models) truyền thống bằng giao diện lập trình mới của OpenAI. Động thái mở rộng quyền truy cập Decisions API đánh dấu bước đi chính thức của hãng công nghệ này vào thị trường mô hình quyết định (decision models) tốc độ cao, một danh mục đang phát triển nhanh và từng đưa startup TypeSafe chạm mức định giá 7,6 tỷ USD.

Sự trỗi dậy của mô hình tư duy nhanh System One

Được khởi xướng bởi mô hình Jev từ startup TypeSafe do một cựu nhà nghiên cứu tại phòng thí nghiệm biên giới thành lập, dòng mô hình quyết định hoạt động tương tự như những bộ siêu phân loại (super classifiers). Thay vì sinh văn bản phức tạp, hệ thống này tiếp nhận một tập hợp phương án cho trước, đưa ra lựa chọn tức thì kèm theo chỉ số độ tin cậy (confidence rating). Các kỹ sư phần mềm nhanh chóng nhận ra các mô hình thuộc nhóm ‘Hệ thống 1’ (System One models) này có thể thay thế hiệu quả LLMs trong các luồng tác vụ định tuyến hoặc phân loại với độ trễ cực thấp và chi phí vận hành giảm sâu.

Giao diện minh họa công nghệ AI của OpenAI — OpenAI mở rộng tiếp cận Decisions API nhằm đáp ứng nhu cầu tối ưu hóa tốc độ và chi phí cho các doanh nghiệp phần mềm.

Nikunj Handa, Giám đốc sản phẩm mảng API tại OpenAI, cho biết đội ngũ nội bộ đã nhìn thấy vô số kịch bản ứng dụng tiềm năng ngay khi Jev xuất hiện. Thay vì thiết kế một kiến trúc huấn luyện hoàn toàn mới, OpenAI đã cấu hình lại nền tảng ChatGPT Luna nhằm tối ưu hóa quá trình suy luận (inference) và hạ thấp giá thành. Ông Handa chia sẻ rằng bước tiến quan trọng nhất là rút ngắn thời gian xử lý từ mức 1 đến 3 giây xuống chỉ còn 100 đến 180 mili-giây, giúp duy trì hiệu suất vận hành cao mà chưa cần đến các đợt tinh chỉnh chuyên biệt phức tạp.

Cuộc đua tiêu chuẩn đánh giá và lợi thế đa phương thức

Sau khi được giới thiệu lần đầu tại ngày hội lập trình viên vào ngày 29 tháng 9, Decisions API đã chính thức triển khai rộng rãi tới toàn bộ khách hàng. Phiên bản công khai được bổ sung khả năng xử lý giọng nói và thị giác, đồng thời phân bổ hạ tầng suy luận theo vị trí địa lý để duy trì độ trễ thấp toàn cầu. Các đối tác thử nghiệm ban đầu như Box, Datadog, Ramp và Speak đã tận dụng công cụ này để tăng thông lượng hệ thống; bản thân OpenAI cũng tích hợp giải pháp để nâng cao độ nhạy cho trợ lý giọng nói Dots.

Dù vậy, thước đo cho một mô hình quyết định tối ưu vẫn là chủ đề gây tranh luận do sự khác biệt giữa độ chuẩn xác, chi phí và tốc độ trên từng luồng công việc cụ thể. Diogo Almeida, Giám đốc điều hành của TypeSafe, luôn khuyến nghị người dùng tự thử nghiệm trực tiếp trên dữ liệu riêng thay vì dựa vào các chỉ số tham chiếu công cộng. Dẫu vậy, trên các bảng xếp hạng độc lập như AIM System One Index và Artificial Analysis Decision Index, những vị trí dẫn đầu hiện thuộc về D1 Ultra của Liquid và Elephant-1 của Base Lab; phiên bản mới nhất của Jev giữ vị trí thứ 3 và thứ 7, trong khi Decisions API của OpenAI lần lượt đứng thứ 14 và thứ 8. Tuy nhiên, các giải pháp của TypeSafe vẫn đang nắm giữ lượng truy vấn lớn nhất trên nền tảng tổng hợp OpenRouter.

Ở bài kiểm tra tương tác thực tế như JevMan – thử thách điều khiển trò chơi Pac-Man đòi hỏi các quyết định tức thời mỗi vài trăm mili-giây do Opper AI phát triển – mô hình Jev mới nhất vẫn giữ vị trí dẫn đầu. Dẫu vậy, đại diện OpenAI tin tưởng lợi thế cạnh tranh dài hạn của họ nằm ở năng lực đa phương thức (multimodality). Khả năng hiệu chỉnh thị giác của kiến trúc Luna mang lại độ chính xác cao trong phân loại hình ảnh. Trong giai đoạn tiếp theo, OpenAI đặt mục tiêu kéo giảm độ trễ xuống ngưỡng 60 mili-giây, mở đường cho việc áp dụng API để xử lý trực tiếp trên từng khung hình video theo thời gian thực.

Nguồn: TechCrunch