Tổng quan

Giới thiệu hai mô hình suy luận không giới hạn trọng lượng: gpt-oss-120b và gpt-oss-20b. Chúng chạy trên cơ sở hạ tầng mà bạn kiểm soát, hoặc thông qua các nhà cung cấp dịch vụ lưu trữ.

Tại sao trọng lượng mở

• Lựa chọn và kiểm soát:Chạy các mô hình tại chỗ hoặc trong đám mây riêng của bạn, giữ dữ liệu tại chỗ, và điều chỉnh hiệu suất theo nhu cầu của bạn.

• Tùy chỉnh:Điều chỉnh hoặc thích nghi các mô hình với công cụ mở mà bạn ưa thích.

Khả năng sẵn có và cấp phép

• Giấy phép:Apache 2.0 cho phép sử dụng rộng rãi, chỉnh sửa và phân phối lại, bao gồm cả sử dụng thương mại (theo điều kiện của gpt-oss của chúng tôi)chính sách sử dụng).

• Phục vụ:Không khả dụng thông qua API của OpenAI, vì vậy giá cả API và giới hạn tốc độ không áp dụng.

• Tương thích:Có thể chạy với các ngăn xếp suy luận mở phổ biến như vLLM, Ollama, llama.cpp, và trên các môi trường GPU đám mây hoặc tự quản lý.

Bắt đầu

Để lấy trọng số mô hình và các tài nguyên hỗ trợ, bạn có thể:

• Thămtrang web gpt-ossđể có tổng quan và các liên kết trực tiếp.

• Tải trọng số từBộ sưu tập Hugging Face— một trung tâm cộng đồng nơi bạn có thể tìm thấy cả hai mô hình, xem các ví dụ sử dụng, và tùy chọn chạy suy luận trực tiếp thông qua các dịch vụ của Hugging Face.

• Truy cập của chúng tôiKho GitHubcho mã suy luận tham khảo.

• Sử dụng hướng dẫn trongCông thức OpenAIđể thiết lập với các runtime được hỗ trợ như Ollama, vLLM và Transformers. Các Recipes cũng bao gồm hướng dẫn từng bước để chạy cục bộ, sử dụng các runtime phổ biến, và—nơi được hỗ trợ—tinh chỉnh các mô hình gpt-oss.

gpt‑oss‑safeguard (xem trước nghiên cứu)

gpt‑oss‑bảo vệlà một cặpmô hình lý luận an toàn trọng lượng mởđược xây dựng trên nền tảng gpt‑oss. Chúng được thiết kế đểphân loại an toàn dựa trên chính sáchvà các nhiệm vụ liên quan đến niềm tin & an toàn mà bạn thực hiện trên cơ sở hạ tầng mà bạn kiểm soát. Giống như các mô hình gpt‑oss khác, các trọng số này không được phục vụ thông qua API OpenAI hoặc ChatGPT.

• Mô hình chỉ văn bảnvới các sơ đồ đầu ra có cấu trúc làm tham chiếu (ví dụ: phán quyết chính sách, lý do).

• Chính sách mang theo đồ riêng:mô hình sẽ giải thích chính sách bạn viết để nó có thể khái quát hóa trên các sản phẩm với ít kỹ thuật nhất.

• Quyết định có lý docác dấu vết lý luận tùy chọn để hỗ trợ gỡ lỗi và kiểm toán (dành cho nhà phát triển và nhân viên an toàn, không dành cho hiển thị cho người dùng cuối).

• Nỗ lực suy luận có thể cấu hình:chọn thấp / trung bình / cao để cân nhắc giữa độ trễ và độ sâu.

• Giấy phép:Apache 2.0 (xemKhả năng sẵn có và cấp phépdưới đây).

gpt‑oss‑bảo vệlà một lựa chọn phù hợp cho việc lọc đầu vào/đầu ra cho LLMs, dán nhãn nội dung trực tuyến và quy trình làm việc dán nhãn hoặc kiểm tra theo lô ngoại tuyến. Đối với các ứng dụng chung (chat, tác nhân, v.v.), chúng tôi khuyến nghị các mô hình gpt‑oss cốt lõi.

Bạn có thể điều chỉnh sơ đồ để phù hợp với nhu cầu của mình. Vui lòng tham khảoSổ tay OpenAIcho hướng dẫn về cách đưa ra câu lệnh và các ví dụ.

Các biến thể & kích thước của mẫu

Cả hai mô hình đều được tinh chỉnh từ gpt‑oss mà không thay đổi kiến trúc. Chúng sử dụng cùng một mẫu trò chuyện như gpt‑oss; bạn có thể giữ nguyên cài đặt hiện có của mình. Một mẫu gợi ý được khuyến nghị là đặt chính sách của bạn trong tin nhắn của nhà phát triển và nội dung cần đánh giá trong tin nhắn của người dùng.

Hỗ trợ và cộng đồng

Triển khai trọng lượng mở được tự quản lý và tự phục vụ. Đây là nơi để nhận hỗ trợ:

• Câu hỏi, thảo luận, mẹo:Sử dụngCác trang mô hình Hugging Facetham gia với cộng đồng.

• Các lỗi có thể tái hiện trong mã suy luận tham chiếu của OpenAI:Mở một vấn đề trên gpt-ossKho GitHub.

• Các vấn đề với môi trường thực thi bên thứ ba (ví dụ: vLLM, Ollama, llama.cpp):Sử dụng trình theo dõi vấn đề, diễn đàn hoặc quy trình hỗ trợ của dự án tương ứng.

OpenAI làmkhôngcung cấp hỗ trợ, thực hiện trực tiếp hoặc hỗ trợ gỡ lỗi cho bất kỳ thiết lập, cấu hình, môi trường hoặc ứng dụng nào được tự lưu trữ hoặc lưu trữ bởi bên thứ ba của open‑weight.

Chúng tôi sẽ tiếp tục lặp lại cùng với cộng đồng để cải thiện các công cụ an toàn mở, bao gồm thông qua Cộng đồng Mô hình ROOST (RMC). RMC kết nối các nhà thực hành và nhà nghiên cứu về an toàn để chia sẻ các phương pháp hay nhất trong việc triển khai các mô hình AI mã nguồn mở vào quy trình làm việc về an toàn, bao gồm kết quả đánh giá và phản hồi về mô hình. Hãy truy cậpKho GitHub RMCđể tìm hiểu thêm về quan hệ đối tác này và cách tham gia.

Hỗ trợ và cộng đồng

Triển khai trọng lượng mở được tự quản lý và tự phục vụ. Đây là nơi để nhận hỗ trợ:

• Câu hỏi, thảo luận, mẹo:Sử dụngCác trang mô hình Hugging Facetham gia với cộng đồng.

• Các lỗi có thể tái hiện trong mã suy luận tham chiếu của OpenAI:Mở một vấn đề trên gpt-ossKho GitHub.

• Các vấn đề với môi trường thực thi bên thứ ba (ví dụ: vLLM, Ollama, llama.cpp):Sử dụng trình theo dõi vấn đề, diễn đàn hoặc quy trình hỗ trợ của dự án tương ứng.

OpenAI làmkhôngcung cấp hỗ trợ, thực hiện trực tiếp hoặc hỗ trợ gỡ lỗi cho bất kỳ thiết lập, cấu hình, môi trường hoặc ứng dụng nào được tự lưu trữ hoặc lưu trữ bởi bên thứ ba của open‑weight.

Quyền riêng tư và an toàn

Quyền riêng tư và dữ liệu

Các mô hình này được thiết kế để chạy trên cơ sở hạ tầng mà bạn kiểm soát (tại chỗ hoặc trên đám mây của bạn hay đối tác lưu trữ). OpenAI không nhận hoặc xử lý dữ liệu bạn gửi đến các mô hình tự lưu trữ này trừ khi bạn chia sẻ rõ ràng với OpenAI, hoặc sử dụng một trong các đối tác lưu trữ được quản lý của chúng tôi.

An toàn

Những mô hình này đã trải qua đào tạo và kiểm tra an toàn kỹ lưỡng. Để biết thêm chi tiết, hãy xem trang của chúng tôithẻ mô hìnhvàbáo cáo kỹ thuật.

Báo cáo vi phạm nội dung

Nếu bạn cho rằng nội dung được tạo ra bằng các mô hình gpt‑oss vi phạm chính sách của chúng tôi, bạn có thể báo cáo nó thông quaMẫu nội dung báo cáo. Vui lòng cung cấp càng nhiều chi tiết càng tốt để giúp nhóm của chúng tôi xem xét bài gửi của bạn.

Câu hỏi thường gặp

Những mẫu này có miễn phí không?

Các trọng số mô hình gpt-oss có thể được tải xuống và sử dụng miễn phí theo giấy phép Apache 2.0 và gpt-osschính sách sử dụng. Tuy nhiên, bạn chịu trách nhiệm cho bất kỳ chi phí nào liên quan đến việc vận hành chúng — chẳng hạn như tính toán, lưu trữ, hoặc phí lưu trữ từ bên thứ ba. Giá cả cho những chi phí đó sẽ phụ thuộc vào cơ sở hạ tầng hoặc nhà cung cấp mà bạn chọn.

Những mô hình này có phải là “mã nguồn mở” không?

Chúng tôi sử dụng thuật ngữmô hình mởhoặcmở cân nặngđể chỉ ra rằng các trọng số đã được huấn luyện có sẵn công khai theo giấy phép Apache 2.0 cho phép và gpt-osschính sách sử dụng. Điều này có nghĩa là bạn có thể tải xuống các mô hình, chạy chúng trên cơ sở hạ tầng của riêng bạn hoặc với các khung lưu trữ được hỗ trợ, và tùy chỉnh hoặc điều chỉnh chúng.

Các mô hình mở mang lại cho các nhà phát triển và tổ chức quyền kiểm soát và sự linh hoạt lớn hơn. Bạn có thể chọn nơi lưu trữ, điều chỉnh các mô hình cho các trường hợp sử dụng cụ thể, và hưởng lợi từ cấp phép cho phép sử dụng rộng rãi, chỉnh sửa và phân phối lại. Mặc dù các trọng số đã được huấn luyện là mở, một số cơ sở hạ tầng hoặc công cụ xung quanh có thể vẫn thuộc sở hữu độc quyền của các nhà cung cấp.

Tôi có thể truy cập các mô hình này thông qua API của OpenAI hoặc ChatGPT không?

Không. Những mô hình này không được cung cấp trong API của OpenAI và không xuất hiện trong ChatGPT.

Tôi có thể tinh chỉnh các mô hình không?

Vâng. Bạn có thể tinh chỉnh bằng cách sử dụng các công cụ mã nguồn mở và hạ tầng mà bạn ưa thích. Chúng tôi không cung cấp dịch vụ tinh chỉnh thông qua API của OpenAI cho các mô hình này.

Các mô hình trọng lượng mở có rẻ hơn so với việc sử dụng API không?

Chi phí thay đổi dựa trên cơ sở hạ tầng, khối lượng công việc và cách thức vận hành. Tự lưu trữ có thể rẻ hơn trong một số trường hợp, trong khi chúng tôiNền tảng APIcó thể hiệu quả hơn khi tính đến việc lưu trữ, bảo trì và nâng cấp.

Những tính năng nào mà các mô hình này hỗ trợ?

Các mô hình này hiện tại chỉ là các mô hình suy luận dựa trên văn bản. Các môi trường thực thi phổ biến hỗ trợ phát trực tuyến, gọi hàm và đầu ra có cấu trúc. Hãy kiểm tra tài liệu của môi trường thực thi của bạn để biết khả năng chính xác.

Điều này khác ModAPI như thế nào?

Đây là một mô hình suy luận có khả năng cao, cho phép bạn mang theo chính sách của riêng mình. Nó có thể hoạt động cùng với ModAPI nhưng có thể không thay thế được trong các trường hợp sử dụng yêu cầu độ trễ thấp.