Cuộc đua phát triển AI đa phương thức (multimodal AI) đang ngày càng nóng lên. OpenAI và Google đang dẫn đầu với những thông báo như GPT-4o, cung cấp khả năng đa phương tiện thời gian thực, và bản cập nhật lớn của Google cho dòng mô hình Gemini. Đừng quên Claude 3 Opus của Anthropic cũng đang tham gia cuộc đua này.

Những mô hình này không chỉ hiểu văn bản; chúng có thể xử lý hình ảnh, video và thậm chí cả mã, mở ra vô số khả năng cho việc chú thích dữ liệu, thể hiện sáng tạo và hiểu biết thế giới thực.

Nhưng mô hình nào phù hợp với bạn? Và chúng có thể giúp bạn thực hiện các nhiệm vụ quan trọng như gắn nhãn hình ảnh và video của bạn như thế nào? Trong hướng dẫn toàn diện này, chúng ta sẽ tìm hiểu về khả năng, điểm mạnh và điểm yếu của từng mô hình, so sánh hiệu suất của chúng trên nhiều tiêu chuẩn và ứng dụng thực tế.

Hãy bắt đầu nào!

Hiểu về AI đa phương thức (multimodal AI)

Không giống như các mô hình truyền thống chỉ tập trung vào một loại dữ liệu duy nhất, chẳng hạn như văn bản hoặc hình ảnh, hệ thống AI đa phương thức có thể xử lý và tích hợp thông tin từ nhiều phương thức, bao gồm:

• Văn bản: Ngôn ngữ viết, từ tài liệu đến bài đăng trên mạng xã hội.
• Hình ảnh: Ảnh chụp, bản vẽ, ảnh chụp y tế, v.v.
• Âm thanh: Lời nói, âm nhạc, hiệu ứng âm thanh.
• Video: Kết hợp thông tin hình ảnh và âm thanh.

Khả năng hiểu và lý luận trên nhiều loại dữ liệu khác nhau này cho phép AI đa phương thức giải quyết các nhiệm vụ mà trước đây nằm ngoài tầm với của các hệ thống AI. Ví dụ: mô hình AI đa phương tiện có thể phân tích video, hiểu nội dung hình ảnh, lời nói và âm thanh nền để tạo tóm tắt toàn diện hoặc trả lời các câu hỏi về video.

GPT-4o: Mô hình AI đa phương thức của OpenAI

GPT-4o của OpenAI là một AI đa phương thức nguyên bản có thể hiểu và tạo nội dung trên các đầu vào văn bản, hình ảnh và âm thanh. Tính năng đa phương tiện nguyên bản trong GPT-4o cung cấp khả năng tương tác toàn diện và tự nhiên hơn giữa người dùng và mô hình.

GPT-4o không chỉ là một bản nâng cấp gia tăng; nó giới thiệu một số tính năng khác biệt so với các mô hình trước đó như GPT-4 và GPT-4 Turbo. Hãy cùng xem xét chúng.

GPT-4o: Lợi ích và Tính năng Mới

GPT-4o, với chữ “o” là viết tắt của “omni” (toàn diện), đại diện cho bước chuyển đổi đột phá hướng tới sự tương tác giữa người và máy tính tự nhiên và liền mạch hơn. Không giống như các phiên bản tiền nhiệm, GPT-4o được thiết kế để xử lý và tạo ra sự kết hợp giữa văn bản, âm thanh và hình ảnh để hiểu toàn diện hơn về đầu vào của người dùng.

1. Trí thông minh cao: GPT-4o sánh ngang với hiệu suất của GPT-4 Turbo về trí thông minh văn bản, lý luận và mã hóa nhưng thiết lập các tiêu chuẩn mới về khả năng đa ngôn ngữ, âm thanh và thị giác.

2. Thời gian phản hồi nhanh hơn: Với kiến trúc được tối ưu hóa, GPT-4o cung cấp phản hồi nhanh hơn bằng cách tạo mã thông báo nhanh hơn gấp 2 lần so với GPT-4 Turbo cho các cuộc trò chuyện thời gian thực trôi chảy hơn. Nó có thể phản hồi đầu vào âm thanh chỉ trong 232 mili giây, với thời gian phản hồi trung bình là 320 mili giây.

Lưu ý: Thời gian phản hồi nhanh hơn cho phép tương tác giống con người và hấp dẫn hơn, lý tưởng cho chatbot, trợ lý ảo và các ứng dụng tương tác.

3. Hỗ trợ đa ngôn ngữ được cải thiện: Bộ mã hóa mã thông báo mới cho phép GPT-4o xử lý các ngôn ngữ không phải tiếng Anh tốt hơn, mở rộng phạm vi toàn cầu của nó. Ví dụ: so với các mô hình trước đó, nó yêu cầu ít hơn 4,4 lần mã thông báo cho tiếng Gujarati, ít hơn 3,5 lần cho tiếng Telugu và ít hơn 3,3 lần cho tiếng Tamil.

4. Cửa sổ ngữ cảnh lớn hơn: Độ dài ngữ cảnh của GPT-4o là 128 nghìn mã thông báo, tương đương với khoảng 300 trang văn bản. Điều này cho phép nó xử lý các tác vụ phức tạp hơn và duy trì ngữ cảnh trong các tương tác dài hơn. Ngày giới hạn kiến thức của nó là tháng 10 năm 2023.

5. Khả năng thị giác nâng cao: Mô hình có khả năng thị giác được cải thiện, cho phép nó hiểu và diễn giải dữ liệu hình ảnh tốt hơn.

6. Hiểu video: Mô hình có thể xử lý đầu vào video bằng cách chuyển đổi chúng thành các khung hình, cho phép nó hiểu các chuỗi hình ảnh mà không cần âm thanh.

7. Giá cả phải chăng hơn: GPT-4o phù hợp với khả năng văn bản và mã của GPT-4 Turbo bằng tiếng Anh đồng thời cải thiện đáng kể khả năng xử lý ngôn ngữ không phải tiếng Anh. Nó cũng rẻ hơn 50% so với phiên bản tiền nhiệm trong API, giúp nó dễ tiếp cận hơn với nhiều người dùng và nhà phát triển hơn.

8. Nâng cao API: API GPT-4o hỗ trợ nhiều tính năng mới, bao gồm khả năng thị giác thời gian thực và khả năng dịch thuật được cải thiện. Giới hạn tốc độ cao hơn (gấp 5 lần GPT-4) khiến GPT-4o phù hợp với các ứng dụng quy mô lớn, lưu lượng truy cập cao.

GPT-4o hiện có sẵn trong bản xem trước cho các nhà phát triển được chọn, với kế hoạch khả dụng chung trong những tháng tới.

GPT-4o: Hạn chế

• Minh bạch: Thông tin hạn chế có sẵn về dữ liệu được sử dụng để đào tạo GPT-4o, kích thước của mô hình, yêu cầu tính toán của nó và các kỹ thuật được sử dụng để tạo ra nó. Việc thiếu minh bạch này khiến cho việc đánh giá đầy đủ khả năng, thành kiến và tác động tiềm ẩn của mô hình trở nên khó khăn. Việc cởi mở hơn từ OpenAI sẽ giúp xây dựng lòng tin và trách nhiệm giải trình.
• Hỗ trợ âm thanh: Mặc dù GPT-4o đã có những bước tiến đáng kể về khả năng đa phương tiện, nhưng API của nó hiện không hỗ trợ đầu vào âm thanh. Hạn chế này hạn chế việc sử dụng nó trong các ứng dụng yêu cầu xử lý âm thanh, mặc dù OpenAI có kế hoạch giới thiệu tính năng này cho những người thử nghiệm đáng tin cậy sớm.

Gemini 1.5 Pro và Gemini 1.5 Flash: Mô hình AI đa phương thức của Google

Gemini 1.5 Pro là mô hình AI đa phương thức hàng đầu của Google, cung cấp các tính năng nâng cao cho các tác vụ phức tạp và ứng dụng quy mô lớn. Nó được thiết kế để linh hoạt và có khả năng xử lý mọi thứ, từ tạo nội dung sáng tạo đến phân tích tập dữ liệu phức tạp.

Mặt khác, Gemini 1.5 Flash ưu tiên tốc độ và hiệu quả, khiến nó trở nên lý tưởng cho các tình huống mà phản hồi thời gian thực hoặc thông lượng cao là rất quan trọng.

Những mô hình này có thể xử lý và tạo nội dung trên văn bản, hình ảnh, âm thanh và video với độ trễ phản hồi tối thiểu, cho phép các ứng dụng tinh vi và nhận biết ngữ cảnh hơn.

Gemini 1.5 Pro: Lợi ích và Tính năng Mới

Tại Google I/O 2024, một số tính năng và bản cập nhật mới cho Gemini 1.5 Pro và dòng mô hình Gemini đã được công bố:

• Gemini 1.5 Flash: Mô hình Gemini này được tối ưu hóa cho các tác vụ hẹp hơn hoặc tần suất cao, trong đó tốc độ thời gian phản hồi của mô hình là quan trọng nhất. Nó được thiết kế để phục vụ nhanh chóng và hiệu quả về chi phí ở quy mô lớn, với lý luận đa phương tiện và kích thước ngữ cảnh tương tự như Gemini 1.5 Pro. Nó rất phù hợp cho các ứng dụng thời gian thực như chatbot và tạo nội dung theo yêu cầu.
• Đa phương tiện nguyên bản với ngữ cảnh dài: Cả 1.5 Pro và 1.5 Flash đều đi kèm với cửa sổ ngữ cảnh 1 triệu mã thông báo của chúng tôi và cho phép bạn xen kẽ văn bản, hình ảnh, âm thanh và video làm đầu vào. Có một danh sách chờ trong Google AI Studio để truy cập 1.5 Pro với cửa sổ ngữ cảnh 2 triệu mã thông báo.
• Giá cả và bộ nhớ đệm ngữ cảnh: Gemini 1.5 Flash có giá 0,35 đô la cho mỗi 1 triệu mã thông báo và bộ nhớ đệm ngữ cảnh sẽ có sẵn vào tháng 6 năm 2024 để tiết kiệm hơn nữa. Bằng cách này, bạn chỉ phải gửi các phần của lời nhắc, bao gồm cả các tệp lớn, đến mô hình một lần, giúp ngữ cảnh dài trở nên hữu ích và giá cả phải chăng hơn.
• Gemini Nano: Đang mở rộng ra ngoài đầu vào chỉ văn bản để bao gồm cả hình ảnh. Bắt đầu với Pixel, các ứng dụng sử dụng Gemini Nano với Đa phương tiện sẽ có thể hiểu thế giới theo cách con người làm — không chỉ thông qua văn bản mà còn thông qua thị giác, âm thanh và ngôn ngữ nói.
• Dự án Astra: Nhóm cũng giới thiệu Dự án Astra, được xây dựng dựa trên các mô hình Gemini. Nó là một nguyên mẫu tác nhân AI có thể xử lý thông tin nhanh hơn bằng cách liên tục mã hóa các khung hình video, kết hợp đầu vào video và giọng nói thành dòng thời gian của các sự kiện và lưu vào bộ nhớ đệm thông tin này để thu hồi hiệu quả.

Mô hình Gemini 1.5 Flash mới được tối ưu hóa về tốc độ và hiệu quả, có khả năng lý luận đa phương tiện cao và có cửa sổ ngữ cảnh dài đột phá của chúng tôi.

Cả hai mô hình đều đang được xem trước ở hơn 200 quốc gia và vùng lãnh thổ và sẽ được cung cấp rộng rãi vào tháng 6 năm 2024.

Gemini 1.5 Pro và Gemini 1.5 Flash: Hạn chế

• Chi phí: Việc truy cập Gemini 1.5 Pro, đặc biệt là với cửa sổ ngữ cảnh được mở rộng, có thể tốn kém đối với người dùng cá nhân hoặc các tổ chức nhỏ.
• Truy cập: Cả hai mô hình hiện đang được xem trước giới hạn, cấp quyền truy cập cho các nhà phát triển và tổ chức được chọn.

Claude 3 Opus: Mô hình AI đa phương thức của Anthropic

Claude 3 Opus là mô hình tiên tiến nhất trong bộ mô hình AI mới nhất của Anthropic, thiết lập các tiêu chuẩn mới trong nhiều nhiệm vụ nhận thức khác nhau. Opus cung cấp hiệu suất và khả năng cao nhất như một phần của dòng Claude 3, bao gồm cả Sonnet và Haiku.

Claude 3 Opus: Có gì mới?

Một trong những tiến bộ đáng kể nhất trong Claude 3 Opus là bản chất đa phương thức của nó, cho phép nó xử lý và phân tích văn bản, hình ảnh, biểu đồ và sơ đồ. Tính năng này mở ra những khả năng mới cho các ứng dụng trong các lĩnh vực như y tế, kỹ thuật và phân tích dữ liệu, nơi thông tin trực quan đóng một vai trò quan trọng.

Opus cũng thể hiện hiệu suất được cải thiện trong một số lĩnh vực chính:

• Kỹ năng lập luận và giải quyết vấn đề nâng cao, vượt trội so với GPT-4 và Gemini Ultra trong các điểm chuẩn như lập luận chuyên gia cấp sau đại học (GPQA) và toán học cơ bản (GSM8K).
• Hiểu và tạo ngôn ngữ vượt trội, đặc biệt là trong các ngôn ngữ không phải tiếng Anh như tiếng Tây Ban Nha, tiếng Nhật và tiếng Pháp.
• Tăng cửa sổ ngữ cảnh lên tới 200.000 mã thông báo, cho phép phản hồi toàn diện và phong phú hơn về ngữ cảnh.

Claude 3 Opus: Lợi ích

Khả năng nâng cao của Claude 3 Opus mang lại một số lợi ích cho người dùng và nhà phát triển:

• Nhờ khả năng lập luận và giải quyết vấn đề nâng cao, nó đã cải thiện độ chính xác và hiệu quả trong các tác vụ phức tạp.
• Khả năng ứng dụng mở rộng trên nhiều lĩnh vực khác nhau, được kích hoạt bởi khả năng xử lý đa phương tiện và hỗ trợ nhiều ngôn ngữ của nó.
• Tương tác tự nhiên và giống con người hơn là kết quả của sự hiểu biết về ngữ cảnh và lưu loát ngôn ngữ được nâng cao của nó.

Claude 3 Opus: Hạn chế

Mặc dù có hiệu suất ấn tượng, Claude 3 Opus vẫn có một số hạn chế:

• Thành kiến và sự không chính xác tiềm ẩn, vì mô hình có thể phản ánh thành kiến hiện có trong dữ liệu đào tạo của nó và đôi khi tạo ra thông tin không chính xác.
• Khả năng xử lý hình ảnh bị hạn chế, vì Opus không thể xác định các cá nhân trong hình ảnh và có thể gặp khó khăn với hình ảnh chất lượng thấp hoặc các tác vụ yêu cầu lập luận không gian.
• Việc xử lý dữ liệu đa phương tiện, đặc biệt là thông tin nhạy cảm, làm dấy lên lo ngại về quyền riêng tư và bảo mật. Đảm bảo tuân thủ các quy định có liên quan và bảo vệ dữ liệu người dùng vẫn là một thách thức quan trọng.

Claude 3 Opus cũng có sẵn thông qua API của Anthropic và trên Amazon Bedrock. Tuy nhiên, nó đang được xem trước giới hạn trên các nền tảng như Vertex AI của Google Cloud, điều này có thể giới hạn phạm vi tiếp cận của nó so với các mô hình khác.

GPT-4o Vs. Gemini 1.5 Pro vs. Claude 3 Opus: So sánh Hiệu suất Mô hình

Bảng sau so sánh hiệu suất của ba mô hình AI đa phương tiện — GPT-4o, Gemini 1.5 Pro và Claude 3 Opus — trên nhiều tập đánh giá khác nhau. Các số liệu được trình bày dưới dạng phần trăm, cho biết độ chính xác hoặc hiệu suất trên mỗi tác vụ.

Eval Sets	GPT-4o	GPT-4T (2024-04-09)	Gemini 1.0 Ultra	Gemini 1.5 Pro	Claude Opus
MMMU (%) (val)	69.1	63.1	59.4	58.5	59.4
MathVista (%) (testmini)	63.8	58.1	53.0	52.4	50.5
AI2D (%) (test)	94.2	89.4	79.5	80.3	88.1
ChartQA (%) (test)	85.7	78.1	80.8	81.3	80.8
DocVQA (%) (test)	92.8	87.2	90.9	86.5	89.3
ActivityNet (%) (test)	61.9	59.5	52.2	56.7
EgoSchema (%) (test)	72.2	63.9	61.5	63.2

Lưu ý: Bảng này được tạo dựa trên thông tin hạn chế có sẵn về hiệu suất của các mô hình và có thể không phản ánh đầy đủ tất cả các điểm chuẩn hoặc bộ dữ liệu.

Từ dữ liệu này, chúng ta có thể suy ra rằng GPT-4o thường hoạt động tốt hơn Gemini 1.5 Pro và Claude 3 Opus trên các số liệu được đánh giá. Tuy nhiên, điều quan trọng cần lưu ý là sự khác biệt về hiệu suất không đồng nhất trên tất cả các tác vụ và mỗi mô hình đều có điểm mạnh và điểm yếu riêng.