AI đa phương thức là gì?
AI đa phương thức (multimodal AI) là dòng mô hình trí tuệ nhân tạo có khả năng xử lý và kết hợp nhiều loại dữ liệu cùng lúc: văn bản, hình ảnh, âm thanh, video và cả mã nguồn. Thay vì chỉ “đọc” chữ như các chatbot thế hệ đầu, mô hình đa phương thức hiểu được bức ảnh bạn chụp, giọng nói bạn nói và đoạn code bạn dán vào trong cùng một phiên làm việc. Đây chính là nền tảng đằng sau những trợ lý AI hiện đại như GPT-4o, Gemini hay Claude.
Ý tưởng này không mới: từ năm 1985, các nhà nghiên cứu đã thử nghiệm deep Boltzmann machines để học đồng thời dữ liệu hình ảnh và văn bản. Nhưng phải đến khi các mô hình ngôn ngữ lớn (LLM) bùng nổ, AI đa phương thức mới trở thành xu hướng chủ đạo của ngành AI. Theo IBM, multimodal learning là một nhánh của deep learning giúp mô hình có ngữ cảnh toàn diện hơn, cải thiện các tác vụ như trả lời câu hỏi từ hình ảnh (visual question answering), tìm kiếm chéo dữ liệu (cross-modal retrieval) hay sinh nội dung từ mô tả.
Cách hoạt động của mô hình đa phương thức
Có ba kỹ thuật chính để “trộn” các loại dữ liệu vào một mô hình:
- Tokenization (early fusion): đầu ra của bộ mã hóa hình ảnh được chuyển thành “image token” nằm chung không gian với text token, rồi nối xen kẽ và fine-tune trên dữ liệu ảnh – chữ. LLaVA là ví dụ điển hình: kết hợp mô hình ngôn ngữ Vicuna với vision model ViT qua một lớp linear duy nhất.
- Cross-attention (intermediate fusion): mỗi modality được xử lý riêng trước, sau đó một cơ chế cross-attention chèn thông tin hình ảnh vào mô hình ngôn ngữ. Flamingo của DeepMind dùng cách này.
- Contrastive learning: mô hình học không gian biểu diễn chung bằng cách khớp ảnh với mô tả văn bản tương ứng. CLIP của OpenAI là đại diện tiêu biểu cho hướng này.
Ở mức kiến trúc, các mô hình như Vision Transformer (ViT) chia ảnh thành từng patch nhỏ rồi xử lý như token, trong khi Whisper và Conformer chuyển âm thanh thành spectrogram. Sự kết hợp này cho phép một mô hình duy nhất tiếp nhận nhiều định dạng đầu vào mà không cần hệ thống rời rạc cho từng loại.
Những mô hình đa phương thức nổi bật
GPT-4V và GPT-4o của OpenAI: GPT-4V mở rộng LLM với khả năng thị giác, có thể đọc các visual marker trên ảnh để tương tác theo cách mới (visual referring prompting). GPT-4o (chữ “o” là omni) xử lý và sinh ra text, âm thanh, hình ảnh trong một mô hình duy nhất, phản hồi giọng nói theo thời gian thực. Đây là lần đầu tiên tính đa phương thức được xây dựng như tính năng cốt lõi ngay từ đầu thay vì ghép thêm sau.
Gemini của Google DeepMind: Google tuyên bố Gemini được “xây dựng từ nền tảng để đa phương thức”, tiền huấn luyện trên văn bản, code, âm thanh, hình ảnh và video. Theo paper công bố trên arXiv, Gemini Ultra đạt kết quả tốt nhất (state-of-the-art) trên 30/32 benchmark và là mô hình đầu tiên vượt qua chuyên gia con người ở bài thi MMLU. Dòng Gemini có ba kích thước: Ultra cho tác vụ phức tạp, Pro cho khả năng mở rộng và Nano chạy ngay trên điện thoại.
Claude của Anthropic: Claude hỗ trợ đọc ảnh, screenshot, sơ đồ và PDF, thậm chí trả về tọa độ hoặc bounding box trong ảnh. Claude 3 Haiku là mô hình tầm trung đầu tiên của Anthropic có thị giác, giúp đưa khả năng này đến nhiều ứng dụng chi phí thấp hơn.
Ứng dụng thực tế
- Y tế: kết hợp ảnh X-quang, MRI với hồ sơ bệnh nhân và dữ liệu gene để chẩn đoán chính xác hơn, phát hiện sớm ung thư.
- Xe tự lái: tích hợp camera, LiDAR và các cảm biến xử lý theo thời gian thực để ra quyết định an toàn.
- Trợ lý ảo: hiểu giọng nói kèm tín hiệu hình ảnh, ví dụ chatbot nhận ảnh đôi kính mắt rồi gợi ý kích cỡ phù hợp.
- Tìm kiếm đa phương thức: tìm ảnh bằng mô tả văn bản, gợi ý nội dung cá nhân hóa.
- Sinh nội dung: text-to-image với DALL-E, Stable Diffusion; text-to-video với Phenaki.
- Giáo dục: Gemini có thể xác minh bài giải vật lý của học sinh từ ảnh chụp.
- Nhận diện cảm xúc: kết hợp hình ảnh, âm thanh và văn bản để phân tích sentiment trong chăm sóc khách hàng và marketing.
Lợi ích so với AI đơn phương thức
ChatGPT ra mắt tháng 11/2022 chỉ xử lý văn bản — một mô hình đơn phương thức. Việc bổ sung nhiều loại dữ liệu mang lại ba lợi ích rõ rệt. Thứ nhất, hiểu ngữ cảnh đầy đủ hơn, giúp quyết định và đầu ra chính xác hơn. Thứ hai, giảm sự nhập nhằng: modality này bổ sung thông tin mà modality kia thiếu. Thứ ba, bền vững hơn với nhiễu: nếu một nguồn dữ liệu hỏng, mô hình vẫn dựa vào các nguồn khác. Tương tác người – máy cũng tự nhiên hơn vì con người vốn giao tiếp bằng cả lời nói lẫn cử chỉ, hình ảnh.
Thách thức còn tồn tại
Một nghiên cứu của CMU năm 2022 nêu sáu thách thức lớn: biểu diễn dữ liệu đa dạng, căn chỉnh tạm thời và không gian giữa các modality, suy luận nhiều bước trên bằng chứng đa phương thức, sinh dữ liệu thô phản ánh tương tác chéo, chuyển kiến thức giữa các modality và đánh giá định lượng hiệu năng. Bên cạnh đó, chi phí tính toán để huấn luyện trên nhiều loại dữ liệu là rất lớn, cùng với rủi ro hallucination, thiên kiến dữ liệu và quyền riêng tư khi xử lý dữ liệu nhạy cảm như y tế hay giám sát.
Dù vậy, xu hướng là không thể đảo ngược: các hãng lớn đều đang đưa đa phương thức vào sản phẩm chủ lực, từ điện thoại đến trình duyệt. Với người dùng phổ thông, AI đa phương thức đơn giản là một trợ lý hiểu đúng thứ bạn đang nhìn, nghe và hỏi — thay vì chỉ đọc dòng chữ bạn gõ.
Tham khảo thêm
Nếu muốn tìm hiểu sâu hơn, bạn có thể đọc bài tổng quan của IBM về multimodal AI, bài giới thiệu Gemini của Google, paper Gemini: A Family of Highly Capable Multimodal Models trên arXiv, tài liệu vision của Claude và trang Multimodal learning trên Wikipedia.
