Mixture of Experts (MoE) là gì? Kiến trúc AI token routing
Mixture of Experts (MoE) là kỹ thuật học máy trong đó nhiều mạng “chuyên gia” (expert) phối hợp xử lý dữ liệu. Điểm mấu chốt: mỗi token (đơn vị văn bản) chỉ được định tuyến đến một tập con nhỏ của các expert, giúp mô hình có hàng trăm tỷ tham số nhưng chi phí tính toán chỉ tương đương mô hình nhỏ hơn nhiều. MoE được sử dụng trong các mô hình LLM lớn nhất hiện nay như Mixtral 8x7B của Mistral AI, DeepSeek-V3 với 671B tham số, và nhiều sản phẩm AI khác.
Cơ chế hoạt động: Gating network + Sparse routing
MoE gồm 3 thành phần cốt lõi:
- Experts (f₁…fₙ): mạng feedforward, mỗi expert xử lý input x theo cách riêng.
- Gating network (w): nhận input x, tính weights w(x) = softmax(topₖ(Wx + noise)), chọn k expert hàng đầu.
- Aggregation: output = Σᵢ weightᵢ · fᵢ(x) — tổng có trọng số các output expert.
Biểu thức chính:
logits = Wx + noisetop-k mask = top_k(logits, k) (không-top-k → −∞)weights = softmax(top-k mask)
Ví dụ Mixtral 8x7B: 8 expert FFN/lớp, router chọn 2 expert mỗi token mỗi lớp. Điều này tạo tính “sparse” — không phải tất cả 47B tham số đều hoạt động cho mỗi token. Kết quả: tốc độ suy luận tương đương mô hình dense 12B nhưng chất lượng vượt trội.
Các mô hình MoE tiêu biểu
| Mô hình | Năm | Tổng params | Active/token | Thành tựu |
|---|---|---|---|---|
| Switch Transformer | 2022 | 1.6T | 1 expert | 7x tốc độ hơn T5 cùng compute |
| Mixtral 8x7B | 2023 | 47B | ~12.9B | MT-Bench 8.30, ngang GPT-3.5 |
| DeepSeek-V2 | 2024 | 236B | 21B | 5.76x throughput boost |
| DeepSeek-V3 | 2024 | 671B | 37B | 671B params, chỉ 37B active |
Mixtral 8x7B — Mô hình MoE mở đầu tiên ngang GPT-3.5
Mistral AI phát hành tháng 12/2023. 47B tham số tổng, nhưng mỗi token chỉ kích hoạt ~12.9B (tốc độ tương đương mô hình dense 12B). Mixtral đạt LLM Leaderboard 68.42 (Llama 2 70B: 67.87), MT-Bench 8.30 (GPT-3.5-turbo: 8.32) — mô hình mã nguồn mở đầu tiên sánh được GPT-3.5. License: Apache 2.0. HumanEval: 40.2%, hỗ trợ context 32K tokens và 5 ngôn ngữ.
DeepSeek-V2 — Multi-head Latent Attention kết hợp MoE
DeepSeek-V2 đạt 236B tham số tổng, 21B active với kiến trúc MLA + DeepSeekMoE. Tiết kiệm 42.5% chi phí training so dense 67B, KV cache giảm 93.3%, throughput tăng 5.76x. Context length 128K tokens, pretrained trên 8.1T tokens. Paper: arXiv:2405.04434.
DeepSeek-V3 — MoE ở quy mô lớn nhất
671B tổng params nhưng chỉ 37B active/token. Đào tạo trên 14.8T token, chỉ 2.788M H800 GPU hours — một con số vô cùng thấp cho mô hình lớn nhất thế giới. Điểm đáng chú ý: auxiliary-loss-free load balancing — không cần auxiliary loss mà vẫn phân bổ đều expert. Đào tạo ổn định tuyệt đối: 0 loss spike không phục hồi, không rollback.
Lợi ích của MoE
| Lợi ích | Bằng chứng |
|---|---|
| Cùng chất lượng, ít compute | Mixtral 47B (12.9B active) ngang Llama 2 70B dense |
| Huấn luyện nhanh hơn | Switch Transformer: 7x speedup so T5 cùng compute |
| Scale khổng lồ | DeepSeek-V3: 671B params, chỉ 37B active |
| Inference rẻ hơn | DeepSpeed-MoE: 4.5x nhanh hơn, 9x rẻ hơn dense |
| Tiết kiệm KV cache | DeepSeek-V2: KV cache giảm 93.3% (MLA) |
Thách thức
- Load balancing: một số expert được consult nhiều hơn những expert khác → auxiliary loss, capacity factor. DeepSeek-V3 giải quyết bằng auxiliary-loss-free.
- Training instability: Switch Transformer ghi nhận “training instability” là rào cản chính → DeepSeek-V3: zero loss spike.
- Memory overhead: mọi expert param phải load vào memory dù chỉ k active → DeepSpeed-MoE nén 3.7x.
- Communication: routing sync across devices → all-to-all traffic. GShard tự động sharding để giảm.
DeepSpeed-MoE từ Microsoft
Hệ thống end-to-end cho training và inference MoE. Tiết kiệm 5x chi phí training cho autoregressive language models, nén mô hình 3.7x qua kỹ thuật mới, inference 7.3x tốt hơn so existing MoE solutions. Paper: arXiv:2201.05596, ICML 2022.
Sử dụng thực tế
MoE không chỉ lý thuyết:
- Mistral AI: Mixtral 8x7B chạy API thương mại (Mistral Platform).
- DeepSeek: DeepSeek-V3 làm nền DeepSeek Chat, open-weight trên HuggingFace.
- xAI Grok: Grok-1 dùng MoE (cơ sở Mixtral).
- Microsoft Azure: DeepSpeed-MoE tích hợp hạ tầng AI Azure.
Trên HuggingFace: 100+ Spaces dùng Mixtral, hỗ trợ Transformers, vLLM, TGI.
MoE không chỉ giới hạn trong LLM. Đã có nghiên cứu áp dụng MoE cho computer vision (CV), speech, và recommendation system. Tuy nhiên, LLM vẫn là lĩnh vực MoE phổ biến nhất vì quy mô mô hình lớn nhất nằm ở đây. Khi mô hình ngôn ngữ tiếp tục mở rộng, MoE cung cấp con đường duy nhất để tăng tham số mà không tăng chi phí compute tương ứng. Đây là lý do DeepSeek-V3 chọn kiến trúc MoE cho mô hình 671B thay vì dense.
Một xu hướng đáng theo dõi: Edge MoE — đưa MoE vào thiết bị di động và embedded. Hiện tại TinyML tập trung vào dense model tối ưu, nhưng với kỹ thuật pruning + MoE, có thể chạy model 1B+ params trên điện thoại trong tương lai gần.
