Speculative Decoding là gì: Kỹ thuật tăng tốc LLM

Speculative Decoding là gì: Tăng tốc suy luận LLM

Speculative Decoding là kỹ thuật tối ưu nhằm tăng tốc quá trình suy luận (inference) của mô hình ngôn ngữ lớn (LLM) mà không thay đổi đầu ra. Thay vì phải tạo ra mỗi token một cách tuần tự qua mô hình mục tiêu lớn, speculative decoding sử dụng một mô hình nhẹ (draft model) để đoán trước (speculate) nhiều token cùng một lúc, rồi xác minh các token đó bằng mô hình mục tiêu trong một bước song song. Nếu draft model dự đoán đúng, chúng ta chấp nhận nhiều token cùng lúc; nếu sai, chúng ta từ chối và thực hiện lại bằng mô hình mục tiêu. Kỹ thuật này tận dụng sự song song của phần cứng hiện đại (GPU/TPU) để giảm thiểu thời gian đợi do tính chất autoregressive của LLM.

Kỹ thuật ra đời từ bài báo “Fast Inference from Transformers via Speculative Decoding” (Leviathan et al., 2022) và phát triển nhanh qua các biến thể như Medusa, EAGLE, Lookahead Decoding và Multi-Token Prediction (MTP). Speculative decoding hiện được tích hợp trong các framework serving LLM như vLLM, SGLang và TensorRT-LLM, giúp giảm latency và tăng throughput mà không cần retraining hoặc thay đổi kiến trúc mô hình.

Nguyên lý cơ bản:

Draft model: Mô hình nhỏ, nhanh (ví dụ: một transformer với ít layer hơn) tạo ra K tokens candidate (speculative tokens).
Target model: Mô hình LLM lớn kiểm tra tất cả K tokens cùng một lần qua một forward pass, xác định xem mỗi token có chấp nhận được hay không.
Acceptance/rejection: Duyệt từ token đầu tiên; chấp nhận cho tới khi gặp token đầu tiên bị từ chối. Số token trung bình được chấp nhận mỗi bước gọi là acceptance rate.
Token output: Các token đã chấp nhận được ghi ra output; tiếp tục bước speculate với draft model từ trạng thái sau token cuối cùng được chấp nhận.

Vì draft model thường nhanh gấp 5-10 lần so với target model, speculative decoding đạt được tăng tốc 1.5x–3x tùy thuộc vào độ tương đồng giữa hai mô hình và acceptance rate.

Các biến thể speculative decoding

Medusa (2024): Thay vì sử dụng draft model riêng, Medusa gắn thêm một số “decoding heads” vào cùng mô hình LLM lớn. Các heads này dự đoán các token tiếp theo dựa trên hidden states của các lớp trung-tier. Khi target model chạy một lần, nó đồng thời cho ra logits cho token chính (từ LM head) và nhiều token speculative (từ decoding heads). Medusa giảm thiểu overhead tải mô hình vì không cần draft model riêng, nhưng yêu cầu tinh chỉnh kiến trúc mô hình. Medusa-1 đạt được hơn 2.2x tốc độ; Medusa-2 (cùng fine-tune) nâng mức này lên 2.3–3.6x.

EAGLE (2024): Tập trung vào speculative ở cấp độ feature (second-to-top-layer) thay vì token level. EAGLE đưa vào hidden state của lớp trước khi tính logits, giúp dự đoán feature một cách chính xác hơn và giảm độ không xác định ở cấp độ feature. Điều này giúp giảm số token bị từ chối trong quá trình kiểm chứng. Được đánh giá trên LLaMA2-Chat 70B, EAGLE đạt được mức tăng tốc về độ trễ 2.7x–3.5x và gấp đôi số lượng yêu cầu xử lý được, đồng thời giữ nguyên phân phối xác suất của văn bản sinh ra.

Lookahead Decoding (2024): Sử dụng beam search rộng trên draft model để tạo ra một cây các token candidate có tính xác suất cao, rồi dùng target model để xác minh toàn bộ cây trong một bước. Kỹ thuật này cân bằng giữa việc speculative nhiều token và duy trì acceptance rate cao. Lookahead decoding báo cáo tăng tốc lên tới 1.8x trên MT-bench và 4x với strong scaling trên nhiều GPUs cho các tác vụ hoàn thành mã nguồn.

Multi-Token Prediction (MTP) (2024): Thay vì chỉ dự đoán token tiếp theo, mô hình được huấn luyện để đồng thời dự đoán nhiều token tiếp theo (ví dụ: 2–4 token). Khi inference, MTP cho ra nhiều token trong một forward pass, giảm thiểu số lần gọi mô hình. DeepSeek-V3 là một ví dụ điển hình áp dụng MTP trong stage huấn luyện để tăng tốc suy luận.

Hiệu suất và ứng dụng thực tế

Các báo cáo cho thấy speculative decoding có thể giảm latency suy luận từ 1.5x đến gấp 3x tùy thuộc vào workload:

Leviathan et al. (2022) cho thấy tăng tốc 2X-3X trên T5-XXL so với triển khai chuẩn.
Chen et al. (2023) đạt được 2–2.5x decoding speedup trên Chinchilla 70B trong môi trường phân tán.
Medusa-1 đạt được mức tăng tốc trên 2.2x; Medusa-2 nâng mức này lên 2.3–3.6x.
EAGLE trên LLaMA2-Chat 70B đạt được mức tăng tốc về độ trễ 2.7x–3.5x và gấp đôi số lượng yêu cầu xử lý được.
Lookahead Decoding báo cáo 1.8x trên MT-bench và 4x với strong scaling trên nhiều GPUs.

Các framework phổ biến đã tích hợp speculative decoding:

vLLM: Hỗ trợ speculative decoding với draft model có thể cấu hình (nguồn: docs.vllm.ai).
SGLang: Cho phép speculative batching và overlap các giai đoạn.
TensorRT-LLM: Cung cấp kernel tối ưu cho các bước suy luận trên GPU NVIDIA.

Để áp dụng speculative decoding trong production, cần lưu ý:

Chọn draft model có kiến trúc tương đồng với target model (cùng family, vocab identical) để nâng acceptance rate.
Giám sát acceptance rate; nếu quá thấp (< 0.25) có thể không có lợi thế.
Đảm bảo đủ bộ nhớ GPU để chứa cả target và draft model đồng thời.
Trong môi trường multi-tenancy, cân bằng tài nguyên giữa draft và target để tránh cạnh tranh tài nguyên.

Speculative decoding không thay đổi phân phối xác suất của mô hình, vì vậy chất lượng đầu ra (độ bén, sự sáng tạo) được bảo toàn hoàn toàn. Đây là lợi thế quan trọng so với các kỹ thuật như quantization hoặc pruning có thể làm giảm chất lượng.

Với sự phát triển nhanh của phần cứng AI và các thuật toán tối ưu, speculative decoding đang trở thành một phần không thể thiếu trong kiến trúc phục vụ LLM hiện đại, giúp doanh nghiệp cung cấp dịch vụ AI theo thời gian thực với độ trễ thấp và chi phí hiệu quả.

Nguồn tham khảo: