Prompt Engineering nâng cao: Kỹ thuật suy luận và tối ưu output LLM
Prompt engineering không còn chỉ là “đặt câu hỏi đẹp”. Khi LLM ngày càng mạnh, cách bạn cấu trúc prompt quyết định chất lượng output. Dưới đây là các kỹ thuật nâng cao giúp bạn khai thác tối đa khả năng suy luận của mô hình.
1. Few-Shot Prompting: Dạy mô hình qua ví dụ
Few-shot prompting cung cấp vài ví dụ mẫu trực tiếp trong prompt, giúp LLM học “in-context” mà không cần fine-tune. Cách này đặc biệt hiệu quả với tác vụ có cấu trúc rõ ràng như phân loại, trích xuất thực thể hay dịch thuật.
Nghiên cứu của Brown et al. (2020) chỉ ra rằng khi mô hình đạt ngưỡng kích thước nhất định, khả năng few-shot xuất hiện tự nhiên. Tuy nhiên, số lượng ví dụ không càng nhiều càng tốt — chất lượng và độ đa dạng quan trọng hơn số lượng.
- 1-shot: Một ví dụ duy nhất — đủ với tác vụ đơn giản.
- 3–5 shot: Cân bằng tốt giữa hiệu suất và token.
- Randomized labels: LLM hiện đại khá robust, thậm chí nhãn ngẫu nhiên vẫn cho kết quả tốt nếu giữ đúng format.
- Format consistency: Duy trì cấu trúc input/output đồng nhất giúp mô hình hiểu rõ pattern.
Tuy nhiên, few-shot thất bại với tác vụ suy luận phức tạp đòi hỏi nhiều bước logic. Đó là lúc chain-of-thought lên tiếng.
2. Chain-of-Thought (CoT): Buộc mô hình “suy nghĩ” từng bước
Chain-of-thought prompting yêu cầu mô hình giải thích quá trình suy luận trước khi đưa ra kết luận. Kỹ thuật này được Wei et al. (2022) giới thiệu và cho thấy cải thiện đáng kể trên các bài toán đòi hỏi logic, toán học, hay lập kế hoạch.
Có hai biến thể chính:
- Few-shot CoT: Cung cấp ví dụ có reasoning chain. Mô hình học cách giải quyết tác vụ qua các bước trung gian.
- Zero-shot CoT: Chỉ cần thêm cụm từ “Let’s think step by step” vào cuối prompt. Đơn giản nhưng hiệu quả bất ngờ trên nhiều benchmark.
Auto-CoT (Zhang et al., 2022) tự động hóa việc tạo ví dụ CoT bằng cách chia câu hỏi thành clusters, sau đó sinh reasoning chain đa dạng. Cách này giảm công sức thủ công mà vẫn duy trì hiệu suất.
3. ReAct: Kết hợp suy luận và hành động
ReAct (Reasoning + Acting) là phương pháp xen kẽ giữa reasoning trace và thao tác môi trường thực tế. Thay vì suy luận rồi mới hành động (hay ngược lại), ReAct cho phép mô hình lặp lại hai quá trình này, dẫn đến kết quả chính xác hơn và dễ debug hơn.
Trong nghiên cứu của Yao et al. (2022), ReAct vượt trội so với chain-of-thought thuần túy trên các tác vụ cần tương tác như:
- HotpotQA: Hỏi đáp đa bước cần truy cập nhiều nguồn tri thức.
- ALFWorld: Mô phỏng hành động trong môi trường ảo.
- WebShop: Mua sắm trực tuyến giả lập, cần điều hướng web.
Prompt ReAct thường có dạng: “Thought 1: … Action 1: … Observation 1: … Thought 2: …”. Mô hình học từ few-shot trajectories do người viết, sau đó tự tạo ra chuỗi tương tự.
4. Tối ưu Prompt: Thiết kế lại để cải thiện output
Prompt optimization tập trung vào việc tinh chỉnh cấu trúc prompt để đạt kết quả tốt nhất với chi phí token thấp nhất. Các kỹ thuật phổ biến:
- Prompt Chaining: Chia tác vụ lớn thành chuỗi prompt nhỏ, mỗi bước xử lý một phần. Phù hợp với workflow phức tạp.
- Prompt Pruning: Loại bỏ phần prompt thừa, giữ lại yếu tố thực sự ảnh hưởng đến output.
- Structured Output: Yêu cầu output theo đúng định dạng (JSON, XML, markdown table) giúp dễ parse.
- Persona / Role: Gán vai trò cụ thể (“You are a senior data scientist…”) để định hướng phong cách trả lời.
Kết hợp với RAG (Retrieval-Augmented Generation), prompt optimization trở nên mạnh mẽ hơn. Thay vì nhồi toàn bộ ngữ cảnh vào prompt, chỉ truy xuất đoạn liên quan nhất, giảm noise và tiết kiệm token.
5. Checklist thực hành
Khi áp dụng prompt engineering nâng cao, hãy ghi nhớ:
- Luôn thử zero-shot trước, thêm few-shot nếu kết quả chưa đủ tốt.
- Dùng chain-of-thought cho bài toán đòi hỏi tính toán, logic, hoặc nhiều bước.
- Áp dụng ReAct khi cần mô hình tương tác với tool, API, hay knowledge base bên ngoài.
- Kết hợp RAG để cung cấp thông tin cập nhật mà không cần fine-tune.
- Đo lường token usage và latency — prompt dài không đồng nghĩa với output tốt hơn.
Tài liệu tham khảo
- Brown et al. (2020) – Language Models are Few-Shot Learners
- Wei et al. (2022) – Chain-of-Thought Prompting Elicits Reasoning
- Yao et al. (2022) – ReAct: Synergizing Reasoning and Acting
- Zhang et al. (2022) – Automatic Chain-of-Thought Prompting
- Prompt Engineering Guide
Prompt engineering là kỹ năng cần luyện tập. Thử nghiệm, đo lường, và điều chỉnh từng kỹ thuật sẽ giúp bạn kiểm soát LLM tốt hơn bao giờ hết.
