Prompt Engineering Nâng Cao: Chain-of-Thought Và Tree-of-Thoughts
Prompt engineering là kỹ thuật thiết kế và tinh chỉnh đầu vào ngôn ngữ tự nhiên để mô hình AI sinh ra kết quả chính xác, liên quan và hữu ích hơn. Khi các mô hình ngôn ngữ lớn (LLM) ngày càng phức tạp, việc chỉ đưa ra câu hỏi đơn giản không còn đủ. Hai kỹ thuật nâng cao Chain-of-Thought (CoT) và Tree-of-Thoughts (ToT) đã thay đổi cách chúng ta tương tác với AI, cho phép mô hình “suy nghĩ” từng bước thay vì đưa ra câu trả lời ngay lập tức.
Chain-of-Thought: Suy Luận Từng Bước
Kỹ thuật Chain-of-Thought được giới thiệu bởi Google Research (Wei et al., 2022) trong bài báo “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models”. Ý tưởng cốt lõi: ép buộc mô hình trình bày quá trình suy luận trung gian trước khi đưa ra kết luận cuối cùng.
Ví dụ cơ bản – thay vì hỏi: “Giá Bitcoin hiện tại là 65.000 USD, tăng 5% so với hôm qua. Giá hôm qua là bao nhiêu?” (mô hình có thể trả lời sai), ta dùng CoT:
“Giá Bitcoin hiện tại 65.000 USD, tăng 5% so với hôm qua. Hãy tính giá hôm qua từng bước: Bước 1: Gọi giá hôm qua là X. Bước 2: Giá hôm nay = X + 0.05X = 1.05X. Bước 3: 1.05X = 65.000. Bước 4: X = 65.000 / 1.05. Kết luận.”
Kết quả: Mô hình tính được ~61.905 USD thay vì đoán lung tung. CoT hiệu quả nhất với các bài toán toán học, logic, lập trình và reasoning phức tạp.
Các Biến Thể Chain-of-Thought
- Zero-shot CoT: Thêm cụm “Hãy suy nghĩ từng bước” (Let’s think step by step) vào cuối prompt – không cần ví dụ trước (Kojima et al., 2022).
- Few-shot CoT: Cung cấp 3-8 ví dụ có sẵn quá trình suy luận hoàn chỉnh trước câu hỏi thực tế.
- Auto-CoT: Tự động sinh ví dụ CoT từ tập dữ liệu không gán nhãn (Zhang et al., 2022).
Tree-of-Thoughts: Tìm Kiếm Trong Không Gian Suy Luận
Nếu CoT là một đường thẳng, Tree-of-Thoughts (Yao et al., 2023) mở rộng thành cây phân nhánh. ToT cho phép mô hình:
- Phân nhánh (Branch): Sinh ra nhiều hướng suy luận khác nhau từ cùng một trạng thái.
- Đánh giá (Evaluate): Tự chấm điểm từng nhánh theo xác suất dẫn đến kết quả đúng.
- Tìm kiếm (Search): Dùng BFS/DFS hoặc heuristic để chọn nhánh tốt nhất.
- Quay lui (Backtrack): Bỏ qua nhánh sai, thử nhánh khác.
Ví dụ: Giải bài toán “Game of 24” (dùng 4 số và phép + – * / để ra 24). CoT thường thất bại vì chỉ thử 1 đường. ToT sinh 3-5 phép tính khả thi mỗi bước, đánh giá xem kết quả trung gian có tiến gần 24 không, chọn nhánh tốt nhất. Tỷ lệ thành công tăng từ 4% (CoT) lên 74% (ToT với BFS).
So Sánh Chain-of-Thought vs Tree-of-Thoughts
| Tiêu Chí | Chain-of-Thought | Tree-of-Thoughts |
|---|---|---|
| Cấu trúc | Tuyến tính, một đường duy nhất | Cây phân nhánh, nhiều đường song song |
| Chi phí token | Thấp | Cao (gấp 3-10 lần) |
| Độ chính xác (reasoning) | Trung bình | Cao (đặc biệt bài toán tổ hợp) |
| Khó cài đặt | Dễ (chỉ thêm prompt) | Khó (cần vòng lặp tìm kiếm, evaluator) |
| Phù hợp | Toán học, logic, code đơn giản | Lập kế hoạch, bài toán NP-hard, creative writing |
Khi Nào Dùng Kỹ Thuật Nào?
- Dùng CoT khi: Bài toán có quy trình suy luận rõ ràng, bước đi tuần tự, ngân sách token hạn chế, cần tốc độ phản hồi nhanh.
- Dùng ToT khi: Bài toán có nhiều giải pháp khả thi, cần khám phá không gian tìm kiếm lớn (cờ vua, lập kế hoạch, viết code phức tạp), chấp nhận chi phí cao hơn để đổi lấy độ chính xác.
Ứng Dụng Thực Tế
Trong phát triển phần mềm, CoT giúp AI viết code đúng logic hơn (giảm 30-50% bug logic theo nghiên cứu của GitHub Copilot). ToT được áp dụng trong AI Agent như Devin, OpenDevin để lập kế hoạch nhiều bước: phân tích yêu cầu -> chia task -> viết code -> test -> fix bug, mỗi bước là một nhánh trong cây tìm kiếm.
Kết hợp RAG (Retrieval-Augmented Generation) với CoT/ToT cho phép AI truy xuất kiến thức ngoài rồi suy luận trên đó – quan trọng cho các domain chuyên nghiệp như y tế, pháp luật, tài chính.
Hạn Chế Và Thách Thức
- Token cost: ToT tiêu tốn gấp nhiều lần token so với prompting thường.
- Latency: Vòng lặp tìm kiếm làm chậm thời gian phản hồi.
- Hallucination trong reasoning: Mô hình có thể suy luận sai logic ở bước trung gian mà vẫn tự tin.
- Khó evaluate tự động: Cần thiết kế hàm đánh giá (evaluator) phù hợp cho từng loại bài toán.
Tương Lai: Reasoning Models (o1, o3, DeepSeek-R1)
OpenAI o1 (2024) và DeepSeek-R1 (2025) tích hợp sẵn cơ chế reasoning tương tự CoT/ToT vào chính quá trình training. Các mô hình này tự động sinh “internal chain-of-thought” trước khi trả lời, không cần prompt thủ công. Xu hướng: prompt engineering chuyển từ “viết prompt tốt” sang “thiết kế hệ thống reasoning” – kết hợp nhiều model, tool use, và verification loop.
Nguồn tham khảo: Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (Wei et al., 2022) | Tree of Thoughts: Deliberate Problem Solving with Large Language Models (Yao et al., 2023) | Ordinal Theory Handbook – Runes
