Reflexion là khung làm việc cho phép agent ngôn ngữ lớn (LLM agent) cải thiện hiệu suất qua phản hồi ngôn ngữ thay vì fine-tuning trọng số mô hình. Thay vì huấn luyện lại với hàng triệu mẫu, agent Reflexion tự phản biện về kết quả thử sai, lưu lại bài học dưới dạng văn bản vào bộ nhớ tập sự kiện (episodic memory), sau đó áp dụng bài học đó vào các lần thử tiếp theo. Kết quả: trên chuẩn HumanEval, Reflexion đạt 91% pass@1, vượt trội hơn GPT-4 cơ bản 80%.
Tại sao RL truyền thống không phù hợp cho LLM agent
Reinforcement learning (RL) đòi hỏi số lượng mẫu khổng lồ và chi phí tính toán lớn để cập nhật trọng số mô hình. Với LLM agent tương tác môi trường ngoài (trình biên dịch, API, game), việc thu thập đủ dữ liệu RL là không thực tế. Reflexion giải quyết bằng cách chuyển “học từ thử sai” sang kênh ngôn ngữ: agent tự nhận lỗi, diễn giải nguyên nhân bằng văn bản, lưu lại, và dùng văn bản đó làm ngữ cảnh cho lần sau.
Kiến trúc Reflexion: Ba thành phần cốt lõi
- Actor: LLM agent thực hiện tác vụ (viết code, giải toán, quyết định chuỗi hành động).
- Evaluator: Cung cấp tín hiệu phản hồi — có thể là giá trị vô hướng (điểm số, pass/fail) hoặc ngôn ngữ tự do (thông báo lỗi compiler, mô tả sai lầm).
- Self-Reflection: Module ngôn ngữ sinh ra bản phản biện (reflection) từ tín hiệu evaluator, lưu vào bộ nhớ tập sự kiện.
Bộ nhớ tập sự kiện không phải là vector embedding mà là đoạn văn bản thuần túy. Mỗi mục nhớ ghi nhận: bối cảnh tác vụ, hành động đã thực hiện, kết quả, và bài học rút ra. Khi gặp tác vụ tương tự, agent truy xuất nhớ liên quan và thêm vào prompt.
Loại tín hiệu phản hồi (feedback signal)
Reflexion linh hoạt với nhiều nguồn feedback:
- Ngoại sinh (external): Kết quả chạy code (compiler error, test fail), phản hồi API, điểm số game.
- Nội sinh (internal): Agent tự mô phỏng kết quả, tự chấm điểm, hoặc dùng LLM khác đóng vai critic.
- Vô hướng (scalar): 0/1, điểm số 1-10.
- Ngôn ngữ tự do (free-form): “Hàm này thiếu xử lý trường hợp rỗng”, “Vòng lặp vô tận ở dòng 12”.
Thí nghiệm cho thấy feedback ngôn ngữ tự do mang lại cải thiện lớn nhất vì giàu thông tin ngữ nghĩa hơn chữ số.
So sánh với Self-Refine và các phương pháp lặp
Self-Refine (arXiv:2303.17651) cũng dùng lặp tự cải thiện nhưng khác bản chất: Self-Refine yêu cầu prompt thủ công “hãy cải thiện câu trả lời trước”, trong khi Reflexion có cơ chế bộ nhớ bền vững — bài học từ tác vụ A có thể áp dụng cho tác vụ B sau nhiều bước. Reflexion gần hơn với “học tập trải nghiệm” (experiential learning) của con người.
| Đặc điểm | Reflexion | Self-Refine | RL truyền thống |
|---|---|---|---|
| Cập nhật trọng số | Không | Không | Có |
| Bộ nhớ bền vững | Có (văn bản) | Không | Có (trọng số) |
| Loại feedback | Đa dạng | Chủ yếu nội sinh | Chỉ scalar reward |
| Chi phí tính toán | Thấp (chỉ inference) | Thấp | Cao (training) |
Ứng dụng thực tế: Coding, Reasoning, Quyết định tuần tự
Reflexion đã được kiểm chứng trên ba miền:
- Lập trình (HumanEval, MBPP): Agent viết code, chạy test, nhận lỗi compiler, tự sửa. 91% pass@1 trên HumanEval so với 80% GPT-4 đơn lẻ.
- Suýt lý ngôn ngữ (HotPotQA, AlfWorld): Agent tìm kiếm thông tin, tổng hợp, tự kiểm tra mâu thuẫn, sửa sai.
- Quyết định tuần tự (ALFWorld, text games): Agent học tránh bẫy, tối ưu chuỗi hành động qua nhiều episode.
Hạn chế và hướng phát triển
Reflexion vẫn phụ thuộc vào chất lượng LLM nền (base model) để sinh phản biện chính xác. Nếu base model hiểu sai tác vụ, phản biện cũng sai. Bộ nhớ văn bản có thể phình to theo thời gian — cần cơ chế nén/tóm tắt nhớ cũ. Nghiên cứu tiếp theo (Reflexion v2, Memory-Augmented Agents) đang khám phá: nén nhớ bằng LLM, chia sẻ nhớ giữa nhiều agent, và kết hợp với retrieval-augmented generation (RAG).
Tóm lại, Reflexion mở hướng mới: agent học không bằng cách thay đổi não bộ (trọng số) mà bằng cách ghi nhớ bài học vào sổ tay (văn bản). Cách này rẻ, minh bạch, và có thể kiểm tra/sửa đổi trực tiếp bởi con người — một lợi thế lớn cho an toàn AI.
Kết luận
Reflexion chứng minh rằng LLM agent không nhất thiết phải fine-tuning mới học được. Chỉ cần một cơ chế phản hồi ngôn ngữ rõ ràng và bộ nhớ tập sự kiện có cấu trúc, agent đã có thể cải thiện đáng kể qua nhiều lần thử. Đây là nền tảng quan trọng cho các hệ thống AI agent tự vận hành (autonomous agents) trong tương lai.
Tham khảo thêm: Reflexion: Language Agents with Verbal Reinforcement Learning (arXiv:2303.11366) | Self-Refine: Iterative Refinement with Self-Feedback (arXiv:2303.17651)
