AI Alignment là gì? Vấn đề an toàn đằng sau LLM
AI alignment đang trở thành chủ đề nóng khi các mô hình ngôn ngữ lớn ngày càng mạnh. Alignment đảm bảo hệ thống AI hành xử đúng ý đồ con người, đặc biệt khi mô hình vượt qua kỳ vọng ban đầu. Trong thực tế, alignment không chỉ là vấn đề kỹ thuật mà còn liên quan đến triết học, đạo đức và chính trị.
Các mô hình như GPT-4, Claude và Gemini đều trải qua quá trình alignment thông qua RLHF (Reinforcement Learning from Human Feedback). Quá trình này dùng người đánh giá để dạy mô hình ưu tiên câu trả lời hữu ích, vô hại và trung thực. Tuy nhiên, RLHF chỉ là lớp phủ bề mặt — nó khó cải thiện lõi suy luận bên trong mô hình.
Constitutional AI: Giới hạn bằng “bộ luật”
Constitutional AI (CAI) là phương pháp do Anthropic đề xuất, cho phép mô hình tự đánh giá và sửa chữa câu trả lời dựa trên một tập hợp nguyên tắc cố định. Thay vì phụ thuộc hoàn toàn vào con người đánh giá, CAI dùng “hiến pháp” — danh sách các quy tắc đạo đức — để mô hình tự kiểm tra output.
Ví dụ, nếu mô hình được yêu cầu viết code độc hại, CAI sẽ so sánh output với hiến pháp, phát hiện vi phạm, và tự chỉnh sửa. Hai giai đoạn chính là Supervised Learning từ Critique (SL-C) và Reinforcement Learning từ AI Feedback (RLAIF). Kết quả cho thấy CAI giảm đáng kể hành vi có hại mà không cần can thiệp thủ công thường xuyên.
RLAIF: Mở rộng feedback từ AI
RLAIF (Reinforcement Learning from AI Feedback) thay thế hoặc bổ sung con người đánh giá bằng mô hình đã alignment. Quy trình: mô hình sinh nhiều candidate responses, mô hình AI khác chấm điểm dựa trên hiến pháp, sau đó mô hình chính học từ điểm số đó. Ưu điểm là tốc độ nhanh hơn, chi phí thấp hơn, và dễ mở rộng quy mô.
Thử nghiệm của Anthropic cho thấy RLAIF đạt hiệu quả tương đương RLHF trên nhiều benchmark đạo đức, đồng thời giảm toxicity và hallucination. Tuy nhiên, RLAIF cũng có rủi ro: nếu mô hình đánh giá có bias, bias đó sẽ được nhân rộng. Đây là lý do nhiều nhóm nghiên cứu vẫn kết hợp cả hai phương pháp.
Thách thức hiện tại và hướng tương lai
Alignment vẫn thiếu tiêu chuẩn đo lường thống nhất. Các benchmark như TruthfulQA, BBQ hay HELM đánh giá một khía cạnh nhưng chưa bao quát toàn diện. Một vấn đề lớn là “alignment tax” — mô hình sau khi alignment đôi khi kém hữu ích hoặc kém sáng tạo.
Hướng tiếp cận mới bao gồm scalable oversight (giám sát có thể mở rộng), AI-assisted evaluation và Debate. Trong đó, scalable oversight cho phép con người giám sát AI thông qua nhiều tầng đánh giá, trong khi Debate để hai AI tranh luận trước khi con người ra quyết định. Mục tiêu cuối là đảm bảo alignment vẫn hiệu quả khi AI trở nên siêu thông minh.
Benchmark và đo lường Alignment
Các benchmark hiện tại như TruthfulQA đo lường sự trung thực, BBQ kiểm tra bias xã hội, và HELM đánh giá toàn diện. Tuy nhiên, không benchmark nào bao quát toàn bộ vấn đề alignment. Các nhà nghiên cứu đang phát triển “alignment evals” mới tập trung vào capability overhang — khả năng ẩn của mô hình vượt quá hành vi quan sát được.
Một hướng tiềm năng là mechanistic interpretability — hiểu cách mô hình xử lý thông tin bên trong neural network. Các kỹ thuật như sparse autoencoders (SAE) giúp xác định “features” và “circuits” trong mô hình, cho phép phát hiện hành vi alignment failure trước khi triển khai.
Scalable Oversight và Constitutional AI trong thực tế
Các lab AI hàng đầu đang áp dụng scalable oversight trong quy trình phát triển. OpenAI sử dụng GPT-4 để đánh giá output của GPT-4, Anthropic dùng Constitutional AI cho Claude, và Google DeepMind kết hợp cả hai. Kết quả cho thấy mô hình được alignment bằng phương pháp này giảm đáng kể hành vi toxicity, hallucination, và sycophancy.
Tuy nhiên, thử thách lớn nhất là “alignment tax” — mô hình sau alignment đôi khi kém hữu ích cho các tác vụ sáng tạo hoặc kỹ thuật. Các nhà nghiên cứu đang tìm cách cân bằng giữa an toàn và hữu ích thông qua selective alignment — chỉ alignment mạnh cho các domain rủi ro cao (y tế, tài chính, an ninh) và linh hoạt hơn cho domain chung.
