Hệ thống AI đưa vào production khác biệt hoàn toàn so với thử nghiệm trong lab. Trong lab, bạn đo lường accuracy, loss, perplexity trên tập test cố định. Trong production, dữ liệu thay đổi liên tục, người dùng nhập bất kỳ nội dung gì, và một câu trả lời lỗi có thể gây thiệt hại lớn. Bài này giới thiệu stack giám sát AI production từ metric đến trace.
AI observability là gì?
AI observability là khả năng hiểu hệ thống AI đang làm gì từ bên trong bằng log, metric và trace. Không chỉ biết mô hình trả lời đúng hay sai, bạn cần biết token nào bị truncation, prompt nào bị jailbreak, embedding nào rơi vào vùng ngoại lai, và latency của từng node trong pipeline. Thông tin này giúp phát hiện drift, bảo vệ model, và tối ưu chi phí inference.
Trước năm 2023, ngành chủ yếu dùng log thô và dashboard đơn giản. Từ 2024, các công cụ chuyên biệt như LangSmith, Arize, Weights & Biases, và Prometheus + OpenTelemetry bắt đầu được adopt rộng. Theo Gartner 2024, 60% doanh nghiệp triển khai AI sẽ cần công cụ observability chuyên biệt vào 2026.
Ba trụ cột của AI observability
1. Metrics — các con số định lượng theo thời gian. Thông thường bạn cần theo dõi:
- Latency: thời gian từ khi gửi prompt đến khi nhận response đầy đủ. Phân nhỏ thành: queue time, inference time, first token time (TTFT), tokens per second (TPS).
- Token usage: input/output token trung bình, peak, cost theo request. Phát hiện prompt injection dài bất thường.
- Error rate: rate của 4xx, 5xx, timeout, guardrail block. Phân nhỏ theo model, endpoint, user segment.
- Drift: khoảng cách giữa embedding hiện tại và embedding baseline. Có thể dùng cosine drift hoặc population stability index (PSI).
2. Traces — ghi lại toàn bộ journey của một request. Một trace có thể bao gồm: retriever → reranker → LLM call → tool use → final answer. Mỗi span có input, output, latency, model parameters, và metadata. OpenTelemetry là chuẩn mở phổ biến nhất để thu thập trace.
3. Evaluations — đánh giá chất lượng output. Có hai loại:
- LLM-as-judge: dùng một LLM khác chấm điểm relevance, faithfulness, toxicity. Chi phí thấp nhưng có bias.
- Human-in-the-loop: annotator đánh giá subset. Dùng làm ground truth cho automated metric.
Stack công nghệ thực tế
Không cần mua SaaS đắt đỏ. Bạn có thể tự build stack với các thành phần mã nguồn mở:
- Prometheus + Grafana thu thập metric từ FastAPI/Express middleware. Mỗi request push counter, histogram, gauge.
- OpenTelemetry Collector nhận trace từ ứng dụng, export sang Jaeger hoặc Tempo.
- LangSmith / Arize Phoenix chuyên cho LLM: trace chain-of-thought, highlight hallucination, đo similarity.
- pgvector / Pinecone lưu embedding baseline để tính drift.
Ví dụ cấu hình Prometheus middleware cho FastAPI:
from prometheus_client import Counter, Histogram
import time
REQUEST_LATENCY = Histogram('ai_request_latency_seconds', 'TTFT và total latency')
REQUEST_COUNT = Counter('ai_requests_total', 'Total requests', ['endpoint','status'])
@app.middleware("http")
async def metrics_middleware(request, call_next):
start = time.time()
response = await call_next(request)
latency = time.time() - start
REQUEST_LATENCY.observe(latency)
REQUEST_COUNT.labels(endpoint=request.url.path, status=response.status_code).inc()
return response
Thêm một layer xử lý log sau khi LLM trả về: lưu prompt_hash, output length, token cost, finish_reason. Dữ liệu này là nguyên liệu cho alert rule.
Phát hiện drift và data quality
Data drift là nguyên nhân số một khi mô hình hoạt động kém trong production. Có ba dạng drift cần theo dõi:
- Feature drift: phân phối input thay đổi. Ví dụ: mô hình chatbot được train trên câu hỏi ngắn, production nhận câu hỏi dài có nhiều đoạn code.
- Concept drift: mối quan hệ giữa input và output thay đổi. Ví dụ: sau một cập nhật lớn, sự kiện thế giới thay đổi cách người dùng diễn đạt nhu cầu.
- Label drift: phân phối output thay đổi không mong muốn. Ví dụ: mô hình sentiment phân loại 80% review là negative trong khi thực tế chỉ 40%.
Cách tính drift đơn giản: lưu embedding baseline từ 1.000 sample train, mỗi ngày lấy 200 sample production, tính cosine similarity trung bình. Nếu similarity giảm dưới ngưỡng 0.85, trigger alert.
Alerting và runbook
Đừng alert mọi thứ. Tập trung vào:
- Latency p99 vượt ngưỡng 2x baseline trong 5 phút.
- Error rate vượt 5% trong 10 phút.
- Drift score vượt ngưỡng 0.15 trong 1 giờ.
- Token usage trung bình tăng đột biến (dấu hiệu prompt injection hoặc user abuse).
Mỗi alert cần runbook: ai phụ trách, cách rollback model, cách bật rate limit tạm thời. Không có runbook, alert trở thành noise.
Tổng kết
AI observability không chỉ là dashboard đẹp. Nó là cơ chế phát hiện sự cố trước khi người dùng phàn nàn. Bắt đầu từ metric latency, error rate, drift — ba chỉ số quan trọng nhất. Thêm trace khi pipeline phức tạp. Thêm LLM-as-judge khi cần đánh giá chất lượng. Đừng chạy AI production mà không có observability.
Tài liệu tham khảo:
