Ollama: Chạy LLM Local Trên Máy Cá Nhân Với Giao Diện Đơn Giản
Ollama là công cụ mã nguồn mở giúp tải, chạy và quản lý các mô hình ngôn ngữ lớn (LLM) như Llama 3, Phi-3, Mistral trực tiếp trên máy local mà không cần đăng ký API trả phí. Được viết bằng Go, Ollama cung cấp CLI và server HTTP REST để tích hợp với ứng dụng Python, JavaScript hoặc bất kỳ ngôn ngữ nào có thể gọi HTTP. Bài viết này hướng dẫn cách cài đặt, chạy mô hình và tích hợp Ollama vào quy trình phát triển AI.
Tại sao chọn Ollama thay vì Hugging Face Transformers local?
Hugging Face Transformers yêu cầu cài đặt Python packages nặng (torch, transformers, accelerate) và thường tốn thời gian để load model từ cache. Ollama đóng gói toàn bộ model thành file binary duy nhất, sử dụng một engine inference tối ưu dựa trên llama.cpp hoặc tương đương. Kết quả: thời gian khởi tạo model chỉ từ vài giây (thay vì hàng chục giây) và bộ nhớ RAM tiêu thụ thấp hơn do lượng tử hóa GGUF sẵn có.
Cách cài đặt Ollama trên Linux/macOS/Windows
- Tải script cài đặt từ ollama.com/download hoặc chạy trực tiếp:
curl -fsSL https://ollama.com/install.sh | sh - Khởi động service (tự động chạy background trên Linux/macOS).
- Kiểm tra phiên bản:
ollama --version
Các model phổ biến có sẵn trong thư viện Ollama
- Llama 3 8B: mô hình chung từ Meta, tốt cho reasoning và code generation.
- Phi-3 Mini 3.8B: mô hình nhẹ từ Microsoft, phù hợp chạy trên laptop có 8GB RAM.
- Mistral 7B Instruct: mô hình mạnh từ Mistral AI, hỗ trợ nhịnh prompt và tool use.
- Codellama 7B: biến thể Llama 2 tập trung vào code, hỗ trợ nhiều ngôn ngữ lập trình.
Tích hợp Ollama vào ứng dụng Python
Ollama cung cấp endpoint HTTP mặc định tại http://localhost:11434. Để sinh text từ model Llama 3:
import requests
import json
payload = {
"model": "llama3",
"prompt": "Giải thích ngắn gọn tại sao trời xanh?",
"stream": False
}
response = requests.post("http://localhost:11434/api/generate", json=payload)
print(response.json()["response"])
Thư viện ollama trên PyPI cũng cung cấp wrapper tiện lợi để làm việc async.
Ưu điểm và hạn chế khi dùng Ollama local
| Khía cạnh | Ưu điểm | Hạn chế |
|---|---|---|
| Chi phí | Không có phí API trả phí | Cần có GPU/CPU đủ mạnh để load model lớn |
| Bảo mật | Dữ liệu không rời khỏi máy local | Model còn dưới 10GB RAM có thể chậm trên CPU-only |
| Tùy biến | Có thể chỉnh sửa Modelfile để thay đổi parameters | Không hỗ trợ fine-tuning trực tiếp, cần dùng llama.cpp hoặc Axolotl |
Kết luận
Ollama làm giảm giới hạn truy cập vào LLM mạnh mẽ cho developer, researcher và sinh viên. Với chỉ một lệnh, bạn có thể chạy model comparable với GPT-3.5 trên laptop cá nhân. Để khai thác tối đa, tham khảo Modelfile guide và cộng đồng Discord Ollama.
