Chạy các mô hình cục bộ trên máy Mac trở nên nhanh hơn với sự hỗ trợ MLX của Ollama
Ollama, một hệ thống thời gian chạy để vận hành các mô hình ngôn ngữ lớn trên máy tính cục bộ, đã giới thiệu hỗ trợ cho khung MLX nguồn mở của Apple cho máy học.
Ngoài ra, Ollama cho biết họ đã cải thiện hiệu suất bộ nhớ đệm và hiện hỗ trợ định dạng NVFP4 của Nvidia để nén mô hình, giúp sử dụng bộ nhớ hiệu quả hơn nhiều trong một số mô hình nhất định.
Kết hợp lại, những phát triển này hứa hẹn cải thiện đáng kể hiệu suất trên máy Mac có chip Apple Silicon (M1 trở lên)—và thời điểm không thể tốt hơn, vì các mẫu máy địa phương đang bắt đầu phát triển theo những cách mà trước đây chúng chưa từng có trước các cộng đồng nhà nghiên cứu và người có sở thích bên ngoài.
Thành công vang dội gần đây của OpenClaw — đã đạt được hơn 300.000 sao trên GitHub, gây chú ý với các thử nghiệm như Moltbook và đặc biệt trở thành nỗi ám ảnh ở Trung Quốc — đã khiến nhiều người thử nghiệm các mô hình chạy trên máy của họ.
Đọc toàn bộ bài viết Bình luận
