Edge0-145B đưa model AI 145 tỷ tham số lên máy tính cá nhân

Hacker News · 1 phút đọc
edge0 145b dua model ai 145 ty tham so len may tinh ca nhan

Nhóm phát triển Edge0 vừa công bố mã nguồn mở Edge0-145B và Edge0-120B, đi kèm framework inference hợp nhất cùng các công cụ triển khai. Edge0-145B được giới thiệu là model AI on-device mã nguồn mở đầu tiên có 145 tỷ tham số, hướng tới khả năng coding, reasoning và agent tương đương các model frontier trên cloud nhưng chạy ngay trên máy tính cá nhân.

Thách thức lớn của on-device AI là sự đánh đổi giữa năng lực model và giới hạn phần cứng. Model lớn cần nhiều memory, bandwidth và điện năng; trong khi model nhỏ hơn có thể gặp khó với tác vụ phức tạp. Đưa dữ liệu lên cloud lại kéo theo chi phí theo nhà cung cấp, yêu cầu xử lý dữ liệu và phụ thuộc kết nối mạng. Edge0 cho biết họ phát hành toàn bộ stack để developer có thể tái lập kết quả, đánh giá, fine-tune và tích hợp model vào sản phẩm riêng.

Theo các số liệu được công bố, Edge0-145B đạt hơn 80 tokens/s và mức memory đỉnh 28GB trong bài so sánh trên laptop. Trước đó, Edge0-35B được báo cáo chạy trên iPhone 18 Pro Max với tốc độ hơn 37 tokens/s, dùng khoảng 2,5GB memory; hai phép đo này áp dụng cho model và phần cứng khác nhau. Kiến trúc của Edge0-145B được thiết kế đồng thời với inference engine, tập trung giảm lượng weights phải lưu trữ và di chuyển.

Việc đưa model 145B lên laptop có thể mở rộng đáng kể phạm vi thử nghiệm AI cục bộ, nhất là với các ứng dụng cần privacy hoặc hoạt động ổn định khi mất mạng. Tuy nhiên, người dùng vẫn cần phần cứng có khoảng 28GB memory theo số liệu công bố để đánh giá trải nghiệm thực tế.

Bài gốc · edge0.aiĐọc bài gốc tại Hacker News

Bài được AI biên dịch và tóm tắt từ nguồn trên. Xem bài gốc để có đầy đủ thông tin.