Mô hình ngôn ngữ lớn Mercury 2.5 được công bố với tốc độ xử lý 770 token mỗi giây, một chỉ số đáng chú ý cho các ứng dụng xử lý ngôn ngữ tương tác. Tốc độ cao này giúp giảm thiểu thời gian đợi khi sử dụng các dịch vụ dựa trên AI trên thiết bị di động hoặc các môi trường có tài nguyên hạn chế.
Mercury 2.5 được thiết kế đặc biệt cho các trường hợp sử dụng yêu cầu phản hồi nhanh chóng, như hỗ trợ trò chuyện trên điện thoại hoặc các ứng dụng thời gian thực. Mô hình này sử dụng các kỹ thuật tối ưu hóa bộ nhớ và giảm thiểu số lần gọi GPU, giúp duy trì hiệu suất ổn định ngay cả khi chạy trên thiết bị có cấu hình modest.
Trong các bài kiểm tra nội bộ, Mercury 2.5 cho thấy khả năng xử lý tốt với các tác vụ như trích xuất thông tin, trả lời câu hỏi ngắn gọn và thậm chí một số tác vụ lập trình cơ bản. Các nhà phát triển đã được cung cấp các API để dễ dàng tích hợp vào ứng dụng của họ mà không cần phải lo ngại về việc tiêu tốn quá nhiều tài nguyên.
Với xu hướng ngày càng phát triển của AI trên thiết bị, các mô hình như Mercury 2.5 đang mở ra những khả năng mới cho người dùng Việt Nam. Họ có thể truy cập vào các dịch vụ AI nhanh chóng ngay cả khi không có kết nối internet ổn định, giúp nâng cao trải nghiệm sử dụng các ứng dụng công nghệ trong đời sống hàng ngày.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com