Đội ngũ Hạ tầng AI tại Viện Trí tuệ Nhân tạo Allen (Ai2) vừa công bố giải pháp mới trong việc quản lý và lập lịch cho các cụm GPU phục vụ đào tạo các mô hình AI lớn. Nhu cầu tính toán tại Ai2 hiện vượt quá khả năng cung ứng từ 2 đến 3 lần, dẫn đến sự cạnh tranh gay gắt giữa 150 nhà nghiên cứu nội bộ trên hàng nghìn chip xử lý NVIDIA H100, B200 và B300.
Trước đây, Ai2 áp dụng cơ chế lập lịch dựa trên độ ưu tiên, nhưng phương pháp này gặp nhiều bất cập như hiện tượng “xí chỗ” GPU bằng các tác vụ trống và tình trạng lạm phát mức ưu tiên cao. Để giải quyết, Ai2 đã chuyển sang mô hình mới dựa trên bốn tầng chỉ số: tính sẵn sàng, tỷ lệ lấp đầy, mức độ tác động và hiệu suất sử dụng. Hệ thống mới kết hợp ngân sách thời gian GPU, phân bổ công bằng theo thứ bậc và cơ chế chia sẻ thời gian linh hoạt.
Nhờ cải tiến này, quy trình cấp phát GPU tại Ai2 đã chuyển từ các tranh chấp vận hành nhỏ lẻ sang một quy trình quản lý minh bạch, đảm bảo các dự án quan trọng về LLM, VLM và học máy củng cố (RL) luôn nhận được tài nguyên cần thiết. Đây là bài học hạ tầng đắt giá cho các doanh nghiệp và viện nghiên cứu tại Việt Nam đang triển khai cụm tính toán AI riêng.
Nguồn: Hugging Face — Biên dịch & tổng hợp: danhbaai.com