Hugging Face đang đề xuất Model Integration Contract (MIC), một chuẩn mới nhằm kiểm tra model và các đường dẫn sử dụng quan trọng ngay trong quy trình phát triển Transformers. Sáng kiến xuất phát từ một lỗi được đưa vào ngày 30/7/2026, khi việc bật scaled dot-product attention (SDPA) cho T5 khiến decoder của UMT5 có thể nhìn thấy token tương lai trong lúc huấn luyện. Lỗi không làm hệ thống sập và tồn tại gần hai tháng trước khi được sửa vào ngày 28/9.
Transformers hiện hỗ trợ hơn 750 loại model, với hơn 88.000 bài kiểm thử CPU trên nhánh main và hơn 200.000 bài kiểm thử GPU trong các lượt chạy hằng ngày. Tuy nhiên, chạy toàn bộ integration test trên mỗi pull request sẽ đòi hỏi nhiều GPU hoạt động liên tục. Hugging Face vì vậy tạo các fixture: model thu nhỏ từ cấu hình checkpoint thật, vẫn giữ đầy đủ loại layer cùng tokenizer và processor, nhưng có ít layer và kích thước hẹp hơn.
Trong thử nghiệm CPU, fixture UMT5 chỉ dùng 66 MB trọng số, so với 1.227 MB của checkpoint nguồn. Fixture có thể chạy trên runner CPU giá rẻ, kể cả với những model quá lớn để đưa lên GPU tiêu chuẩn. Các bài test không chỉ kiểm tra việc tải model và forward pass, mà còn đối chiếu token sinh ra, training loss, tính hữu hạn của gradient và việc optimizer step làm thay đổi trọng số.
MIC bao phủ một kiến trúc và một usage path, cho phép nhiều checkpoint tương thích dùng chung fixture nhưng vẫn giữ baseline riêng. Dataset trên Hub sẽ ghim từng MIC vào revision cố định cùng phiên bản package, giúp tái hiện kết quả. Khi replay các commit trong năm tháng, fixture UMT5 phát hiện hồi quy với chênh lệch label log-probability 1,22 và training loss khoảng 0,20. Cách tiếp cận này có thể giúp cộng đồng AI, trong đó có người dùng Việt Nam, phát hiện lỗi tích hợp sớm hơn mà không cần hạ tầng GPU lớn.
Nguồn: Hugging Face — Biên dịch & tổng hợp: danhbaai.com