Một dự án mã nguồn mở vừa gây chú ý trong cộng đồng công nghệ khi giới thiệu PSSA — mô hình ngôn ngữ nhỏ được lập trình hoàn toàn từ đầu bằng ngôn ngữ Rust, không sử dụng kiến trúc Transformer và không phụ thuộc vào bất kỳ khung làm việc machine learning nào như PyTorch hay TensorFlow. Mô hình ghi nhận tốc độ sinh văn bản trên CPU nhanh gấp khoảng 12 lần so với Transformer truyền thống khi so sánh trên cùng quy mô tham số.
Thay vì tính toán cơ chế chú ý (attention) trên từng cặp token dẫn đến chi phí tăng theo bình phương độ dài ngữ cảnh O(N²), PSSA áp dụng lớp trạng thái hồi quy (recurrent state-space layer) kết hợp ngân hàng bộ nhớ dịch ký (memory bank). Cơ chế này giúp mô hình xử lý văn bản theo một chiều duy nhất với chi phí tính toán chỉ tăng theo mức độ tuyến tính O(N), đồng thời tự cập nhật một phần trọng số ngay trong quá trình vận hành.
Thử nghiệm so sánh trực tiếp trên tập dữ liệu 12,7 triệu token từ WikiText-103 cho thấy PSSA đạt chỉ số entropy chéo là 3,98 (tương ứng độ phức tạp perplexity 53,7), vượt trội so với mức 4,43 (perplexity 83,7) của Transformer tiêu chuẩn. Đáng chú ý, PSSA đạt được mức tổn thất (loss) trên tập dữ liệu kiểm tra độc lập mà Transformer phải mất toàn bộ 12,7 triệu token mới đạt tới chỉ sau khoảng 2 triệu token huấn luyện. Tác giả dự án hiện đang kêu gọi tài trợ tài nguyên tính toán GPU để tiếp tục đánh giá khả năng mở rộng quy mô của kiến trúc tiềm năng này.
Sự xuất hiện của PSSA mở ra những hướng đi mới hấp dẫn cho cộng đồng nghiên cứu AI và các lập trình viên Rust, chứng minh rằng những kiến trúc thay thế Transformer hoàn toàn có thể mang lại hiệu năng ấn tượng và khả năng tối ưu hóa phần cứng vượt trội.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com