Công ty khởi nghiệp Aleph Alpha từ Đức vừa chính thức phát hành Kolibri, mô hình ngôn ngữ lớn (LLM) nguồn mở theo giấy phép Apache 2.0. Đây được xem là lời giải cho bài toán chủ quyền dữ liệu và tuân thủ pháp lý theo Đạo luật AI của Liên minh Châu Âu (EU AI Act), được huấn luyện từ đầu trên hệ thống hạ tầng tại Đức và Phần Lan mà không chịu sự kiểm soát từ bên ngoài.
Về mặt kỹ thuật, Kolibri sở hữu tổng cộng 78 tỷ tham số nhưng áp dụng kiến trúc Mixture of Experts (MoE) độc đáo. Hệ thống bao gồm 50 lớp, mỗi lớp chứa 384 chuyên gia (experts) cùng 1 chuyên gia dùng chung. Nhờ bộ định tuyến thông minh chỉ chọn 6 chuyên gia cho mỗi token, mô hình chỉ kích hoạt khoảng 3,5 tỷ tham số cho mỗi thao tác đọc hoặc ghi, giúp giảm chi phí tính toán đáng kể mà vẫn giữ hiệu năng cao vượt trội so với các mô hình cùng quy mô.
Dữ liệu huấn luyện của Kolibri được tinh chỉnh kỹ lưỡng nhằm loại bỏ thiên vị chính trị, phối hợp cùng các kỹ thuật diễn đạt lại dữ liệu tiếng Anh và tiếng Đức. Việc Aleph Alpha chia sẻ trọng số mô hình trên Hugging Face mang lại cho các doanh nghiệp và cơ quan nhà nước khả năng tự triển khai trên máy chủ nội bộ. Đối với cộng đồng AI và doanh nghiệp Việt Nam, phương tiếp cận chủ quyền AI và tối ưu hóa kiến trúc MoE của Kolibri là một minh chứng quan trọng cho xu hướng phát triển các mô hình ngôn ngữ nhỏ gọn, bảo mật và tuân thủ quy định dữ liệu khắt khe.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com