RadixArk phát hành DaisyRose-27B: Mô hình post-training hiệu quả mới trên nền Qwen3.8-27B

Hugging Face · 2 phút đọc
radixark phat hanh daisyrose 27b mo hinh post training hieu qua moi tren nen qwen3 8 27b

RadixArk vừa phát hành DaisyRose-27B, mô hình đầu tiên của công ty này, được xây dựng dựa trên kiến trúc Qwen3.8-27B và trải qua quá trình post-training bằng reinforcement learning sử dụng framework Miles mã nguồn mở. Quá trình huấn luyện tập trung vào các tác vụ agent long-horizon với độ dài phiên lên tới 1 triệu token, sử dụng 1.200 tác vụ được tuyển chọn kỹ lưỡng trong 18 ngày trên cụm 144 GPU H200.

Kết quả đánh giá cho thấy DaisyRose-27B cải thiện đáng kể hiệu suất so với mô hình gốc Qwen3.8-27B. Điểm pass@1 trên Terminal-Bench 4.1 tăng từ 5.6% lên 12.0%, gần như gấp đôi. Mô hình cũng đạt tiến bộ trên nhiều benchmark khác về reasoning, instruction following và coding. Kiến trúc, tokenizer, chat template, khả năng hiểu hình ảnh và cửa sổ ngữ cảnh 256K token của Qwen3.8-27B được giữ nguyên.

Ba yếu tố then chốt giúp đạt được kết quả này bao gồm: thiết kế tác vụ cẩn thận (hợp tác với Eigent AI), backend huấn luyện hiệu quả, và môi trường sandbox tin cậy. Framework Miles chạy ở chế độ fully asynchronous: 128 GPU H200 thực hiện inference cho agent tasks, trong khi 16 GPU khác chạy trainer để học từ các trajectory. Mô hình cập nhật sau mỗi step được đẩy ra 128 GPU inference. Backend nội bộ đạt 37% MFU (model FLOPs utilization), so với 16% của trainer mã nguồn mở trên Megatron, giúp giảm 57% chi phí GPU time.

RadixArk khuyến nghị phục vụ DaisyRose-27B với SGLang và DSpark speculative decoding. Mô hình suy nghĩ trước khi trả lời mặc định, nội dung reasoning được trả về trong trường reasoning_content, câu trả lời cuối trong content. Việc phát hành này minh chứng cho xu hướng post-training chuyên biệt cho agent tasks đang trở thành hướng đi quan trọng để nâng cao khả năng thực tế của LLM, mở ra cơ hội cho các nhóm nghiên cứu Việt Nam tiếp cận và áp dụng các kỹ thuật RL quy mô lớn tương tự.

Bài gốc · huggingface.coĐọc bài gốc tại Hugging Face

Bài được AI biên dịch và tóm tắt từ nguồn trên. Xem bài gốc để có đầy đủ thông tin.