LLM tự viết trọng số mạng nơ-ron: Học như nhà nghiên cứu thập niên 90

Một thử nghiệm Weight-Space Programming mới đây cho thấy các LLM tiên phong như Claude Fable 5.2 có thể đọc, viết và chỉnh sửa trực tiếp trọng số của mạng nơ-ron. Tác giả đã yêu cầu Claude thiết lập từ con số 0 tất cả 5.994 trọng số của một CNN cố định cho bài toán MNIST, chỉ được dùng NumPy, SciPy và thư viện math — không có PyTorch, không backpropagation, không tìm kiếm gradient.
Kết quả bất ngờ: ngay bước 1/50, mô hình đạt loss 1.03 và accuracy 71,47% trên tập train 10.000 ảnh. Ma trận nhầm lẫn cho thấy Claude đã học được các đặc trưng thủ công giống như các nhà nghiên cứu thập niên 90: bộ lọc phát hiện nét ngang, dọc, đường cong và template chữ số. Cách làm này khác hẳn với “LLM Descent” — nó không tối ưu hóa theo gradient mà xây dựng đặc trưng theo logic con người.
Thử nghiệm này lặp lại kết quả trước đó của GPT-6 Astra khi xây dựng mạng chơi Go từ đầu. Cả hai đều cho thấy LLM có thể đóng vai “kỹ sư trọng số” (weight engineer), thiết kế kiến trúc và tham số dựa trên hiểu biết về bài toán thay vì học từ dữ liệu. Đây là chuyển dịch từ “học cách học” sang “viết cách tính”.
Đối với cộng đồng AI Việt Nam, Weight-Space Programming mở ra hướng nghiên cứu mới: dùng LLM để khởi tạo trọng số thông minh cho các bài toán ít dữ liệu, hoặc thiết kế mô hình nhẹ cho edge device mà không cần GPU cluster. Kỹ thuật này có thể kết hợp với fine-tuning truyền thống để giảm chi phí huấn luyện đáng kể.
Bài được AI biên dịch và tóm tắt từ nguồn trên. Xem bài gốc để có đầy đủ thông tin.