Bản đồ tương tác hé lộ hàng nghìn cuộc hội thoại bên trong LLM

Một dự án nghiên cứu trực quan hóa đang tìm cách trả lời câu hỏi: hàng nghìn cuộc hội thoại trông như thế nào bên trong một language model? Tác giả đã xây dựng atlas tương tác về các biểu diễn nội tại của Qwen3-1.7B, qua đó minh họa cách câu hỏi, câu trả lời và ngữ cảnh được biến đổi thành những quỹ đạo trong không gian vector.
Qwen3-1.7B chia văn bản thành token, có thể là từ, một phần của từ hoặc dấu câu. Mỗi token chọn một vector từ embedding table, sau đó các layer cập nhật vector này trong residual stream, không gian làm việc chung của model. Ở mỗi vị trí, vector của Qwen3-1.7B có 2.048 số. Tác giả nhấn mạnh việc gọi đây là “tâm trí” của model chỉ là một phép ẩn dụ; các vector vẫn là dữ liệu cụ thể có thể ghi lại, so sánh và phân tích.
Thí nghiệm ban đầu gồm 100 chủ đề, với các mẫu hỏi đáp bằng tiếng Anh, tiếng Trung, tiếng Đức và tiếng Croatia, cùng một tập ví dụ lập trình. Riêng phần tiếng Anh có 900 cặp hỏi đáp được xử lý bởi cùng một model đã đóng băng. Các trạng thái ở token cuối được chuẩn hóa về độ dài, rồi chiếu xuống không gian ba chiều bằng PCA để so sánh hướng của chúng.
Trong hình trực quan, các điểm màu cam biểu diễn embedding ban đầu, còn những đường màu nối các trạng thái cuối theo thứ tự token tạo thành từng cuộc hội thoại. Dự án mang lại một cách tiếp cận trực quan và có thể mở rộng để nghiên cứu cơ chế bên trong LLM, hữu ích cho cộng đồng AI Việt Nam quan tâm đến interpretability và hành vi của model.
Bài được AI biên dịch và tóm tắt từ nguồn trên. Xem bài gốc để có đầy đủ thông tin.