Cộng đồng công nghệ vừa xuất hiện một công cụ độc đáo cho phép biên dịch font chữ sao cho mỗi token của các mô hình LLM đều hiển thị với chiều rộng cố định. Dự án giúp lập trình viên và người dùng trực quan hóa cách các LLM chia tách văn bản thành token ngay trên giao diện web hoặc các ứng dụng nhắn tin như Slack và Discord.
Công cụ này tạo ra một tệp font TTF duy nhất tích hợp sẵn quy tắc định dạng tokenizer mà không cần chạy script phân tích token bên ngoài. Mỗi token khi xuất ra sẽ chiếm chính xác một khoảng không gian cố định (như 3 em). Hệ thống hỗ trợ đa dạng tokenizer từ các mô hình hàng đầu hiện nay như DeepSeek, OpenAI, Kimi, Qwen, GLM, Llama 3 cho đến Gemma và Gemini, đồng thời tích hợp font dự phòng Noto Emoji và Mutant Standard.
Người dùng có thể kết hợp font này với các script quản lý trên trình duyệt để thay đổi giao diện hiển thị tin nhắn Slack hoặc Discord. Tuy nhiên, tác giả cũng lưu ý rằng các yếu tố như cách trình duyệt xử lý line break, định dạng văn bản phức tạp hay kerning có thể làm thay đổi ranh giới hiển thị so với thực tế, do đó font chữ này đóng vai trò hỗ trợ trực quan hóa hơn là một bộ đếm token tuyệt đối.
Đây là một công cụ trực quan hữu ích dành cho các kỹ sư AI và người làm prompt engineering tại Việt Nam. Việc quan sát trực tiếp cách LLM cắt token trên giao diện giúp tối ưu hóa chi phí token và hiểu rõ hơn về cơ chế xử lý ngôn ngữ của các model hiện đại.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com