Nhà phát triển mới đây đã ra mắt KillSwitch, một ngôn ngữ lập trình esoteric được thiết kế đặc biệt để gây khó khăn cho các mô hình ngôn ngữ lớn (LLM) và các agent mã nguồn. Mục tiêu là kiểm tra xem LLM có thực sự “hiểu” ngôn ngữ hay chỉ đơn thuần là nhớ lại các đoạn mã đã học.
KillSwitch là ngôn ngữ dựa trên ngăn xếp (stack-based) với một bộ cấu trúc hạn chế: hàm, biến và câu lệnh if. Đặc điểm nổi bật là phần lớn văn bản trong script sẽ bị bộ thông dịch bỏ qua, buộc LLM phải xác định chính xác các phần quan trọng. Ngoài ra, ngôn ngữ còn khai thác những điểm yếu của LLM như khó đếm ký tự, phản ứng quá mức với các guardrail an toàn và xu hướng tuân theo prompt một cách máy móc.
Để đánh giá hiệu quả, tác giả đã xây dựng một bộ benchmark và công bố leaderboard trên bench.killswitch-lang.org. Kết quả cho thấy Claude Opus 5 đạt điểm cao nhất (66.8), trong khi các mô hình như Fable 5.1 và Gemini 4 Argon gặp khó khăn do các guardrail quá nhạy cảm. Mô hình mở nguồn tốt nhất là MiMo‑V2.6‑Pro.
KillSwitch và bộ thông dịch của nó được phát hành dưới giấy phép mã nguồn mở trên GitHub, khuyến khích cộng đồng nghiên cứu tiếp tục khám phá giới hạn thực sự của LLM. Đối với cộng đồng AI Việt Nam, dự án này cung cấp một công cụ hữu ích để thử nghiệm và đánh giá khả năng của các mô hình ngôn ngữ trong môi trường lập trình mới, đồng thời thúc đẩy phát triển các phương pháp đánh giá sâu hơn.
Nguồn: Hacker News — Biên dịch & tổng hợp: danhbaai.com