NVIDIA SkillEvaluator: Khung đánh giá đa cấp cho AI Agent Skill và Plugin

Danh Bạ AI bắt đầu theo dõi repo này từ 16/11/2026; biểu đồ sẽ chi tiết dần theo thời gian.
NVIDIA công bố SkillEvaluator — framework đánh giá đa cấp (multi-tier) cho AI agent skills và plugins, là một phần của pipeline NVIDIA Verified Skills. Công cụ kiểm tra bắt đầu từ quality gates (tier 1), semantic overlap detection (tier 2), synthetic dataset generation và live agent evaluation đo lường tác động skill lên hành vi agent (tier 3).
Tier 1 chạy static quality checks, scanner bảo mật (SkillSpector, Gitleaks, Semgrep optional), harness compatibility test với 6 runtime: Codex, Claude Code, OpenCode, Hermes, OpenClaw, Copilot CLI. Ví dụ output cho thấy Codex degraded (description cắt 1.021 chars), Claude Code và Copilot CLI not loaded do vượt limit mô tả. Tier 2 dùng embeddings so sánh cross-skill. Tier 3 dùng Harbor sandbox chạy agent thực tế với skill-grounded test cases.
Cài đặt: pip install skillevaluator hoặc uv tool install skillevaluator. Chạy keyless: skillevaluator validate ./my-skill –tiers 1. NVIDIA Developer Program members dùng endpoint miễn phí cho LLM evaluation (export SKILL_EVAL_LLM_PROVIDER=nv_build). Dự án đạt 2.719 sao, tăng mạnh 873 sao hôm nay, viết bằng Python, hỗ trợ Python 3.13 qua uv.
Bài được AI biên dịch và tóm tắt từ nguồn trên. Xem bài gốc để có đầy đủ thông tin.