NVIDIA SkillEvaluator: Khung đánh giá đa cấp cho AI Agent Skill và Plugin

GitHub Trending · 1 phút đọc
nvidia skillevaluator khung danh gia da cap cho ai agent skill va plugin
Số liệu mới nhất Tự động cập nhật · 16/11/2026 · NVIDIA/SkillEvaluator
GitHub
Sao GitHub 1.980 Cập nhật định kỳ
Fork 273 Lượt sao chép dự án
Issue đang mở 34 Lỗi & đề xuất chưa xử lý
Commit gần nhất Hôm nay Đang phát triển tích cực
Tăng trưởng sao
16/11/2026: 1.980 sao17/11/2026: 2.719 sao
16/11/2026 · 1.980 ★17/11/2026 · 2.719 ★

Danh Bạ AI bắt đầu theo dõi repo này từ 16/11/2026; biểu đồ sẽ chi tiết dần theo thời gian.

NVIDIA công bố SkillEvaluator — framework đánh giá đa cấp (multi-tier) cho AI agent skills và plugins, là một phần của pipeline NVIDIA Verified Skills. Công cụ kiểm tra bắt đầu từ quality gates (tier 1), semantic overlap detection (tier 2), synthetic dataset generation và live agent evaluation đo lường tác động skill lên hành vi agent (tier 3).

Tier 1 chạy static quality checks, scanner bảo mật (SkillSpector, Gitleaks, Semgrep optional), harness compatibility test với 6 runtime: Codex, Claude Code, OpenCode, Hermes, OpenClaw, Copilot CLI. Ví dụ output cho thấy Codex degraded (description cắt 1.021 chars), Claude Code và Copilot CLI not loaded do vượt limit mô tả. Tier 2 dùng embeddings so sánh cross-skill. Tier 3 dùng Harbor sandbox chạy agent thực tế với skill-grounded test cases.

Cài đặt: pip install skillevaluator hoặc uv tool install skillevaluator. Chạy keyless: skillevaluator validate ./my-skill –tiers 1. NVIDIA Developer Program members dùng endpoint miễn phí cho LLM evaluation (export SKILL_EVAL_LLM_PROVIDER=nv_build). Dự án đạt 2.719 sao, tăng mạnh 873 sao hôm nay, viết bằng Python, hỗ trợ Python 3.13 qua uv.

Bài gốc · github.comĐọc bài gốc tại GitHub Trending

Bài được AI biên dịch và tóm tắt từ nguồn trên. Xem bài gốc để có đầy đủ thông tin.