SkillEvaluator: 에이전트 스킬의 안전성·중복·실제 효과를 3단계로 검사하는 NVIDIA 도구

SkillEvaluator는 NVIDIA가 공개한 에이전트 스킬 평가 도구로, 스킬 하나를 넣으면 ‘안전하고 형식에 맞는가’, ‘다른 스킬과 내용이 겹치지 않는가’, ‘실제로 에이전트 결과를 좋게 만드는가’를 세 단계로 나눠 검사해요. 스킬을 많이 만들거나 내려받아 쓰는 팀이 품질 기준을 CI에 걸어 두는 용도예요. 라이선스는 Apache-2.0이고, README 스스로 ‘실험적’ 프로젝트라고 밝혀요.

무엇을 해 주나요

  • 1단계 검증: 스킬이 안전하고 형식이 맞으며 에이전트 실행 환경과 호환되는지 봐요. SkillSpector, Gitleaks(비밀 정보 유출 검사), 선택적으로 Semgrep 같은 외부 스캐너를 쓰고, 없으면 자동으로 내려받아요. LLM 제공자를 설정하면 모델 기반 점검도 더해요.
  • 2단계 중복 검사: 임베딩과 채팅 모델로 스킬 안에서 같은 말을 반복하거나 다른 스킬과 겹치는 지침을 찾아요. --catalog를 주면 여러 스킬끼리 비교해요.
  • 3단계 실전 평가: 같은 과제를 스킬이 있을 때와 없을 때 에이전트로 각각 돌려 차이를 재요. 기본은 Docker 샌드박스(Harbor)에서 돌리고, ‘오토파일럿’은 기존 자료를 쓰거나 스킬에 근거한 사례 하나를 만들어요.
  • 평가 데이터 생성: create-eval-dataset가 evals/EVAL.md 지침, 프롬프트 파일, 남겨 둔 실행 기록에서 평가 사례를 만들어요.
  • CI 연동: skillevaluator ci init이 GitHub에 설정 PR을 열어 주고, GitLab CI 템플릿도 있어요. Claude Code나 Codex에 설치하는 SkillEvaluator 스킬도 함께 들어 있어요.

README 예제에서는 동봉된 text-analyzer 스킬의 품질 검사가 86.2/100점(B)을 받았고, 결과는 skillevaluator-quality.json으로 저장돼요. 기본 통과 기준은 70점이에요.

설치와 사용

Git과 uv가 필요하고, uv가 Python 3.13을 준비해 줘요(배지에는 3.12~3.14 표기). API 키 없이 1단계부터 시작할 수 있어요.

pip install skillevaluator        # 또는 uv tool install
skillevaluator validate ./my-skill --tiers 1

# 저장소를 받아 단계별로 실행
uv run --extra tier2 skillevaluator tier2 ./my-skill
uv run --extra tier3 skillevaluator tier3 ./my-skill
uv run --python 3.13 --extra all skillevaluator doctor --env-mode docker

모델 기반 채점(rubric-eval)은 SKILL_EVAL_LLM_PROVIDER=nv_build와 NVIDIA_API_KEY를 설정해서 돌려요. README가 이름을 밝힌 제공자는 NVIDIA Build뿐이고, 다른 제공자는 링크된 설정 문서로 넘겨요.

숫자는 어떻게 읽어야 하나요

README에 나온 숫자는 예제 스킬 하나의 86.2점뿐이에요. 이것은 도구가 어떻게 점수를 매기는지 보여 주는 예시이지 도구의 정확도를 뜻하지 않아요. arXiv 논문(2608.20614)과 성능 대시보드 링크가 있지만, 그 결과와 측정 방법은 README에 옮겨져 있지 않아 이 글에서는 확인하지 못했어요. 또 README는 평가를 마쳐도 루브릭 기준에서 떨어질 수 있고, 3단계 오토파일럿은 사례가 하나뿐이라 범위가 좁다고 스스로 밝혀요.

누구에게 쓸모 있나요

사내에 스킬이 늘어나 ‘이 스킬이 정말 도움이 되나’, ‘비밀 키가 섞이지 않았나’를 매번 사람이 보기 어려운 팀에 맞아요. 외부에서 받은 스킬을 들이기 전에 1단계만 돌려 보는 것도 가능해요.

쓰기 전에 알아 둘 점

  • 데이터 전송: NVIDIA Build로 rubric-eval을 돌리면 스킬 문서가 모델로 전송돼요. 따로 텔레메트리 항목은 없어요.
  • 비용: 모델 호출과 관리형 샌드박스 사용에는 요금이 붙을 수 있어요. NVIDIA Build는 시험용으로 무료지만 이용 약관과 호출 한도가 있어요.
  • 외부 소프트웨어: 설치 과정에서 서드파티 오픈소스를 내려받으니 각 라이선스를 확인하라고 해요. 스캐너를 못 돌리면 결과가 INCOMPLETE가 되고 0이 아닌 종료 코드를 내요. --no-llm을 줘도 스캐너는 여전히 필요해요.
  • 실험 단계: 커뮤니티 지원이고 SLA가 없어요. 11월 4일 v0.7.2, 6일 v0.8.0, 13일 v0.9.0으로 빠르게 바뀌고 있고, v0.8.0에서는 기본 검증 정책 이름이 바뀌는 등 결과가 달라지는 변경이 있었어요.
  • 자동 생성된 평가 사례에는 사람이 쓴 부정 사례가 빠지니 검토하라고 해요.

저장소 상태

  • 별 2.1k, 포크 285 (GitHub 표시값)
  • 열린 이슈 10개, 풀 리퀘스트 18개
  • 언어: Python (트렌딩 페이지의 주 언어 표시)
  • 라이선스: Apache-2.0
  • 마지막 커밋: 2026년 11월 16일 (Claude Code 스킬 설명의 1,536자 잘림 계산 수정, 같은 이름 스킬 중복 경고 등 8건 이상)
  • 최신 릴리스: v0.9.0 (11월 13일)
  • 최상위 폴더: src/skillevaluator, skills/skillevaluator, tests, examples, ci, config, docs. Dockerfile과 SECURITY.md도 있어요.

확인 범위

  • GitHub 웹 페이지로 확인(API 미사용). 확인한 날짜: 2026년 11월 16일.
  • 읽은 페이지: 저장소 첫 화면과 README, 릴리스 페이지, 커밋 페이지, 이슈 페이지
  • 읽지 못했거나 하지 않은 것: arXiv 논문과 성능 대시보드, 코드 분석, 설치·실행

출처: NVIDIA/SkillEvaluator, 릴리스, 커밋 기록

Similar Posts