앤트로픽이 정리한 안전성 평가 설계법: 측정 대상, LLM 채점기 검증, 통계 보고

앤트로픽이 11월 13일 엔지니어링 블로그에 안전성 평가(safety eval)를 설계하는 방법을 정리해 공개했어요. 핵심은 “무엇을 잴지 먼저 적고, LLM 채점기를 사람 판단과 맞춰 본 뒤, 불확실성까지 함께 보고하라”는 세 가지예요.

왜 이 글이 나왔나요

안전성 평가는 모델을 출시할지, 어떤 안전장치를 붙일지를 정하는 근거가 돼요. 그런데 글은 지금의 AI 평가가 심리학의 재현성 위기와 비슷한 문제를 안고 있다고 봐요. 객관식이냐 주관식이냐, 보기 순서가 어떠냐에 따라 점수가 흔들리고, 설정이 제대로 기록되지 않는 경우가 많다는 거예요. 그래서 사전 등록, 측정 타당도, 통계 같은 심리학의 개혁 방법을 빌려 와요. 능력 평가가 “할 수 있나”를 묻는다면, 안전성 평가는 “이 입력에서 옳게 행동했나”를 묻는다고 구분해요.

설계 단계에서 볼 것

  • 재려는 것을 정확히 정해요. 거절률은 흔히 쓰지만 틀린 지표일 때가 많아요. 자해나 자살 주제에서 대화를 아예 피하는 것은 그 자체로 실패예요. 앤트로픽은 대화 전체가 적절했는지를 분야별 기준으로 판정하는 ‘적절 응답률’을 쓰고, 한 턴이라도 잘못되면 대화 전체를 실패로 쳐요.
  • 양쪽을 같이 재요. 해로운 요청에 응한 비율과, 무해한 요청을 과하게 거절한 비율을 함께 봐요. 예를 들어 SQL 인젝션 공격 코드 요청과 입력 검증 방법 질문을 짝지어 넣는 식이에요.
  • 여러 턴으로 시뮬레이션해요. 한 턴짜리 문항은 금방 포화돼요. 전문가가 사용자 목표·전술·말투를 담은 명세를 쓰고, 별도 Claude가 사용자 역할을 맡아 대화를 이어 가요. 조건들은 서로 독립적으로 섞어서 어떤 요인이 결과를 바꿨는지 구분할 수 있게 해요.
  • 실행 환경은 격리해요. 사이버 보안 평가에서는 모델이 테스트 경계를 더듬어 볼 수 있어서, 인터넷이 없는 샌드박스와 실시간 모니터링을 권해요.

LLM 채점기를 믿기 전에

평가 대부분은 LLM이 채점하는데, 채점기는 조용히 틀리거나 모델이 바뀌면 기준이 달라질 수 있어요. 글이 권하는 방법은 이래요.

  • 정답이 분명하면 코드로 판정해요. 다만 “Yes”만 찾다가 “Yes, 보통은 돕지만 이건 안 돼요”를 승인으로 읽는 실수를 조심해요.
  • 점수 하나 대신 예/아니요 질문 여러 개로 쪼개고, 경고 문구를 붙였다고 해로운 내용이 무해해지지 않는다는 점도 기준에 적어 둬요.
  • 다른 모델을 채점기로 쓰는 것도 고려하고, 길이 편향과 보기 순서 편향을 확인해요.
  • 사람이 채점기 결과를 모른 채 같은 대화를 판정하게 한 뒤 Cohen’s kappa 같은 일치도를 계산해요. 채점기가 전문가끼리만큼은 일치해야 해요.

숫자로 보는 주의점

글에 나온 사례가 꽤 구체적이에요. 한 턴짜리 무해 응답률은 최근 모델들에서 94~98%로 이미 포화돼 회귀 확인용에 가깝다고 해요. 앤트로픽은 복잡한 여러 턴 평가는 최소 100문항, 단순한 한 턴 평가는 최소 1,000문항을 기준으로 두고, API 기준 신뢰구간이 ±10%포인트를 넘을 때도 있다고 밝혔어요. 로맨스 스캠 평가에서 Opus 5는 98%, Opus 5.5는 94%였지만 통계적으로 유의하지 않아 우열을 말할 수 없었다는 예도 들어요. 또 Claude Fable 5.1은 시스템 프롬프트가 없는 API와 claude.ai 사이에 적절 응답률 차이가 최대 34%포인트였다고 해서, 설정을 같이 기록하지 않은 점수 비교는 의미가 없다고 강조해요.

평가로 찾은 결함은 어떻게 다루나요

글은 실제 사례도 공개해요. Claude Fable 5.1 출시 전에 자해 관련 평가 대화를 사람이 읽어 보니, Claude가 자해를 말리면서도 그것이 대처 수단으로 효과가 있다는 식으로 은근히 인정하는 경우가 있었대요. 앤트로픽은 claude.ai 시스템 프롬프트에 이를 막는 지시를 넣었고, 그 뒤 적절 응답률은 시스템 프롬프트가 없는 API에서 60%, claude.ai에서 94%였다고 해요. 그래서 평가를 출시 직전에만 하지 말고 학습 중간 스냅숏마다 돌려야 보상 신호나 프롬프트를 미리 고칠 수 있다고 권해요. 이미 배포된 시스템에서 심각한 결함을 찾았다면 개발사에 먼저 알리고 고칠 시간을 준 뒤 공개하라는 책임 있는 공개 원칙도 덧붙여요.

내 평가에 적용하려면

꼭 안전성 평가가 아니어도, 사내에서 LLM 기능을 평가할 때 그대로 쓸 수 있는 원칙이에요. 결과를 보기 전에 주요 지표, 비교 대상, 개선 기준을 적어 두고(사전 등록), 같은 문항을 두 모델에 돌려 문항별 차이로 신뢰구간을 내는 짝 비교를 쓰면 돼요. 도구로는 영국 AI 안전연구소의 오픈소스 Inspect와, 그 위에 만든 앤트로픽의 Petri를 소개해요.

출처: Anthropic Engineering: Building strong safety evaluations, Anthropic Engineering 블로그 목록

Similar Posts