Open Code Review: 결정적 절차와 LLM 에이전트를 섞은 코드 리뷰 도구
Open Code Review는 Git 변경 내용을 읽고 AI가 줄 단위로 리뷰 코멘트를 달아 주는 명령줄 도구예요. 알리바바 내부에서 쓰던 AI 코드 리뷰 도우미를 오픈소스로 공개한 것이고, 핵심 아이디어는 “리뷰의 뼈대는 정해진 절차로, 판단은 LLM 에이전트에게”라는 하이브리드 구조예요.
왜 이런 구조인가요
README는 Claude Code 같은 범용 에이전트에 리뷰 스킬을 붙여 쓸 때의 문제를 세 가지로 꼽아요. 변경이 클 때 일부 파일만 보고 넘어가는 것, 지적한 줄 번호가 실제 위치와 어긋나는 것, 프롬프트가 조금만 달라져도 품질이 흔들리는 것이에요. 원인은 리뷰 과정에 “강제 규칙”이 없는 순수 언어 기반 구조라는 거예요.
그래서 틀리면 안 되는 부분은 엔지니어링 코드가 맡아요.
- 정확한 파일 선별: 리뷰할 파일과 걸러낼 파일을 프로그램이 정해서 중요한 변경이 빠지지 않게 해요.
- 파일 묶기: 관련된 파일(예: 한국어와 영어 메시지 파일)을 한 묶음으로 만들고, 묶음마다 하위 에이전트가 따로 검토해요. 문맥이 섞이지 않고, 큰 변경에서도 안정적이며, 동시에 병렬로 돌릴 수 있어요.
- 규칙 매칭: 파일 특성에 맞는 리뷰 규칙만 골라서 모델에 줘요. 내장 규칙에는 NPE, 스레드 안전성, XSS, SQL 인젝션 같은 항목이 있다고 저장소 설명에 적혀 있어요.
- 위치 지정과 반성(reflection) 모듈: 코멘트 위치와 내용을 따로 다듬는 독립 모듈이에요.
반대로 “어떤 파일을 더 읽을지”, “코드베이스를 검색할지” 같은 동적 판단은 에이전트가 해요. 에이전트는 전체 파일 내용을 읽고, 코드베이스를 검색하고, 같이 바뀐 다른 파일을 살펴보면서 diff 표면에 그치지 않는 리뷰를 만든다고 해요.
설치와 사용
Git 2.41 이상이 필요해요. 설치는 npm으로 해요.
npm install -g @alibaba-group/open-code-review
설치하면 ocr 명령을 쓸 수 있어요. 리뷰 전에 LLM 제공자를 설정해야 해요(위임 모드는 예외).
ocr config provider # 내장 제공자 선택 또는 직접 추가
ocr config model # 모델 선택
기본 사용법은 아래와 같아요.
cd your-project
ocr review # 작업 중인 변경(스테이징, 비스테이징, 추적 안 된 파일) 리뷰
ocr review --from main --to feature-branch # 브랜치 범위 리뷰
ocr review --commit abc123 # 커밋 하나 리뷰
ocr scan --path internal/agent # diff 없이 파일·폴더 통째로 리뷰
중간에 끊긴 리뷰는 ocr session list로 세션을 찾아 --resume으로 이어갈 수 있어요. 결과는 --format json --output result.json처럼 파일로 저장할 수 있고, AI 호스트 에이전트에게 맡길 때 권장된다고 해요.
위임 모드도 있어요. OCR이 파일 선별과 규칙 결정만 하고, 실제 리뷰는 지금 쓰고 있는 코딩 에이전트의 모델이 해요. 이 경우 OCR에 별도의 API 키를 넣지 않아도 돼요. 반대로 ocr review와 일반 슬래시 명령은 OCR 자체의 제공자 설정을 쓰기 때문에 Claude Code 구독 로그인이 적용되지 않아요. 이 차이는 헷갈리기 쉬워요.
Claude Code, Codex, Cursor, Kimi Code용 플러그인이 있고, OpenCode와 QCA 연동도 안내돼요. CI에는 GitHub Actions, GitLab CI, GitFlic CI, Gerrit 연동이 있다고 해요. 리뷰 결과를 브라우저에서 다시 보고 “고침/무시”로 표시하는 세션 뷰어도 있어요.
벤치마크는 어떻게 읽나요
README는 AACR-Bench라는 평가 세트로 성능을 보여 줘요. 인기 오픈소스 50개 저장소, 실제 PR 200개, 10개 프로그래밍 언어, 시니어 엔지니어 80명 이상이 교차 검증한 정답 이슈 1,505개로 구성되고, 데이터셋은 Hugging Face에 공개돼 있다고 해요.
- 같은 모델을 쓸 때 Claude Code 같은 범용 에이전트보다 정밀도(Precision)와 F1이 훨씬 높고, 토큰은 약 9분의 1만 쓰며, 리뷰도 더 빠르다고 해요.
- 재현율(Recall)은 오히려 낮아요. README도 이를 인정하고, “소음보다 정밀도를 택한 의도적 절충”이라고 설명해요. 즉 잘못된 지적은 적지만 놓치는 결함은 더 많을 수 있다는 뜻이에요.
- 이 수치는 제작사가 직접 측정한 값이에요. 데이터셋이 공개돼 있어서 이론적으로는 재현할 수 있지만, 저는 재현하지 않았어요.
“알리바바 내부에서 2년간 수만 명의 개발자가 쓰고 수백만 건의 결함을 찾았다”는 소개도 README의 설명이고, 독립적으로 확인된 수치는 아니에요.
누구에게 쓸모 있나요
- 사람 리뷰 전에 CI에서 자동 1차 리뷰를 돌리고 싶은 팀. 잘못된 지적을 줄이고 싶을 때 정밀도 우선 설계가 맞아요.
- 범용 에이전트로 리뷰하다가 파일 누락이나 줄 번호 어긋남이 불편했던 사람
- 처음 보는 코드베이스나 diff가 없는 폴더를 훑어 점검하고 싶은 사람 (
ocr scan) - LLM 호출 비용이 신경 쓰이는 팀. 같은 모델 기준으로 토큰을 적게 쓴다는 설계지만, 실제 비용은 직접 재 봐야 해요.
쓰기 전에 알아 둘 점
- 놓치는 결함이 있을 수 있어요. 재현율이 낮다는 점은 “리뷰를 통과했다”가 “결함이 없다”는 뜻이 아니라는 얘기예요. 사람 리뷰를 대체하기보다 앞단 필터로 쓰는 게 맞아요.
- 코드가 LLM 제공자로 전송돼요. 변경된 파일과 필요한 주변 코드가 설정한 모델 제공자로 보내져요. 비공개 코드라면 어느 제공자를 쓸지 정해야 해요.
- 프로젝트가 아직 젊고 빨리 변해요. 만든 지 6개월이 안 됐고, 최신 릴리스가 오늘 나왔을 만큼 업데이트가 잦아요. 열린 이슈·PR도 343건이에요. 옵션이 바뀔 수 있으니 버전을 고정해서 쓰는 걸 권해요.
- 텔레메트리(OpenTelemetry) 연동 문서가 있다고 README에 나와요. 어떤 데이터가 나가는지는 해당 문서를 읽지 않아서 확인하지 못했어요.
저장소 상태
- 별 51,684개, 포크 4,023개 (2026-11-15 기준)
- 열린 이슈·PR 343건
- 언어: Go
- 라이선스: Apache-2.0 (Copyright 2026 Alibaba)
- 만든 날: 2026-05-18
- 마지막 커밋: 2026-11-15. 최근 커밋은
--from만 줘도--to를 HEAD로 두는 기본값, 마크다운 요약 출력, 작업 공간 모드의--resume지원 같은 기능 추가와 GitHub Action 경고 표시 수정이에요. - 최신 릴리스: v1.13.10 (2026-11-15)
- 최상위 폴더: cmd, internal, plugins, skills, extensions, examples, docs 등. GOVERNANCE.md, ROADMAP.md, ASSURANCE_CASE.md 같은 운영 문서도 있어요. README에는 OpenSSF 모범 사례 배지(Gold)가 붙어 있는데, 이 배지는 직접 확인하지 않았어요.
확인 범위
2026-11-15에 GitHub의 저장소 정보, README 전체, 최근 커밋 5개, 최신 릴리스, 최상위 폴더 구조를 읽었어요. README가 링크한 공식 문서 사이트와 벤치마크 데이터셋은 열어 보지 않았고, 코드 분석과 설치·실행도 하지 않았어요.
출처
alibaba/open-code-review (README, 릴리스, 커밋 기록)