법률 AI ‘슈퍼로이어’, 국내 변호사시험 합격점… 정답률 74%

그래픽=조선디자인랩 권혜인

법률 플랫폼 업체 로앤컴퍼니가 개발한 인공지능(AI) 법률 비서 ‘슈퍼로이어’가 대한민국 변호사시험 선택형 시험에서 74%의 정답률을 기록하며 합격점을 넘긴 것으로 전해졌다.

12일 로앤컴퍼니에 따르면, 슈퍼로이어는 지난 1월 치러진 14회 변호사시험 선택형 객관식 문제에서 이 같은 성과를 냈다. 슈퍼로이어는 공법과 민사법, 형사법 등 150개 문항에서 111개를 맞히며, 최근 5년 변시 평균 합격 개수인 103개를 넘겼다고 한다. 변호사시험 전문 기관 예측 기준으로 올해 상위 30% 정도에 해당하는 점수다.

로앤컴퍼니는 “비영어권에서 해당 국가 언어로 AI 서비스를 활용해 변호사시험 객관식 전체 영역을 풀어 합격권에 든 것은 슈퍼로이어가 최초”라며 “세계 최고 수준의 AI 모델들을 능가하는 성능으로 슈퍼로이어의 기술적 우수성과 법률 분야 특화 역량을 입증한 결과”라고 밝혔다. 오픈AI의 챗GPT에 동일한 문제를 입력했을 때는 정답률 49.3%(74개)를 기록한 것으로 나타났다.

슈퍼로이어는 작년 7월 법률가 대상으로 출시한 생성형 AI 기반 법률 비서 서비스로, 상용 거대언어모델(LLM)을 이용해 구현됐다. 로앤컴퍼니가 보유한 495만 건의 판례 데이터 포함해 법령, 결정례, 행정심판례, 행정규칙, 유권해석 등 방대한 법률 데이터를 답변에 활용하고 있다.

안기순 법률AI연구소장(사법연수원 27기)은 “앞으로 슈퍼로이어는 답변 성능 고도화, 할루시네이션 최소화를 위한 노력을 지속하며 법률 업무 효율성 제고에 기여할 수 있는 서비스로 발전할 계획”이라며, “특히 복잡한 법률 업무를 높은 수준으로 처리할 수 있도록 워크 플로우를 고려해 추론 모델을 결합한 고도화된 에이전트 개발에 집중하겠다”고 말했다.