오픈AI 꺾은 로톡 빅케이스GPT…변호사시험 정답률 56.8%

[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]

/사진제공=로앤컴퍼니

로앤컴퍼니가 제12회 대한민국 변호사시험 객관식 문제에서 53.3%의 정답률을 달성한 '빅케이스GPT'의 성과를 18일 발표했다. 로앤컴퍼니는 빅케이스GPT를 활용해 변호사 업무를 보조할 인공지능(AI) 법률 비서 서비스를 선보일 계획이다.

로앤컴퍼니의 빅케이스GPT는 AI 기반 통합 법률정보 서비스인 빅케이스와 법률 종합 포털 '로톡' 운영사인 로앤컴퍼니가 만든 자체 AI 시스템이다. 빅케이스GPT는 총 150문항으로 구성된 변호사시험 객곽신 문항에서 총 80개의 정답을 맟혔다.

오픈AI의 최신형 언어모델인 GPT-3.5와 GPT-4를 활용해 실시한 결과보다 높은 수치다. 앞서 지난 3월 로앤컴퍼니가 GPT-3.5와 GPD-4에게 변호사시험 객관식 문항을 풀도록 한 결과 각각 28.7%와 34%의 정답률을 보였다.

로앤컴퍼니는 빅케이스가 확보하고 있는 국내 최다 판례 329만건 중 정보 가치가 높은 판례들을 중심으로 데이터베이스(DB)를 구축해 법률 분야 질의에 최적화된 답변을 내놓도록 설계했다.

로앤컴퍼니는 빅케이스GPT에 판례뿐 아니라 빅케이스가 보유한 법령 14만5000건, 결정례 7000건, 유권해석 7000건 등 총 16만건의 법률정보도 추가로 학습시켰다.

특히 빅케이스GPT는 생성형 AI의 최대 한계점으로 꼽히고 있는 할루시네이션(환각, 정보 왜곡 현상)을 통제해 데이터의 신뢰성을 강화한 것이 특징이다. 로앤컴퍼니 관계자는 "반복 테스트 결과 빅케이스GPT가 가짜 판례나 법령을 제시하지 않는 수준에 도달했다"고 말했다.

로앤컴퍼니는 빅케이스GPT를 이용해 내년 상반기 '슈퍼로이어(Super Lawyer, 가칭)'라는 AI 기반 B2B(기업간거래) SaaS(서비스형소프트웨어) 서비스를 신규 출시할 계획이다. △법률 메모 생성 △법률서면 요약 △법률 질의응답 등의 기능을 제공할 계획이다.

김본환 로앤컴퍼니 대표는 "한국어와 대한민국 법률에 최적화된 언어 모델로 개발될 슈퍼로이어는 변호사를 돕는 'AI 법률 비서'와 같이 구동되며 변호사의 업무효율을 극대화하는 역할을 맡게될 것"이라며 "법률AI연구소를 중심으로 변호사님들의 성과를 높이기 위한 서비스 출시에 집중해 더 많은 변호사님들의 업무환경 개선에 도움을 드리고 싶다"고 밝혔다.

[머니투데이 스타트업 미디어 플랫폼 '유니콘팩토리']

김태현 기자 thkim124@mt.co.kr