에임인텔리전스, LLM의 기업 정책 준수 평가하는 프레임워크 개발

BMW그룹 및 국내 대학들과 협력

에임인텔리전스가 BMW그룹과 함께 개발한 AI 모델의 기업 정책 준수 여부 평가 프레임워크인 ‘컴퍼스(COMPASS)’ 설명 이미지 [출처 = 에임인텔리전스]

인공지능(AI) 보안 전문기업 에임인텔리전스가 생성형 AI 모델이 기업별 정책을 얼마나 잘 준수하는지를 측정할 수 있는 평가 프레임워크를 선보였다.

에임인텔리전스는 BMW 그룹과 손잡고 거대언어모델(LLM)의 기업 정책 준수 여부를 체계적으로 평가하는 프레임워크 ‘컴퍼스(COMPASS)’를 공동 개발했다고 10일 밝혔다. 이번 프로젝트에는 양사를 주축으로 서울대, 연세대, 포항공대(POSTECH) 연구진이 함께 참여했다.

컴퍼스는 LLM이 각 기업의 특수한 내부 지침이나 법적 제약 사항을 얼마나 정확하게 이행하는지 객관적으로 검증하는 도구다.

최근 의료, 금융, 자동차 등 산업 전반에 걸쳐 AI 도입이 확산되고 있으나, 실제 현장에서 기업별 복잡한 규정을 잘 따르는지를 평가할 수 있는 지표가 그동안 부족했다.

에임인텔리전스와 BMW그룹은 이러한 한계를 극복하기 위해 해석이 모호한 조항이나 상충하는 규칙을 사전에 식별하고 해결하는 4단계 검증 프로세스를 구축했다.

특히 자동차, 금융 등 8개 핵심 산업군에서 발생할 수 있는 시나리오를 바탕으로 6000여 개의 질의 데이터를 생성해 검증 신뢰도를 높였다.

에임인텔리전스는 기업들이 자사 정책에 맞춰 AI 시스템을 직접 평가해 볼 수 있도록 컴퍼스 프레임워크와 데이터셋을 깃허브와 허깅페이스에 무료로 공개했다.

유상윤 에임인텔리전스 대표는 “앞으로도 기업과 공공기관이 AI를 보다 안심하고 활용할 수 있는 현실적인 AI 보안 적용 방안을 선보일 것”이라고 말했다.