카카오 카나나2, 구글 젬마·알리바바 큐웬 제쳤다…AI 안전성 '1위'

카카오 제공

카카오가 자체 개발한 경량 언어모델(SLM) 'Kanana-2(카나나2)' 시리즈의 안전성 평가 결과를 공개했다. 유사한 파라미터 규모의 구글 'Gemma(젬마)', 알리바바 'Qwen(큐웬)'과 비교한 결과 두 모델 모두 가장 높은 종합 점수를 기록했다.

카카오는 자체 구축한 'AI 안전성 평가 플랫폼'을 활용해 지난달 28일 허깅페이스에 오픈소스로 공개한 'Kanana-2-1.3B-Instruct'와 'Kanana-2-3B-Instruct'를 대상으로 유해성과 편향성 등을 평가했다고 18일 밝혔다.

평가에는 과학기술정보통신부 사업의 일환으로 한국정보통신기술협회(TTA), KAIST, 카카오 등이 지난해 11월 공동 구축한 한국어 특화 안전성 벤치마크 'AssurAI'가 활용됐다.

AssurAI는 한국의 사회·문화적 맥락을 반영해 설계된 안전성 평가 체계다. 텍스트뿐 아니라 이미지와 오디오 등 멀티모달 환경을 비롯해 일반적인 AI 서비스 이용 상황과 악의적인 프롬프트 시나리오 등 다양한 조건에서 위험 요소를 측정한다.

총 35개 리스크 카테고리에 9560건의 평가 항목을 포함하고 있으며, 카카오는 이를 사회적 리스크, 성적 콘텐츠·아동보호, 범죄·불법 행위, 폭력, 권리 침해 등 5개 영역으로 재분류해 평가했다.

평가에는 사전에 정해진 채점 기준에 따라 AI 모델이 응답을 평가하는 'LLM-as-a-Judge' 방식이 적용됐다.

비교 대상에는 유사한 파라미터 규모의 글로벌 모델인 구글의 젬마와 알리바바의 큐웬이 포함됐다.

평가 결과 'Kanana-2-1.3B-Instruct'는 종합 점수 0.70을 기록해 젬마(0.68)와 큐웬(0.58)을 앞섰다.

'Kanana-2-3B-Instruct' 역시 종합 점수 0.70으로 젬마(0.66), 큐웬(0.62)보다 높은 점수를 기록했다.

세부 평가에서는 카나나 1.3B 모델이 범죄·불법 행위 영역에서 상대적으로 높은 점수를 받았으며, 3B 모델은 성적 콘텐츠·아동보호와 권리 침해 영역에서 비교 모델보다 높은 평가를 받았다.

카카오는 이번 평가를 시작으로 앞으로 공개하는 자체 개발 AI 모델에 사전 안전성 평가를 확대 적용할 계획이다. 텍스트 기반 언어모델뿐 아니라 멀티모달 모델과 에이전틱(Agentic) AI까지 평가 범위를 단계적으로 넓힌다는 방침이다.

김경훈 카카오 AI Safety 리더는 "이번 평가는 자체 검증 체계를 통해 오픈소스 모델의 안전성을 사전에 점검하고 그 결과를 공개하고자 한 사례"라며 "앞으로도 책임 있는 AI 개발 원칙 아래 안전성 검증을 모델 출시 프로세스의 핵심 단계로 정착시켜 나갈 것"이라고 말했다.

한편 카카오의 자체 개발 AI 모델 카나나는 지난해 12월 과학기술정보통신부가 AI안전연구소, TTA와 협력해 실시한 국내 첫 AI 안전성 평가에서도 비슷한 규모의 해외 AI 모델인 'Llama(라마)', 'Mistral(미스트랄)'보다 높은 점수를 받은 바 있다.