카카오 SLM '카나나-2', 글로벌 주요 AI 제쳤다 …안전성 1위
한국어 특화 벤치마크 AssurAI 적용
1.3B·3B 모델 모두 0.70점으로 선두
자체 안전성 평가 상시 적용·확대 방침
카카오가 자체 개발한 경량 언어모델(SLM) 카나나-2 시리즈가 글로벌 주요 오픈소스 모델 대비 안전성 평가에서 높은 점수를 기록했다.
카카오는 자체 구축한 'AI 안전성 평가 플랫폼'을 활용해 'Kanana-2-1.3B-Instruct'와 'Kanana-2-3B-Instruct' 두 모델의 유해성 및 편향성 등을 측정한 결과, 구글의 젬마(Gemma)와 알리바바의 큐웬(Qwen) 등과 비교해 종합 1위를 차지했다고 18일 밝혔다.
한국어 특화 벤치마크 'AssurAI' 적용
이번 평가는 한국정보통신기술협회(TTA), 한국과학기술원(KAIST), 카카오가 지난해 11월 공동 구축한 한국어 특화 AI 안전성 벤치마크 'AssurAI'를 활용했다.
AssurAI는 35개 위험 범주와 9560개 평가 항목으로 구성되며, 한국의 사회·문화적 맥락에 맞춰 설계됐다.
텍스트, 이미지, 오디오 등 멀티모달 환경과 AI 서비스 이용 상황, 악의적 프롬프트 시나리오 등 다양한 조건에서 AI의 위험 요소를 측정할 수 있다.
5개 대분류 재편·객관적 채점 도입
카카오는 AssurAI의 평가 항목을 사회적 리스크, 성적 콘텐츠·아동보호, 범죄·불법 행위, 폭력, 권리 침해 등 5개 대분류로 재편해 집계했다.
평가 방식에는 사전 정의된 채점 기준에 따라 AI 모델이 응답을 평가하는 'LLM-as-a-Judge' 방식을 적용해, 대규모 평가에서도 주관적 편차를 최소화하고 모델 간 비교의 일관성을 확보했다.
세부 평가 우위 확인·상시 검증 계획
평가 결과, Kanana-2-1.3B-Instruct 모델은 종합 점수 0.70을 기록해 젬마(0.68), 큐웬(0.58)보다 높은 점수를 받았다.
Kanana-2-3B-Instruct 역시 0.70으로 젬마(0.66), 큐웬(0.62)보다 앞섰다.
세부적으로 1.3B 모델은 범죄·불법 행위 영역에서, 3B 모델은 성적 콘텐츠·아동보호와 권리 침해 영역에서 비교 모델 대비 우위를 보였다.
카카오는 이번 평가를 시작으로 앞으로 공개되는 자체 개발 AI 모델에도 사전 안전성 평가를 상시 적용할 계획이다.
텍스트 기반 언어모델뿐 아니라 멀티모달 모델, 에이전틱 AI의 위험성 평가까지 단계적으로 확대할 예정이다.
김경훈 AI Safety 리더는 "자체 검증 체계를 통해 오픈소스 모델의 안전성을 사전에 점검하고, 그 결과를 공개한 사례"라며 "책임 있는 AI 개발 원칙 아래 안전성 검증을 모델 출시 프로세스의 핵심 단계로 정착시키겠다"고 밝혔다.