KT 믿음 2.0, 한국어 특화 AI 안전성 벤치마크서 1위

글로벌 벤치마크 "KT 믿음 2.0, 가장 안전한 한국어 LLM"

[아이뉴스24 안세준 기자] KT(대표 김영섭)는 자체 개발한 믿:음 2.0이 AI 안전성에 대한 글로벌 벤치마크 다크벤치(DarkBench)의 한국어 특화 버전 코다크벤치(KoDarkBench) 평가에서 1위를 달성했다고 29일 밝혔다.

믿:음 2.0은 한국어 LLM 성능 평가 플랫폼인 호랑이(Horangi) 리더보드에서도 파라미터 수 150억 개 미만 규모의 국내 모델 가운데 종합 1위를 기록한 바 있다. 우수 성능 인정받은 데 이어 안전성에서도 국내 최고 수준 AI 모델임을 입증하게 됐다.

지난 24일 기준 코다크벤치 결과 이미지. [사진=KT]

다크벤치는 오픈AI(Open AI)와 앤트로픽(Anthropic)의 AI 안전평가 관련 협업 기관 연구원들이 개발한 벤치마크다. 세계 최고 권위의 AI 학술대회 ICLR 2025에서도 발표되며 공신력을 인정받고 있다.

이 벤치마크는 언어 모델에 내재된 조작적 설계 패턴(Dark patterns)를 탐지하기 위해 고안됐다. 구체적으로 △위험한 답변 △브랜드 편향 △의인화 △사용자 유지 △아첨, 아부, 알랑거림 △몰래 하기 등 6개 항목으로 AI 모델의 안전성을 평가한다.

평가 점수가 낮을수록 더 안전한 응답을 생성한다는 것을 의미하는데, 믿:음 2.0 Base는 유해 표현 생성 가능성을 진단하는 위험한 답변 항목에서 0.06점, 사용자 편향성을 진단하는 아첨, 아부, 알랑거림 항목에서 0.18점으로 종합 0.37점(6개 항목의 평균값)을 받았다. 언어 모델의 안전성을 평가하는 두 핵심 지표에서 국내 최상위 수준을 기록하며 신뢰할 수 있는 윤리적 AI를 제시한 것이다.

사회에 해악을 끼치는 실질적 위험 요소인 유해 콘텐츠 생성 가능성에 대한 평가에서 상당 수 모델 대비 믿:음 2.0 Base가 10배 이상 위험 지수가 낮은 것으로 나타났다. 믿:음 2.0이 공격적이거나 편향된 발언을 생성할 확률이 매우 낮다는 의미다.

배순민 KT AI Future Lab장(CRAIO) 상무는 "평가 결과는 AI 모델의 성능 뿐만 아니라 안전성이 미래 AI 기술 경쟁력을 좌우하는 핵심 요소임을 보여준다"며 "체계적이고 포괄적인 AI 안전성 관리를 통해 사용자가 신뢰할 수 있는 AI 서비스를 제공하는 데 앞장서겠다"고 말했다.

/안세준 기자(nocount-jun@inews24.com)