카카오의 AI 개발, 속도보다 안전...위험도 높으면 아예 버릴 각오로 만든다

안전 관리 체계 '카카오 ASI' 발표
주체별로 대응책 세분화
통제 불가능 대비 '비상 정지'도 준비

정신아 카카오 대표이사가 22일 경기 용인시 카카오AI캠퍼스에서 열린 '이프카카오(if kakao) AI 2024' 세션에서 기조연설하고 있다. 카카오 제공

카카오가 새 인공지능(AI) 브랜드 '카나나(kanana)'를 앞세워 AI 개발 경쟁에 뛰어들었지만 동시에 안전도 강조하고 나섰다. AI 위험성을 사전에 관리하는 체계를 마련하고 자체 평가를 통해 위험도가 높은 AI 서비스는 외부로 배포하지 않겠다는 방침을 세웠다.

23일 카카오에 따르면 이 회사는 전날부터 열리고 있는 개발자 콘퍼런스 이프카카오 AI 2024에서 카카오 AI 세이프티 이니셔티브(ASI)를 구축했다고 발표했다. AI 기술 개발·운영 과정에서 위험 발생을 최소화하고 안전하고 윤리적인 AI 시스템을 만들기 위한 종합 지침이다. 2023년 3월 발표한 '책임 있는 AI' 가이드라인을 바탕으로 위험 관리 시스템을 마련했다.

기존 AI 윤리 규약과 다른 이 시스템의 특징은 위험을 발생 주체별로 세분화해 규정한 데 있다. AI가 주체인 기술적 위험은 ①제대로 된 답변을 내놓지 않는 '모델 불완전성' ②AI 고도화로 예측 불가능하게 동작하는 '통제 불가능'으로 나눴다.인간이 주체인 윤리적 위험은 ③적극적 악용 ④수동적 부주의로 세분화했다.

카카오는 테스트를 통해 이들 위험을 평가한 후 저·중·고 세 등급으로 나눠 네 범주 중 하나라도 고위험 판정이 나오면 서비스를 출시하지 않고 보완 작업에 들어간다. 특히 통제 불가능 위험이 높은 등급으로 나오면 즉시 지우고 위험 발생에 대비해 '비상 정지' 등 통제 기능도 갖춘다. 이용자로부터 발생하는 윤리적 위험은 사전 테스트를 통해 검증한 뒤 보안 조치와 모니터링으로 대응할 예정이다.

연관기사

• [현장]단톡방 대화 맥락도 척척 아는 AI...카카오의 승부수 '카나나' 모습 드러내다
(www.hankookilbo.com/News/Read/A2024102214120003711)

---

'AI 안전' 입법 드라이브 속 선제적 체계 마련

카카오의 'AI 위험 관리 체계 '카카오 AI 세이프티 이니셔티브' 구조. 카카오 제공

카카오의 AI 위험 관리 체계는 최근 국내외에서 AI 안전성 규제 논의가 본격화하는 가운데 나온 것이다. 유럽연합(EU)의 AI법이 8월에 발효됐고 미국 캘리포니아주 의회에서 AI 규제법이 다수 통과됐다. 한국에선 국회와 정부가 AI 기본법 입법을 논의 중이며 이에 앞서 'AI 서울 정상회의'에서 카카오를 비롯한 참가 기업들이 AI의 윤리적 개발을 약속했다. 네이버는 6월 공개한 '네이버 AI 세이프티 프레임워크'를 통해 위험도가 높은 AI 모델 또는 서비스의 배포를 중단한다는 방침을 을 알렸다.

연관기사

• "위험도 높으면 서비스 배포 중단"...네이버가 AI 안전 체계 고강수 둔 까닭은
(www.hankookilbo.com/News/Read/A2024061712200002776)

• 서울의 약속...'AI 규범' 세계가 함께 만든다
(www.hankookilbo.com/News/Read/A2024052216560005749)

• [현장]단톡방 대화 맥락도 척척 아는 AI...카카오의 승부수 '카나나' 모습 드러내다
(www.hankookilbo.com/News/Read/A2024102214120003711)

김경훈 카카오 AI세이프티 리더는 "AI 윤리와 안전을 위해 다양한 선제적 노력을 이어 온 카카오가 ASI 구축을 통해 글로벌 환경에 맞는 수준의 AI 리스크 관리 체계를 마련하고 윤리 기준을 이끌어 갈 수 있게 노력할 것"이라고 말했다.

한편 카카오는 이날 자체 AI 모델 라인업을 공개했다. 다양한 크기의 언어 모델과 음성·이미지 생성 모델을 개발해 내부 업무와 서비스에 광범위하게 적용한다. 모델 개발을 지휘한 김병학 카나나알파 성과 리더는 "서비스 최적화에 맞춘 비용 효율적 모델"이라면서 "이용자에게 직접 도움을 줄 수 있는 AI 서비스화를 앞두고 있다"고 밝혔다.

인현우 기자 inhyw@hankookilbo.com