콕스웨이브가 제시한 AI 안전성 강화 방안은?

AI 시스템 위험·악용 사례·모델 취약성 평가법 공유…연구 방향 제시까지

(지디넷코리아=김미정 기자)콕스웨이브가 구글 행사 '리서치앳 코리아'에서 인공지능(AI) 안전성에 대한 의견을 국내외 전문가들과 논의했다.

콕스웨이브가 이달 27일 서울 포시즌스 호텔 서울에서 개최된 구글 행사 연사로 참가했다고 28일 밝혔다.

김기정 콕스웨이브 대표는 국내 AI 연구사례 세션에 스타트업 대표로 참가했다. AI 안정성 향상이라는 주제로 발표를 진행했다. ▲AI 시스템이 직면한 주요 위험 ▲가장 많이 나타나는 AI 시스템 악용법 ▲AI 모델의 취약성 평가 방법을 공유하고 향후 연구 방향을 제안했다. 

콕스웨이브가 구글 '리서치앳 코리아'에서 인공지능(AI) 안전성에 대한 의견을 국내외 전문가들과 논의했다. (사진=콕스웨이브)

김 대표는 얼라인 AI 플랫폼 내 발생한 실사례를 들어 AI 모델의 취약성 평가와 잠재 위협 예방 방법을 공유했다. 얼라인 AI는 생성형 AI 기반 대화형 제품을 위한 분석 플랫폼으로 AI와 사용자 간의 대화 데이터를 분석할 뿐 아니라 AI 한계점으로 알려진 환각 현상이나 개인정보 유출 사례 없이 제대로 기능을 수행하는지 판단하는 서비스를 제공한다. 특히 AI 모델에 대규모 탈옥 프롬프트를 선적용함으로써 다중 샷 공격 저항 점수(MARS)를 측정하고, 해당 점수 기반으로 AI 모델의 취약성을 판단함으로써 잠재 위협을 대비할 수 있다.

리서치앳 코리아는 전 세계 연구자 대상으로 AI 관련 최신 연구를 공유하는 행사다. 김경훈 구글 코리아 사장, 구글 리서치 마야 쿨리키 부사장이 행사에 자리했다. 다수 구글 AI 연구원이 참여해 노트북 LLM, 제미나이, AI에이전트 프로젝트 등 연구사례를 발표했다. 

올해 행사는 '코리아스타트업포럼'과 협업을 통해 학계 연구자뿐 아니라 AI 스타트업의 연구원 및 개발자까지 초청 규모를 확대했다. 지난해 11월 아태지역 최초로 리서치앳 코리아가 한국에서 진행된 이후 한국에서 두번째로 개최된 글로벌 행사다.

김기정 콕스웨이브 대표는 "얼라인 AI는 AI를 활용하면서 발생할 수 있는 위험을 사전에 탐지하고 방지하는 AI 안전망 역할을 제공한다"며 "지속적인 기술 개발 및 고도화로 기업들이 더 안전하고 신뢰할 수 있는 AI 서비스를 제공할 수 있도록 지원하겠다"고 말했다. 

김미정 기자(notyetkim@zdnet.co.kr)