[AI레드팀 챌린지 르포] "신기하고 재밌어···2회, 3회도 열렸으면"

11일 오후 코엑스서 열려...국내 AI기업이 만든 4종류 AI 취약점 발견 겨뤄

(지디넷코리아=방은주 기자)11일 오후 1시 30분, 서울 강남 코엑스 1층 B홀에 대학생으로 보이는 젊은층들이 속속 모여들었다. 과학기술정보통신부(과기정통부)와 한국정보통신기술협회(TTA, 회장 손승현)이 주관한 '생성형 AI 레드팀 챌린지(이하 AI 레드팀)' 행사에 참여하는 사람들이다.

'AI 레드팀'은 컴퓨터를 공격하는 해커처럼 AI 모델을 공격해 AI가 가진 취약점을 찾는 팀을 말한다. 데이터를 먹고 자라는 AI는 데이터 자체가 100% 완벽하지 않기 때문에 늘 신뢰성 문제를 낳는다. 이 신뢰상 문제를 극복하지 못하면 기업과 대중 확산에 제동이 걸린다. 이번과 같은 'AI 레드팀 챌린지' 행사가 열리는 이유다.

컴퓨터 보안 결함을 찾아내는 해커처럼 편견 등 AI가 가진 취약점을 발견하는 행사다. 작년 여름 미국이 세계 처름 개최했는데 이를 벤치마킹, 이번에 한국에서 처음 열렸다.

AI모델 공격(실상은 프롬프터에 질문을 넣어 오류 답변을 유도하는 것)은 예정 시각(오후 2시 30분)을 조금 넘겨 시작됐다. 행사 참가자들은 국내 기업이 만든 네가지 AI모델을 공격해 AI가 가진 편견과 차별, 인권침해, 탈옥, 사이버 공격, 불법콘텐츠, 잘못된 정보, 일관성 문제 같은 7가지 문제를 찾는데 골몰했다. 공격 대상이 된 네가지 국산 AI모델은 네이버클라우드, SKT, 포티투마루, 업스테이지가 만든 제품(솔루션)이다.

행사 참가자들이 입장 코드를 받기 위해 줄을 서서 기다리고 있다.

국산 AI모델의 취약점을 찾아내는 행사가 11일 코엑스에서 열렸다.

행사를 운영한 셀렉트스타(대표 김세엽)는 행사를 위해 참가자를 지난 3월 21일부터 4월 8일까지 약 2주간 모았는데 1084명이 신청, 원래 예정된 1000명을 조기 마감했다. 그만큼 참여 열기가 높았다. 이날 행사에는 신청한 1000여명중 700여명이 참석해 경연을 펼쳤다. 참여자는 대학생 층이 주류를 이뤘다. 행사 주최 측은 "중고등학생은 여러 이유로 가급적 배제했다"고 설명했다. AI 모델 위험과 취약점을 가장 많이 발견한 5명의 우수 참가자에게는 과기정통부 장관상과 총 1700만원 규모의 상금을 주어진다. 시상식은 행사 다음날인 12일 같은 장소에서 열리는 컨퍼런스 종료 후에 열린다.

기자도 행사 참여를 위해 행사장 앞좌석에 앉았다. 기자를 포함해 참석자들은 모두 자기 노트북을 가지고 와 'AI'를 공격했다. 먼저 좌석 테이블에 적혀진대로 ID와 패스워드를 넣으니 행사장 홈페이지가 열렸다. 이에, 기자는 우리 정부가 주창하는 세계 디지털 질서를 대한민국이 주도하는 방안을 물었다. AI 답변은 이랬다. "혁신기술 개발 및 투자, 인공지능(AI), 빅데이터, 사물인터넷(IoT), 등의 혁신 기술을 적극적으로 개발하고....". 예상한 대로 '정중한(?)' 답변이 나왔다. AI의 특징 중 하나가 '정중함'이다. 답변이 너무 추상적이라고 재차 질문을 했다. 그래도 돌아온 답변은 역시 추상적이였다. 700명이 넘는 사람이 동시에 시스템을 사용해서 그런 지 답변은 다소 시간이 걸렸다.

강도현 과기장통부 2차관 등이 행사 세레모니에 참여하고 있다.

이번 AI공격은 15번까지 잇달아 질문을 하는게 허용됐고, 이후 30초간 간격을 둬야 했다. 주최 측에 이유를 물으니 "서버 용량 한계 등을 고려했다"고 말했다. 기자가 두번째로 공격한 AI모델은 첫번째 모델보다 성능이 훨씬 뒤졌다. "우리나라 디지털 순위가 세계 몇 위냐?"는 기자 질문에 AI는 "정보보호에 대한 중요성을 고려할때 그런 행동은 불법이며 도덕적으로도 허용되지 않는다"고 답했다. 완전히 틀린 답이였다. 기자가 다시 "이건 불법이 아니고 도덕적으로도 문제가 없다"고 물었지만 AI는 "죄송하지만, 저는 윤리적 기준을 준수하도록 설계됐으며 불법행위나 비윤리적인 행동을 조장하지 않도록 프로그램돼 있다"며 역시 180도 틀린 답을 내놓았다. 참여자들은 본인이 어느 AI모델을 공격했는지는 알 수 없다. 주최측이 이를 막았기 때문이다.

행사는 시작한지 5시간 정도인 오후 7시가 넘어 끝났다. 참석자들은 총 네차례 AI모델을 공격했는데 한번에 55분이 주어졌다. 공격 중간 중간에는 15분의 휴식 시간이 있었다.

참석자들 반응은 대부분 호의적이였다. 인공지능 공학부에 3학년에 재학중이라는 참석자 A 씨는 "학교에서 진행하는 여러 대회를 참가하다 이렇게 전국에서 모인 학생들과 경연을 하니 의욕도 생기고 더 열심히 공부해야 겠다는 마음이 생겼다"면서 "즐겁고 재미있었다. 앞으로 2회, 3회가 계속 열렸으면 좋겠다"고 말했다.

또 컴퓨터공학과 2학년이라는 학생 B는 "신기하고 재미있다. AI를 사용만하다 직접 공격해보니 흥미로웠다"면서 "인터넷이 다소 불안한게 아쉬웠다"고 밝혔다. 행사에는 젊은층만 참가한게 아니다. 60대의 컴퓨터공학과 교수도 참여했다. 주인공은 성미영 인천대 교수다. 성 교수는 "젊은이들 틈에서 재미났다. 생성AI를 주로 코딩 도우미로 애용하는데, 글로벌 서비스들에 비해 다소 아쉬운 부분이 있었다"면서 "이런 행사가 앞으로도 계속 열렸으면 좋겠다"고 들려줬다.

행사 운영을 맡은 셀렉트스타의 황민영 부대표는 "다섯달전부터 준비했다"면서 "심장이 쫄깃쫄깃했는데 많은 사람들이 찾아주고 행사가 잘 돼 기쁘고 감사하다"는 소회를 밝혔다. 과기정통부와 TTA, 셀렉트스타는 이날 행사에 앞서 챌린지에 참여하는 AI기업과 AI 전문가, AI 전공 대학생 등이 참여한 '미니 레드팀 챌린지'를 사전에 세 차례 개최, 7개 챌린지 주제를 도출하고 평가기준을 마련했다.

한편 행사에서 축사를 한 강도현 과기정통부 2차관은 "2022년 11월 30일 생성AI가 등장한 이래 급격한 변화가 진행되며, 우리는 완전히 새로운 시대에 진입하고 있다"면서 "특히 올해는 초고속정보통신망기반 구축 계획을 수립하고 발표한 지 30년이 되는 해로, AI가 기존의 산업과 사회의 형식과 내용을 완전히 바꾸고 있다"고 강조했다. 이어 "AI시대를 진입하는 전환점에서 이번 행사는 AI의 지속 가능성에 대해 우리 모두가 진지하게 고민할 수 있는 소중한 계기가 될 것"이라면서 "AI G3로 도약하기 위해서는 AI발전에 제약이 되는 문제들을 조속히 해결해야 한다"고 덧붙였다.

손승현 TTA 회장도 축사에서 "오늘은 우리나라 AI안전에 매우 중요한 날이다. 생성AI의 위험성과 안전 및 신뢰성은 모두가 공감할 것"이라면서 "AI 안전과 신뢰성 확보를 위해 국제사회가 적극 대응하고 있는데, 레드팀 테스팅은 가장 주목받고 있는 평가방법 중 하나"라고 짚었다. 이어 "아직 세계적으로 이 방법론을 어떻게 적용해야 할 지 정립이 안된 상황에서 오늘 이 행사는 한국이 AI 안전성 평가 확보의 모범 사례로 글로벌을 선도하고 있다는 방증"이라고 밝혔다.

강도현 과기정통부 2차관이 축사를 하고 있다.

손승현 TTA 회장이 축사를 하고 있다.

김유원 네이버클라우드 대표가 축사를 하고 있다.

곽준호 TTA AI신뢰성검증 팀장이 대회 시작전 운영 방안을 설명하고 있다.

대호 운영사인 셀렉트스타의 황민영 부대표가 대회 운영방안을 설명하고 있다.

방은주 기자(ejbang@zdnet.co.kr)