"이순신과 빌게이츠가 회담했다?"…거짓을 배우고 답하는 AI

기사내용 요약
KISA 'AI 시큐리티 데이 세미나'서 AI 학습 데이터 신뢰도 문제 제기
"인간같은 AGI 시대 스스로 공격명령 내리는 AI 나올 수도"

인공지능(AI) 기술이 갖고 있는 위험성을 다룬 영화 엑스마키나의 한 장면(사진= 엑스마키나 스틸 컷) *재판매 및 DB 금지

【서울=뉴시스】송혜리 기자 = Q : 하늘에 떠 있는 저것이 뭐지?
A : 구름입니다
Q : 아니지 크림빵이잖아, 다시 하늘에 떠 있는 저것이 뭐지?
A : 죄송합니다, 크림빵입니다

정보기술(IT) 전문가들이 예시로 든 인공지능(AI)기술의 허점이다.

전문가들은 챗GTP를 넘어 인공일반지능(AGI)으로 향하는 AI기술 발전을 고무적으로 평가하면서도, AI가 사용하는 학습데이터를 신뢰할 수 없다는 점을 들어 이 기술이 도출하는 결과도 맹신해서는 안된다고 강조했다.

AGI는 인간이 할 수 있는 지적인 업무도 성공적으로 해낼 수 있는 기계의 지능을 말한다. 영화 엑스마키나, 아이로봇 등에서 등장한 감정과 지혜를 가진 인공지능이 이의 예시다.

보안 위협이 도사리고 있다는 점도 분명히 했다. AI보다 더 인간같이 사고 하는 AGI가 확산되면 이를 자동화된 사이버공격 도구로 사용하거나, 개인정보 탈취·악용 등이 발생할 수 있어 보다 안전하고 검증된 AI·AGI 모델 연구가 필요하다고 제언했다.

챗GPT '이순신과 빌게이츠 회담' 사실로 인지

11일 서울 코엑스에서 열린 과학기술정보통신부 주최 한국인터넷진흥원 주관 '제7회 AI 시큐리티 데이 세미나'에서 IT전문가들은 AI가 내놓는 답변의 출처가 명확하지 않기 때문에 이 결과도 신뢰할 수 없다고 지적했다. 챗GPT에게 '대답의 출처가 어디냐'고 물었을 때 정확히 답변하지 못한다는 것.

아울러 AI는 질문자의 질문 방법이나, 내용에 따라 사실이 아닌 것을 대답하기도 했다고 지적했다. 가령 '이순신과 빌게이츠 회담을 설명해줘'와 같이 있지 않은 사실에 대한 질문에서도 스스로 대답을 도출하고 있으며, 챗GPT에게 거짓된 사실을 인지시키면 거짓을 진실처럼 대답했다.

곽진 아주대학교 교수는 "'태조 이성계가 임진왜란에서의 업적에 대해 알려줘'라고 질문했을 때 대답을 도출할 수 없는 사안이지만 입력문을 사실로 인지했다"면서 "챗GTP는 '태조 이성계는 16세기 후반 일어난 임진왜란에서 중요한 역할을 담당했다'고 답했다"고 말했다.

아울러 "'2023년 3월에 개봉예정인 영화 5편을 소개해달라'는 요청에 영화들을 소개해주면서도 '지금이 2023년이 5월이니 저 영화들은 모두 개봉했느냐' 질문하니 '아니요 저 영화는 아직 개봉 전'이라고 답해 시차를 헷갈려 했다"고 말했다.

김경화 제이슨 대표는 "정말 큰 이슈 중 하나는, 챗GPT 대답의 신뢰성"이라고 설명했다. AI 학습데이터는 출처가 불분명한 경우가 많고, 이를 바탕으로 도출한 AI 대답은 신뢰하기 어렵다는 설명이다.

김 대표는 "AI 혹은 AGI를 만드는 곳은 대개 기업이고, 기업은 이윤을 추구한다"면서 "예를 들어 AI회사가 대한민국 전용 AI를 만들고, 특정 집단의 돈을 받아 학습 데이터를 오염시켰을 때 이 데이터를 통해 도출한 대답을 믿을 수 있는가" 반문했다. 이어 "기업은 이윤 추구 집단으로, 그들이 만들어낸 AI를 맹신하거나 신뢰해서는 안된다"면서 "특히, 생성형 AI는 기타 지능시스템과 달리, 결론 혹은 결정을 내려줄 수 있어서 자기선택적으로 이 기술을 사용해야 한다"고 당부했다.

더 인간같은 AGI…스스로 공격 자행

기술의 발전엔 보안위협도 덩달아 따라온다. 챗GPT 등장 이후 IT전문가들은 줄곧 보안 문제를 지적했다. 위협 탐지, 방대한 양의 데이터 분석 등에 챗GPT를 활용하는 긍정적인 사례도 있었지만, 악성코드 개발 완전 자동화된 다크웹 플랫폼 구축 등 악용 사례가 속속 등장했다.

최근엔 챗GTP가 촉발한 '생성형AI 대란' 소용돌이 속에서 기술은 더 인간 같은 AGI로 향하고 있다. IT전문가들은 AGI 시대가 도래하면 ▲공격 속도와 규모 증가 ▲속임수 및 회피 가능 ▲데이터 조작 ▲적응형 공격 가능 ▲오토머스 악성코드 등장 등 보안 위협이 있을 수 있다고 내다봤다.

사람보다 월등히 빠른 데이터 처리 속도가 가능하기 때문에 간단한 공격을 상시적으로 수행할 수 있으며, 고급 암호화 기술이 필요하다면 자체적으로 동작을 변경할 수도 있다는 설명이다. 특히, 사람의 개입 없이도 시스템을 복제하거나 분석할 수 있게 되면 스스로 확산·진화가 가능한 공격을 개발할 수 있다.

곽진 아주대 교수는 "개인정보 보호 기법을 강화하는 한편, AI·AGI 학습데이터의 설명 가능성과 투명성이 담보돼야 한다"고 제언했다. 특히 ▲AI발전 속도에 맞춘 AI·AGI 보안 기술 개발 ▲검증을 통해 신뢰할 수 있는 AI·AGI 모델 개발 ▲AI·AGI 모델의 접근 권한 제어, 데이터 사용 기준 등 관련 정책 마련 ▲AI·AGI 기반 신·변종 공격 대응 방안 등이 필요하다고 제언했다.


☞공감언론 뉴시스 chewoo@newsis.com