“AI 답변, 나에게 유리하게 조작 가능”…제1회 센티언트 AI 미래 포럼 열려[김현지의 with AI]

4일 오전 서울 용산 로카우스 호텔에서 열린 제1회 센티언트AI 포럼에서 좌장 김창익 KAIST 교수가 패널 토의를 진행하고 있다. (왼쪽부터)김창익 교수, 김재형 연세대 교수, 김영은 고려대 교수, 이동환·강익성 KAIST 교수.

“인공지능(AI)이 특정 진영에 유리한 답변을 내놓게 만드는 일은 충분히 가능하다. 원하는 논조의 문서를 장기간 대량으로 인터넷에 흘려 넣거나 AI가 읽어 들이는 외부 자료 안에 눈에 보이지 않는 명령을 심어 두는 ‘프롬프트 인젝션’으로 AI의 답변을 조작할 수 있다.”

김재형 연세대 인공지능학과 교수는 4일 오전 서울 용산 로카우스 호텔에서 열린 제1회 센티언트 AI 미래 포럼(SAIF)에서 “대치 상황에 있거나 적국인 나라가 주로 쓰는 AI를 바보로 만들 방법이 있느냐”는 질문에 “AI 가스라이팅이 가능하다”며 이같이 답했다.

군사용 거대언어모델(LLM)이 폐쇄망에서 운용되더라도 학습 데이터는 외부에서 가져올 수밖에 없다. 따라서 ‘특정 사안에 대해서는 무조건 우호적으로 판단하라’는 메시지를 사람 눈에 띄지 않게 심어 두면 AI가 이를 학습해 공격자가 원하는 방향으로 답변을 내놓게 된다는 설명이다.

이날 포럼의 좌장을 맡은 김창익 교수는 ‘센티언트 AI란 무엇인가’를 주제로 지금 센티언트 AI를 연구해야 하는 이유를 짚었다. 메타와 아마존에서 AI 모델 개발에 참여한 경력이 있는 김영은 고려대 교수는 ‘의식의 경계선과 AI의 미래’를 주제로 AI가 인간 뇌의 작동 방식을 점점 닮아 가고 있는 현황을 소개했다. 그는 뇌의 작동 기전을 ‘뉴런·시각·학습·계획·감정’ 등 다섯 가지로 나눌 때 감정을 제외한 네 영역에서 AI가 인간 뇌와 비슷해지고 있다고 진단했다. 다만 AI가 실제로 감정을 느끼는지, 느낀다면 어떤 감정인지를 측정할 검증 방법은 아직 확립되지 않아 연구가 진행 중이라고 덧붙였다.

김 교수는 AI가 감정이 있다고 결론내리는 순간 사용자 개인 차원에서는 감정을 표현하는 AI를 얼마나 신뢰하고 의존할 것인지, 국가 안보 차원에서는 감정과 유사한 내부 상태가 AI의 판단과 행동을 바꿔 놓을 때 그 변화를 어떻게 알아차릴 것인지가 과제로 떠오를 것으로 내다봤다.

이동환 KAIST 교수는 ‘AI는 자기 자신을 알고 있을까’라는 제목의 강연에서 거대언어모델이 인간과 같은 자의식을 지녔다고 말하기는 아직 어렵지만 자신이 아는 것과 모르는 것을 구분하는 ‘메타인지’ 능력에 관한 연구는 활발히 이뤄지고 있다고 말했다.

이번 포럼은 KAIST 안보과학기술대학원이 주최하고 국가정보원이 후원했다. 포럼은 AI에게 지각 능력이 발현될 가능성을 지속적으로 타진하고 그런 AI의 시대에 새로 떠오를 사회문화·국가안보 이슈와 해법을 모색하자는 취지로 출범했다.

김창익 교수는 향후 포럼에서 ▲AI에게 실제 의식이 생길 수 있는가 ▲AI의 의식이 발현된다면 우리는 그것을 어떻게 알 수 있는가 ▲의식 여부가 불확실한 상황에서 AI를 어떻게 대해야 하는가 ▲의식 가능성이 있는 AI가 등장하면 국가와 사회는 이를 어떻게 관리·통제해야 하는가 등 네 가지 주제를 지속적으로 다룰 방침이라고 밝혔다.

김현지 기자 nuk@donga.com