베일에 싸인 AI무기 작동과정, 인류 위협?…엇갈리는 견해들

인공지능(AI) 기술의 발전을 표현한 이미지. 게티이미지뱅크

챗GPT 개발사인 미국 오픈AI의 제이슨 권 최고전략책임자(CSO)는 최근 서울에서 열린 한 정책 콘퍼런스에서 "AI 기능이 더욱 발전하면 통제하는 능력도 더 개선돼야 한다"고 말했다. 기술의 발전을 거듭한 끝에 인간의 통제를 벗어난 AI 기술이 가져다 줄 수 있는 위험성에 대비해야 한다는 것이다.

13일 과학기술계에 따르면 인공지능(AI) 기술이 인간에게 어떤 위협을 가져다줄지에 대한 학계의 논의가 뜨겁게 달아오르고 있다. 연구자들은 특히 무기 설계에서 AI를 사용하는 것에 주목하고 있다. 직접적인 살상 능력을 지닌 무기가 인간이 아닌 기계의 통제 하에 놓이기 위해선 다양한 안전 장치가 필요하다는 이야기다.

카나카 라잔 미국 하버드 의대 교수 연구팀은 지난달 오스트리아 빈에서 개최된  '국제 기계학습 콘퍼런스'에서 AI 기반 군사 기술이 초래할 수 있는 부작용들을 조명했다.

연구팀은 현재 각국에서 개발 중인 AI 기반 무기들에 대한 정보가 충분히 제공되지 않고 있다는 점을 꼬집었다. AI 무기가 작동하는 과정은 완전히 감춰져 있다는 지적이다.

연구팀은 "파괴 기능을 수행하는 과정에서 사람의 감독이 얼마나 이뤄지는지 불투명하다"며 "인간이 이해하지 못하거나 시스템에서 발생한 오류를 발견할 수 없는 상태에서 AI 무기가 어떠한 결정을 내린 후 살상 기능을 구동할 수도 있다"고 말했다.

국방 분야에서 핵심적인 역할을 수행하는 AI 기반 무기 기술의 경우 엄격한 보안 법칙에 따라 외부에 공개되지 않기 때문에 잘못된 AI 무기 기술을 사전에 감독할 방법이 전무하다는 지적이다.

AI기반 무기는 전쟁을 시작하는 것을 쉽게 만들어 준다고도 주장했다. 시설이나 장비를 파괴하기 위한 전투를 사람이 아닌 기계가 대체하면 단기적으론 전사자를 줄일 수 있지만, 전쟁 초기에 필요한 인력 자원이 줄어들면서 전쟁의 빈도 자체가 예전보다 잦아질 수 있다는 것이다.

일각에선 AI 기술이 인간의 통제를 벗어날 수는 없다는 분석이 제기된다. 독일 바스대와 다름슈타트공대 공동 연구팀은 최근 11일부터 16일까지 태국 방콕에서 개최되는 '컴퓨터 언어학 협회 연례 학술대회'에서 "AI 기반 대형언어모델(LLM)은 명시적인 지시 없이는 독자적으로 학습하거나 새로운 기술을 습득할 수 없기 때문에 인류에게 실존적 위협이 되지 않는다"고 말했다. AI 기술은 본질적으로 인간에 의한 제어와 예측이 가능해 안전한 상태를 유지할 수 있다는 것이다.

연구팀은 수천 개의 실험을 통해 이같은 결론을 도출했다고 설명했다. 앞서 일부 연구자들은 LLM은 특정한 사회적 상황에 대해 훈련하거나 프로그래밍하지 않고도 답변을 생성하는 것이 인간의 통제력을 벗어날 가능성을 보여준다고 말했다.

이에 대해 연구팀은 이러한 AI의 활동이 '맥락 내 학습'이라는 기존의 잘 알려진 기능을 사용한 결과라고 설명했다. 지시를 따르는 능력, 기억력, 언어 자체에 대한 숙련도를 종합적으로 고려했을 때 AI가 창발적인 활동을 하기에 부족하다는 것이다. 

연구팀은 "AI가 위협을 줄 수 있는 것과 관련된 복잡한 사고능력을 뒷받침할 만한 근거는 발견되지 않았으며 이는 인간이 LLM의 학습 과정을 잘 제어할 수 있다는 것을 보여준다"고 말했다. 이어 "다만 AI가 생성하는 가짜뉴스 등 거짓 정보에 대한 피해가 이어지고 있는 만큼 향후 AI 안전성에 대한 연구는 이러한 피해 모델이 제기하는 위험에 초점을 맞춰야 한다"고 덧붙였다.

[박정연 기자 hesse@donga.com]