‘완전 자율’ 드론, 군사시설 대신 사람을 공격하다

[[한겨레S] 이관수의 인공지능 열전][한겨레S] 이관수의 인공지능 열전 킬러 로봇

“드론에 공격당하는 반군 부대”라는 명령어로 인공지능 ‘미드저니’를 통해 산출해낸 그림.

지난 6월 초 많은 사람들이 ‘킬러 로봇’의 악몽을 떠올린 소동이 있었다. 미국 공군의 인공지능(AI) 드론이 가상훈련 도중, 임무에 방해된다는 이유로 인간 조종자를 제거했다는 뉴스가 나돈 것이다.

논란의 시작은 지난 5월 영국 런던에서 열린 미래 우주항공 전투력 세미나였다. 미 공군의 터커 해밀턴 대령은 최종목표 달성을 위해 인공지능이 아군을 공격했다는, 외부 기관의 모의실험 일화를 전했다. 강화학습형 인공지능은 쉽게 기만당하며 예상 밖의 행태를 자주 보이기 때문에 문제가 많다는 취지였다. 그는 다양한 인공지능에서 나타나는 갖가지 문제점들을 거론하면서, 가치판단까지 포함하는 인공지능의 윤리적 문제를 고민할 때에만 머신러닝·자율기계 등등에 대해 논의할 수 있다고 주장했다. 영국 왕립항공학회는 공식 블로그에서 ‘스카이넷이 이미 등장했는가’라는 제목을 붙여 해밀턴 대령의 발언을 전했다. 영화 <터미네이터>(1984)에서 강대국의 전략무기체계를 장악해 인류를 나락으로 떨어뜨리며 악마적 인공지능의 대명사가 된 ‘스카이넷’을 소환한 것이다. 언론 보도가 이어지고 자극적인 키워드가 섞이면서 기사는 부정확하게 확대됐다. 미 공군은 그런 모의실험을 한 사실이 없으며 발언의 맥락이 오해된 것이라고 해명했다.

‘인체 표적’ 자율살상 반대 목소리

해밀턴 대령은 인공지능 비행보조 시스템 도입 공로로 포상을 받고, 미 공군과 인공지능 학계를 두루 연결해주는 임무를 담당했다. 개인 시간을 쏟아 인공지능 드론 기술 청소년 경연대회를 이끌었고 현재 시험비행단 작전전대장으로 개별 인공지능 시스템을 시험하는 미 공군의 최일선 책임자이다. 인공지능 임무로 경력을 쌓은 군인이 인공지능 무기의 위험성을 우려한다. 2021년 기준 685개의 인공지능 프로젝트를 진행하는 미국 국방부도 비슷한 입장이다. 그렇다면 살상용 인공지능 걱정은 당분간 거둬들여도 될까? 하지만 인공지능 무기는 쓰인 지 오래됐고, 대안도 마땅치 않은 게 현실이다.

사이버네틱스 주창자들이나 초기 인공지능 연구 선구자들이 중시한 자율제어 기술들은 원시적인 형태로 2차대전 때부터 살상무기에 응용되기 시작했다. 타깃이 흘리는 신호를 따라가 타격하는 자율유도 어뢰가 대표적이다. 1958년 진먼섬(금문도)에서 발생한 대만과 중국 간 국지전에서 대만군이 발사한 사이드와인더는 미사일에 처음 자율유도 장치를 장착한 사례였다. ‘발사 뒤 잊어버린다’는 뜻으로 요즘은 ‘발사 후 망각’형 무기라고도 지칭한다. 1979년부터 9년 넘게 이어진 소련-아프가니스탄 전쟁 때 아프간이 소련의 진격을 저지했던 스팅어, 이번 우크라이나 전쟁에서 명성을 떨친 재블린도 같은 방식이다.

1차 걸프전 이후에는 원격조종 방식으로 쓰이던 미사일들도 ‘발사 후 망각’ 방식을 겸용할 수 있도록 대거 개량됐다. 심지어 표적 미지정 상태로 발사되거나 표적을 잃어버리면, 발사자의 지시 없이도 표적을 선정해 공격하는 단계로까지 발전했다. 미 공군의 암람(AMRAAM) 미사일 최신형이나 미 해군의 엘알에이에스엠(LRASM) 미사일이 대표적이다.

기계학습이 인공지능 기술의 주류로 등극한 2010년대 초부터 인공지능 자율살상무기에 반대한다는 목소리가 커졌다. 그러나 ‘발사 후 망각’ 미사일은 개발된 지 오래됐고 적의 군사시설을 공격하는 용도로 인식됐기 때문인지 인공지능 살상무기 반대 운동의 표적이 되지는 않았다. 반대 운동은 인체를 주요 타깃으로 삼는 자율살상무기에 집중된다. 포괄적인 불법화에 찬성하는 국가들은 소수이지만, 인공지능 무기체계를 △인간 개입형 △인간 감독형 △인간 배제형으로 나누고 인간 배제형을 금지하자는 주장에는 미국이나 북대서양조약기구(나토)도 명시적으로 거부하지 않는다. 인간 개입형·감독형에 대한 반대가 완화되는 효과를 기대하는 듯하다.

☞한겨레S 뉴스레터를 구독해주세요. 클릭하시면 에스레터 신청 페이지로 연결됩니다.

☞한겨레신문을 정기구독해주세요. 클릭하시면 정기구독 신청 페이지로 연결됩니다.

‘터미네이터’ 속 스카이넷의 재현?

인공지능 무기체계 운용 과정에 인간이 개입하는 게 당연하지만, 그런 상황에서도 최악의 사태는 종종 목격된다. 1988년 미국 이지스 순양함의 이란 민항기 격추 사건은 승무원들이 무엇에 홀린 듯 이지스 시스템을 조작하면서 발생했다. 9·11 이후 테러와의 전쟁 기간에는 대형 드론 원격운용 요원들이 적극적으로 ‘오폭’을 저지른 듯한 사례도 확인됐다. 심리적 압박 속에서 인공지능의 제안이나 힌트를 조건반사적으로 승인하거나, 때로는 예단해서 과잉반응하는 일은 얼마든지 가능하다.

인간의 적절한 개입이나 감독 방식이 갈피를 잡지 못하는 사이에, 2020년 5월 리비아 내전 중에는 완전 자율 상태의 드론 군집이 군사장비가 아닌 인체를 의도적으로 목표로 선정해 살해한 사건이 발생했다. 리비아 내전 유엔감시위원회 보고서를 보면, 튀르키예가 공급한 드론들은 군사장비 등 고가치 표적은 공격하지 않고 도주하는 무장세력 병사들에게 자폭 공격을 가했다. 이 드론을 개발한 튀르키예 국영 방산기업 에스티엠(STM)사는 현재도 공격용 드론이 안면인식 기술을 장착했다고 홍보하는 반면, 윤리적 문제는 전혀 언급하지 않는다. 점점 더 싼값에 구하기 쉬운 악마가 풀려난 듯하다.

스카이넷은 인간들이 자신을 정지시키려고 했기 때문에 반란을 일으킨 ‘인간적인’ 인공지능이다. 그렇다면 명령을 문자 그대로 준수하는 우직한 인공지능이라면? 영화 <2001 스페이스 오디세이>(1968)에 등장하는 할(HAL)-9000이나 영화 <아이, 로봇>(2004)의 비키 등은 인간의 명령을 수행했기 때문에 문제를 일으킨다. 뒤집어 보면 인공지능에 종합적인 판단력을 기대하며 무책임하게 모호한 명령을 내린 인간 때문에 벌어진 일이었다. 해밀턴 대령이 묘사했던 가상훈련 시나리오들의 확장판이다. 한국 국방부는 국방용 지능형 결심지원 체계를 개발하겠다고 한다. 인공지능이 전장 상황을 분석하고 지휘관에게 적합한 작전을 제안한다는 구상이다. 인공지능의 성능을 과대평가하고 판단의 책임까지 인공지능에 떠넘기는 실수를 범하지 않기를 바란다.

과학저술가

서울대학교 물리학과를 졸업하고 과학사 및 과학철학협동과정에서 박사 학위를 취득했다. 가톨릭대학교 교양교육원 초빙교수를 거쳐 현재 동국대학교 다르마칼리지에 재직 중이다.