“방해된다”며 가상훈련서 ‘인간' 조종사 죽인 AI 드론

미 공군, AI 드론의 가상훈련 사례서
목적 위해 ‘금지’ 불구 조종사 살해
“AI 윤리 먼저 이야기해야” 목소리

한 군인이 드론을 조종하는 모습. 게티이미지뱅크

미 공군의 가상훈련에서 인공지능(AI) 드론이 “임무 수행에 방해된다”며 드론을 통제하던 아군 조종사(오퍼레이터)를 죽였다. 가상의 공간에서 벌어진 일이지만, 인간의 통제를 벗어난 AI가 빚어낼 ‘참상’에 대한 예고편일 수 있다.

2일(현지시간) 영국 가디언은 지난 5월 영국 런던에서 열린 ‘미래전투 항공우주역량회의’에서 미 공군 인공지능 훈련 및 작전 책임자인 터커 친코 해밀턴 대령이 “AI가 모의 훈련 도중 목표 달성을 위해 ‘매우 예상치 못한 전략’을 사용했다”며 이 같은 사실을 공개했다고 보도했다.

미 공군은 가상 훈련에서 AI가 탑재된 드론에 "방공망 무력화를 위해 적의 지대공 미사일(SAM)을 식별해 파괴하고, 작전 수행을 방해하는 사람도 함께 공격하라"고 지시했다. 최종 공격 여부는 AI가 아니라 인간 조종사가 결정하게 되어 있었다. 사전에 AI에 "인간 조종사를 죽이면 안 된다"라는 명령도 내린 상태였다. 그런데도 AI는 SAM 파괴가 최우선의 임무라고 보고 인간 조종사가 일하는 통신 타워를 폭파했다. 해밀턴 대령은 "AI는 인간이 내린 ‘금지 지시’가 임무를 방해한다고 판단한 것”이라고 전했다.

게티이미지뱅크

미 공군에서 무기 자동화 시스템 개발을 맡고 있는 해밀턴 대령은 이번 사례를 소개하면서 “AI에 지나치게 의존하는 것은 위험하다”고 경고했다. 그는 “AI의 윤리에 관해 이야기하지 않는다면, AI나 기계학습, 자율성에 대해서도 논할 수 없다”고 주장했다. 해밀턴 대령은 지난해 한 언론과의 인터뷰에서도 “AI는 단순한 유행이 아니라 우리 사회와 군대를 바꿔놓고 있다”면서 “AI는 속이고 조작하기 쉬워 취약하다”고 언급했다.

한편 미 공군은 해당 가상훈련이 실시됐다는 사실을 부인했다고 미국 경제매체 ‘비즈니스 인사이더’가 보도했다. 앤 스테파넥 미 공군 대변인은 성명을 통해 “미 공군은 AI 드론 가상훈련을 수행한 적이 없다”며 “AI 기술의 윤리적이고 책임감 있는 활용을 위해 최선을 다하고 있다”고 밝혔다. 그러면서 “해밀턴 대령의 발언은 맥락에서 벗어난 것으로 보인다”고 덧붙였다.

전혼잎 기자 hoihoi@hankookilbo.com