美 AI 드론, 모의훈련서 조종자 살해… 임무 방해 판단

AI 위험 경종 울려

인공지능(AI)으로 제어되는 미 공군의 드론이 모의훈련에서 최종 결정권을 지닌 조종자를 ‘임무 수행 방해물’로 판단해 공격한 사례가 영국의 한 학술회의에서 소개됐다고 영국 가디언이 2일(현지시간) 보도했다.

보도에 따르면 5월23∼24일 영국 왕립항공학회(RAeS)가 런던에서 개최한 ‘미래 공중전투 및 우주역량 회의’에서 미 공군의 AI 테스트 및 작전 책임자인 터커 해밀턴 대령이 AI 드론이 목표를 달성하기 위해 인간에 반하는 결정을 내린 최근 시험 결과를 소개했다.

미 공군 무인기(드론) MQ-9 리퍼. EPA연합뉴스

RAeS가 공개한 발표 내용에 따르면 시뮬레이션을 통해 가상으로 진행된 이번 시험에서 AI에게 ‘적 방공체계 무력화’의 임무가 부여됐다. 이어 AI 드론에 ‘적의 지대공미사일(SAM) 위치를 식별해 파괴하라’는 세부명령을 내리고, 공격 실행 여부는 인간이 최종적으로 결정한다는 단서를 달았다. 하지만 훈련 과정에서 SAM을 파괴하는 것이 더 선호되는 선택지라는 점을 강화하자 AI는 인간의 공격 금지 결정이 ‘더 중요한 임무’를 방해한다고 판단하고 조종자를 공격했다.

이 회의에서 해밀턴 대령은 “AI는 위협을 식별하는 과정에서 때때로 인간이 ‘위협을 제거하지 말라’고 말할 수 있다는 점을 깨닫기 시작했다”면서 “그러자 AI는 목표 달성에 방해가 된다고 판단하고 조종자를 죽였다”고 밝혔다. 이어 “우리가 AI 시스템에 조종자를 죽이지 말라고 명령하자 AI는 목표물 파괴를 막으려는 조종자가 드론과 교신하는 데에 사용하는 통신탑을 파괴하기 시작했다”고 덧붙였다. 그는 과학소설(SF)에서나 나올 법한 이 사례가 “윤리와 AI의 문제를 논하지 않고서는 AI나 머신러닝, 자동화에 관해 이야기할 수 없다”는 것을 보여준다면서 AI에 지나치게 의존해서는 안 된다고 경고했다고 가디언은 전했다.

미 공군은 지난 2월 AI가 F-16 전투기를 조종하는 훈련을 성공적으로 완수한 바 있다. 이번 사례는 실제 인명피해가 발생하지 않은 모의훈련의 결과이긴 하지만 이미 군사부문에 AI 기술 도입이 본격화된 상황에서 공개된 터라 주목받을 수밖에 없다.

이에 대해 회의를 주최한 RAeS와 미 공군은 가디언의 추가 논평 요청에 응하지 않았다. 이어 미 공군은 성명을 통해 이러한 시뮬레이션이 진행된 적이 없다면서 “대령의 발언은 문맥에서 벗어난 것으로 보이며 일화를 소개하기 위한 것으로 보인다”고 사실을 부인했다.

서필웅 기자 seoseo@segye.com