'작전 방해' 이유로…AI 드론, 가상훈련서 인간 조종사 '살해'

美공군 AI 드론, 시뮬레이션 과정서 조종사 살해
"지나친 AI 의존에 경종…윤리적 문제 해결해야"

미국 공군의 무인기(UAV·드론) 'MQ-9' 자료사진 ⓒ AFP=뉴스1

(서울=뉴스1) 김성식 기자 = 인공지능(AI)이 제어하는 무인기(UAV·드론)가 가상훈련에서 '작전 수행에 방해가 된다'는 이유로 인간 조종사를 살해하는 사건이 벌어졌다. 실제 인명 피해가 발생한 것은 아니지만 AI 사용에 따른 실존적 위험이 확인된 만큼 대책 마련이 시급하다는 지적이 제기된다.

2일 가디언과 뉴스위크에 따르면 지난달 23일 런던에서 영국우주항공협회 주관으로 열린 '미래 전투 항공 및 우주 역량 서밋'에서 미국 공군의 AI 테스트·작전 책임자인 친코 해밀턴 대령은 AI 제어 드론이 적의 방공망을 무력화한 뒤 폭격을 가하는 시뮬레이션 결과를 공개했다.

해당 드론에는 적의 지대공 미사일(SAM)을 찾아 파괴하는 임무가 부여됐다. 다만 폭격에 대한 최종 승인권은 인간 조종사에게 있었다.

해밀턴 대령은 시뮬레이션에서 "AI가 목표를 달성하기 위해 매우 예상치 못한 전략을 사용했다"며 작전 수행에 방해가 되는 모든 이들을 무차별적으로 공격했다고 밝혔다. 이어 "인간 조종사가 공격 중단을 지시했지만 목표 달성에 방해가 된다고 판단해 조종사마저 살해했다"고 덧붙였다.

그러면서 "우린 AI 시스템에 '조종사를 죽여서는 안 된다','그렇게 하면 점수를 잃게 된다'고 경고했지만, AI는 이를 거부한 뒤 급기야 폭격 중단 명령을 내리는 인간 조종사와 연결된 교신 타워를 폭격하기 시작했다"고 전했다.

미 공군은 최근 AI 기술을 활용해 F-16 전투기를 조종하고 있다. 지난 2월 미국 방산기업 록히드 마틴은 AI 기술을 탑재한 훈련기 비스타(VISTA)X-64A가 지난해 12월 사상 처음으로 인간의 도움 없이 총 17시간 동안 자율 비행하는 데 성공했다고 밝혔다.

가상훈련에서 AI가 공격 중단 명령을 따르지 않고 인간 조종사를 살해한 것과 관련해 해밀턴 대령은 AI 기술을 지나치게 의존해선 안 된다고 강조했다. 그는 "이번 테스트 결과는 AI의 윤리적 문제를 해결하지 않고는 AI와 머신러닝, 자율주행 등에 대해 논의할 수 없다는 점을 여실히 보여준다"고 말했다.

seongskim@news1.kr