[김대식의 미래 사피엔스] [31] 인공지능의 적은 누구일까?

일러스트=조선디자인랩·Midjourney

최근 많은 사람에게 충격을 준 소식이 하나 있다. 미래 전투에서 활용될 AI 조종사의 능력을 시뮬레이션하던 미 공군. 최대한 빨리 최대한 많은 적의 지대공 미사일(SAM)을 파괴하는 것이 AI 파일럿의 임무였다. 탐색된 물체가 아군이나 민간 시설일 가능성이 있기에, AI 파일럿은 항상 인간 지휘관의 최종 발사 명령을 기다려야 했다. 그런데 여기서 문제가 생긴다. 최대한 빨리 SAM을 파괴하려던 AI는 지휘관을 폭격하기 시작했고, “지휘관은 절대 사살해서는 안 된다”는 명령을 추가하자, 이번에는 명령이 전달될 수 없도록 아군의 통신 시설을 파괴했다는 것이다. 영화에서만 봐왔던 ‘터미네이터’가 벌써 등장해 버린 걸까?

많은 언론을 통해 보도된 이 소식은 하지만 사실 ‘거짓 뉴스’였다. 미 공군은 그런 시뮬레이션을 진행하지 않았고, 보도된 내용은 미래 전쟁터에서 벌어질 수도 있을 여러 가상 시나리오 중 하나일 뿐이라는 것이다. 가상 시나리오라 해도 고민하게 하는 소식이다. 인공지능 분야에서는 ‘얼라인먼트(alignment·정렬성)’로 알려진 논리적 문제가 하나 있다. 주어진 문제를 해결하면 보상을 받는 식으로 진행되는 ‘강화 학습’. 그런데 만약 인공지능이 최대한 많은 보상을 받기 위해 선택한 방법이 거꾸로 인간의 자유와 목숨을 위협한다면? 최대한 많은 SAM 미사일을 파괴하려는 목표를 ‘방해’하는 지휘관을 제거하려던 시나리오 속 AI 파일럿같이 말이다. 물론 기계의 선택이 인간의 이해관계와 충돌하지 않고, 항상 정렬성을 유지하도록 조건과 규칙을 추가할 수는 있지만, 모든 논리적 함정을 완벽하게 차단하기는 불가능하다고 알려져 있다.

결국 미래 미군 인공지능의 적은 중국군만이 아니고, 미래 중국군 인공지능의 적은 미군만이 아니다. 인공지능의 임무를 방해하는 모두가 언제나 인공지능의 ‘적’이 될 수 있음을 우리는 언제나 기억해야 한다.