‘실수’라며 넘어간 살상, AI 무기 통제 못하면 일상
“이란과의 분쟁이 새로운 국면에 접어드는 지금, 100명이 넘는 어린이들의 목숨을 앗아간 학교 공습에 대해 행정부 내에서 누구에게 책임을 물을지 이제는 말씀해주실 수 있습니까?”
도널드 트럼프 미국 대통령이 주요 7개국(G7) 정상회의 마지막 날인 2026년 6월17일 연 기자회견에서 뉴욕타임스 기자가 물었다. 기자가 말한 사건은 미국과 이스라엘의 이란 침공 첫날인 2월28일 미군이 이란 남부 호르모즈간주 미나브에 위치한 초등학교 샤자레 타이예베(‘선한 나무’라는 뜻)를 폭격해 여학생과 교직원 등 170명 이상이 목숨을 잃은 대규모 참사를 가리킨다.
“지금 시점에 참 이상한 질문이군요.” 운을 뗀 트럼프 대통령은 참사를 대수롭지 않게 여겼다.
“실수는 일어나기 마련이고, 전쟁은 끔찍한 법이죠.”
낡은 데이터 불구, 막을 수 있었던 미나브 참사
영국 가디언, 미국 시엔엔(CNN), 뉴욕타임스 등 외신 보도를 종합하면 당시 표적 선정은 인공지능(AI) 플랫폼 ‘메이븐’이 했다. 위성이나 무인기가 촬영한 영상을 수집·분석해 목표물을 식별하고 공격 우선순위를 정하는 시스템이다. 그런데 2016년 이란 이슬람혁명수비대 기지에서 분리된 건물이 학교로 개조된 사실이 미국 정보기관인 국방정보국의 데이터베이스에 반영되지 않았다. 한 분석가가 그 건물이 학교처럼 보인다고 수년 전에 알렸지만, 이 정보는 표적 설정 담당자에게 전달되지 않았다고 한다.
결국 메이븐이 이 낡은 데이터를 바탕으로 추천한 표적을 미군은 반증 없이 과신했고 미사일을 발사했다. 참사를 막을 수 있었던 인간의 판단과 통제는 작동하지 않았다.
메이븐은 인간의 군사적 의사결정을 지원하는 정보를 제공하도록 설계된 전산화 도구다. 이를 의사결정지원체계(DDS)라고 한다. 이스라엘의 팔레스타인 땅 가자지구 점령과 러시아의 침공으로 발발한 우크라이나 전쟁 등 현대 무력 분쟁에서 AI 기반의 의사결정지원체계는 이미 널리 쓰이고 있다. 혹자는 이란 미나브 참사를 예로 들며 ‘인간의 개입이라는 안전장치가 있더라도 AI 기술의 군사적 이용 문제를 해결할 수 없는 것 아니냐’고 생각할 수 있다.
그러나 중요한 것은 안전장치가 제대로 작동했느냐다. 인간의 ‘유의미한’ 판단과 통제는 재앙을 막을 수 있다. 다음은 책 ‘인간 없는 전쟁’(최재운 지음, 북트리거 펴냄, 2026)이 소개한 사례다.
‘1960년 10월5일 새벽, 북미방공사령부(NORAD) 요원들은 경보시스템이 울리는 것을 보고 얼어붙었다. 조기경보 레이더가 대륙간탄도미사일 수백 기의 발사를 포착한 것이다. 미사일은 소련에서 미국을 향해 날아오고 있었다. 컴퓨터는 이 공격이 ‘99.9% 확실하다’고 판단했다. (…) 하지만 극도의 공황 속에서도 NORAD의 책임자였던 로이 슬레몬 중장은 기지를 발휘했다. 그는 즉시 NORAD 정보책임자에게 소련의 지도자 흐루쇼프의 위치를 물었다. 당시 흐루쇼프는 뉴욕에서 유엔 총회에 참석하고 있었기에, 소련이 자국 지도자를 미국에 두고 핵 전면전을 감행한다는 건 상식적으로 불가능하다는 결론에 도달할 수 있었다. 확인 결과, 경보의 정체는 다름 아닌 떠오르는 달이었다. (…) 인간의 침착한 이성 덕분에 제3차 세계대전은 가까스로 막을 수 있었다.’
갱신된 규제 초안 살펴보니
인간이 AI 시스템의 출력값을 그대로 믿고 따르는 것과 그 출력값을 검증하고 최종 판단을 하는 것은 전혀 다른 결과를 낳는다. 게다가 AI에는 치명적 약점이 있다. ‘환각’이다. 모르는 정보나 논리를 마치 사실인 것처럼 만들어내는 현상이다. 전장에서 아군을 적군으로, 민간인 거주지를 적군 기지로 식별해 공격할 수 있다는 뜻이다. 그런 AI가 인간의 통제권마저 벗어나 스스로 판단을 내린다면 미나브 참사 같은 민간인 살상 피해는 지금보다 더 큰 규모로, 더 자주 발생할 수 있다.
이것이 자율살상무기체계(LAWS)를 둘러싼 지금의 국제사회 논의가 AI 기술 발전과 깊이 연관된 이유다. LAWS는 메이븐 같은 AI 기반 의사결정지원체계보다 더 위험하다. 인간의 개입 없이 스스로 표적을 식별하고, 선택하며, 무력행사가 가능한 무기체계이기 때문이다. 이에 국제사회는 현재 LAWS의 사용 금지와 규제를 논의하고 있다.(제1607호 표지이야기 참조)
그 논의를 하는 국제 협의체가 정부전문가그룹(GGE)이다. 유엔 특정재래식무기금지협약(CCW) 체약당사국 대표단과 여러 국제기구, 비정부기구, 학계 등이 폭넓게 참여한다. 2017년 첫 회의를 시작한 GGE는 2026년 11월에 열리는 CCW 검토회의(조약 이행 상황 점검)에 법적 구속력이 있는 새로운 군축 조약의 바탕이 될 조문 형태의 제안서를 제출해야 한다. GGE가 마련 중인 그 제안서의 초안이 ‘롤링 텍스트(Rolling Text)’다. 최종 합의에 도달할 때까지 수정과 보완을 거듭한다는 뜻이다. 그러나 CCW의 만장일치 의사결정 구조 아래 규제 완화 쪽과 강화 쪽 이견이 좀처럼 좁혀지지 않고 있다.
가장 최근인 3월에 열린 GGE 회의 내용을 반영한 롤링 텍스트가 6월5일 발표됐다.
1. CCW의 적용 범위 내에서 LAWS는 시스템을 운용하는 인간의 개입 없이 표적을 식별, 선택, 교전할 수 있는 하나 이상의 무기와 기능적으로 통합된 기술 구성 요소의 조합으로 그 특성을 규정할 수 있다.
A. 인간이 잠재적 표적의 집합 또는 그 특성을 설계, 프로그래밍하거나 그 밖의 방식으로 결정한다는 사실이 해당 시스템을 위 특성 규정에서 제외하지 않는다. 공격을 계획, 결정하거나 수행하는 운용원이, 시스템이 교전할 특정 표적 또는 표적 집단을 결정하면 그 시스템은 위 특성 규정에 포함되지 않는다.(이하 생략)
이 수정안에서 문제가 되는 지점은 위 1항 A호의 두 번째 문장이다. AI 같은 기계가 아닌 인간이 표적을 결정하면 그것은 LAWS로 보지 않는다는 내용으로, 이전 수정안(2025년 12월18일)에는 없던 문언이다. 3월 GGE 회의 때 아일랜드, 파나마, 방글라데시, 국제 시민사회 연대 캠페인인 ‘스톱킬러로봇’ 등이 이 문장의 삭제를 요구한 적이 있다.이들은 지금의 AI 기반 의사결정지원체계처럼 인간과 기계가 모두 관여하는 방식이 규제에서 배제될 위험이 있고, 인간의 개입이 명목상에 그칠 수 있어 규제가 쉽게 무력화될 수 있다고 우려했다.(각주1)
문아영 피스모모 대표는 6월24일 “새로 추가된 문언은 표적 결정이 인간의 실질적 판단인지, AI가 추천한 표적을 절차적으로 승인한 것에 불과한지를 구별할 수 없다”며 “인간이 화면에 뜬 표적을 형식적으로 한 번 눌러주기만 해도 인간이 표적을 선택했다고 간주해 규제 대상에서 빠질 수 있다”고 설명했다. 문 대표의 설명대로라면 미나브 참사 같은 사례는 규제할 수 없다.
인권법 준수는 무시
12. 구별, 비례성, 공격시 예방조치 원칙과 요건을 포함한 국제법, 특히 국제인도법 준수를 유지하기 위해 LAWS에 관한 인간의 판단과 통제가 필요하다. 이것은 지속적인 인간의 직접 통제를 의미하지는 않는다. 오히려, 요구되는 인간의 판단과 통제의 적절한 수준을 결정할 때는 작전 맥락, 무기체계 전체의 특성과 능력을 포함해 다양한 요소를 고려해야 하며….
문 대표는 앞의 12항 중 ‘지속적인 인간의 직접 통제를 의미하지는 않는다’는 문언에 대해 “구별, 비례, 공격시 예방조치와 같은 국제인도법의 핵심 규칙은 맥락에 따른 인간의 판단을 전제로 하며, 이는 기계에 위임될 수 없다”며 “무기를 활성화한 시점과 실제 타격 시점 사이에 민간인이 작전지역에 들어오는 것과 같은 변화를 실시간으로 읽어내야 하는 것이 인간의 법적 의무인데, 그 의무를 유연성이라는 이름으로 내려놓을 위험이 있다는 점에서 문제가 크다”고 짚었다.
백범석 경희대 법학전문대학원 교수는 6월23일 “의미 있는 인간 통제의 핵심은 통제(직접 조종)라는 외형이 아니라 판단이라는 실질에 있다”고 말했다.
“이는 곧 식별, 표적 선택, 교전이라는 (무기체계의) 핵심 기능에 대해 인간이 충분한 정보와 시간을 바탕으로 실질적 판단을 행사함으로써 국제인도법의 원칙이 실제로 적용되고, (AI가 사람을 살상했을 때) 인간의 책임 공백이 발생하지 않으며, 인간 존엄성이 보전되는 상태를 의미합니다. 그런데 (앞의) 12항을 포함한 롤링 텍스트 전체가 오로지 국제인도법 준수의 틀에서 인간 통제를 다룰 뿐, 국제인권법을 시야에 두지 않는다는 점은 우려스럽습니다. (AI 같은) 디지털 군사 신기술은 생명권, 인간 존엄성, 차별 금지를 비롯한 국제인권법상의 권리를 직접 침해할 수 있습니다. 예를 들어 AI는 장애인 보조 기구를 무기로 오인해 비차별 원칙을 위반할 수 있습니다.”
혹자는 현재 AI 기술을 활용한 군비 경쟁이 치열해지고 있고, 미국의 원격 조종형 무인 정찰기인 프레데터(MQ-1), 리퍼(MQ-9) 같은 ‘반자율무기체계’ 또는 미국의 대공요격체계인 C-RAM 같은 ‘인간감시 자율무기체계’가 이미 실전에 배치됐기 때문에 ‘완전자율무기체계’(아래표 참조)에 해당하는 LAWS를 금지·규제하는 조약의 필요성에 의문을 제기한다.
기계에 휘둘리는 위험한 미래
그러나 인류 역사에는 용인될 수 없는 무기로 인한 피해를 상당히 줄인 인도주의적 군축 조약 사례가 다수 존재한다. 이 사례들은 무기가 개발되거나 전장에 사용되기 전에 이를 금지한 경우다. 1868년 상트페테르부르크 선언의 17개 서명국이 포기를 약속한 특정 폭발탄(인체 내에서 폭발하는 탄환)의 대인 사용, 1980년 CCW 제4의정서에 의해 금지된 레이저 무기(영구적 실명을 야기하는 레이저 무기)의 대인 사용이 여기에 해당한다. 이런 국제법들은 해당 무기의 사용으로 용인될 수 없는 결과가 발생하기 전에 고통을 방지했다.(각주2) 적어도 완전자율무기체계인 LAWS가 실전에 쓰이기 전에 구속력 있는 규범을 조속히 만들 필요가 있다는 목소리가 나오는 이유다. 나아가 자동화 편향(자동화된 시스템의 판단을 인간의 판단보다 더 신뢰하는 경향) 문제가 두드러진 AI 기반 의사결정지원체계의 위험성을 제어하는 규범이 필요하다는 지적도 있다.
‘인간 없는 전쟁’의 저자 최재운은 다음과 같이 말했다. “달을 미사일로 오인한 컴퓨터를 끝내 인간의 이성으로 제어했던 1960년의 교훈을 우리는 결코 잊어서는 안 된다. 눈앞의 편리함에 길들여져 생각하기를 멈춘 사회는, 인간 스스로 책임을 묻지도 못한 채 기계의 실수에 휘둘리는 위험한 미래로 표류하게 될지 모른다.”
오세진 기자 5sjin@hani.co.kr
1. 문아영, ‘특정재래식무기금지협약(CCW) 자율살상무기체계(LAWS) 정부전문가회의(GGE) 2026년 1차 회의 결과 분석 보고서’, 피스모모, 2026
2. ICRC, ‘Autonomous Weapon Systems and International Humanitarian Law: Selected Issues’ , 2025
□ 1607호 표지이야기: 책임 없는 살상 AI
https://h21.hani.co.kr/arti/society/society_general/59083.html
<혁신의 이름으로, 살상이 자동화된다>
https://h21.hani.co.kr/arti/society/society_general/59090.html
<세계 최초? 가장 위험한 선례가 될 수도 있다>
□ 1608호: 알고리즘의 전쟁
https://h21.hani.co.kr/arti/society/society_general/59110.html
<전쟁을 움직이는 손, 이제는 빅테크다>
Copyright © 한겨레21. All rights reserved. 무단 전재, 재배포 및 크롤링 금지.