[이규화의 글로벌AI] AI무기 어디까지 허용할 건가… 앤스로픽 이어 오픈AI도 반발

美 전쟁부와 계약 맺은 오픈AI의 고위임원 사임
“AI에 ‘살상 자율성’을 부여하는 데 고민 필요”
앤스로픽 이어 오픈AI 내부에서도 반발 움직임
AI 무기 어디까지 허용해야 할지 유엔 논의 중
韓·네덜란드·스페인 주도 ‘REAIM 회의’ 개최

최근 미국이 이란 공습 과정에서 인공지능(AI)을 활용해 공격 목표를 분석하고 결정하는 데 도움을 받았다는 사실이 알려지면서 “전쟁에서 AI를 어디까지 허용할 것인가”를 놓고 논쟁이 거세지고 있다.

특히 미 전쟁부와 협력 관계를 맺은 주요 AI 기업 내부에서도 윤리적 우려가 제기되면서 기술기업과 안보 사이의 긴장이 커지는 모습이다. AI가 전장에 본격 투입되는 시대가 현실화한 가운데 기업과 정부, 국제사회가 어디까지를 ‘허용 가능한 군사적 활용’으로 볼 것인지에 대한 기준은 아직 정립되지 않은 상태다.

논란의 중심에 미 전쟁부와 협력 관계를 맺은 AI 기업들이 있다. 챗GPT를 개발한 오픈AI는 최근 미 전쟁부와 AI 기술 협력 계약을 체결했지만, 그 직후 고위 임원이 공개적으로 우려를 제기하며 회사를 떠나 파장이 커졌다.

미국 정치전문 매체 폴리티코에 따르면 오픈AI의 로보틱스 책임자였던 케이틀린 칼리노브스키는 지난 7일(현지시간) 사임 의사를 밝혔다.

그는 자신의 소셜미디어 글에서 “사법적 감독 없는 미국인 감시와 인간의 허가 없는 살상 자율성 문제는 더 깊은 고민이 필요했다”며 “이는 원칙의 문제”라고 밝혔다.

또 “안전장치가 확립되기도 전에 국방부와의 계약 발표가 성급하게 이뤄졌다”며 “의사결정 구조에 대한 우려가 있다”고 지적했다.

차세대 사업으로 꼽히던 로보틱스 부문 총책임자의 사임은 오픈AI 내부에서도 군사 협력에 대한 우려가 상당하다는 점을 보여준다.

회사 측은 논란이 커지자 “국방부와 협력하되 국내 감시 금지와 자율 살상 무기 금지라는 선을 명확히 하고 있다”고 설명했다. 그러나 논란은 쉽게 가라앉지 않았다. 오픈AI가 전쟁부와 계약을 체결한 이후 이용자들의 반발도 이어지며 챗GPT 애플리케이션(앱) 삭제율이 급증했고, 앱스토어에는 항의성 ‘1점 후기’가 대거 올라왔다.

이 같은 상황은 이미 다른 AI 기업에서도 나타난 바 있다. 생성형 AI 모델 ‘클로드’를 운영하는 앤스로픽의 최고경영자(CEO) 다리오 아모데이는 미 전쟁부가 자사 AI를 미국 시민 감시나 완전 자율형 무기 체계에 활용하려는 움직임에 반대해온 것으로 알려졌다. 전쟁부가 AI 모델 ‘클로드’를 보다 광범위하게 군사적으로 활용하려 하자, 앤스로픽은 미국인에 대한 전방위 감시나 완전 자율형 살상 무기에는 사용할 수 없다는 입장을 고수했다.

이 과정에서 트럼프 행정부와 갈등이 불거졌고, 미 전쟁부는 앤스로픽을 ‘미 국익에 협조하지 않는 공급망 위험 기업’으로 지정하려 했다는 보도까지 나왔다.

AI 기업 내부에서 윤리적 경계선을 둘러싼 갈등이 이어지는 가운데, 어떤 기업은 전장에 AI를 적극적으로 도입하는 중이다. 미국 데이터 분석 기업 팔란티어 테크놀러지가 바로 그 기업이다. 이 회사는 군사작전에서 AI를 활용한 정보 분석과 표적 탐지 기술을 적극 제공하며 미군과 협력 관계를 확대해왔다.

이처럼 전장 AI 활용에 적극적인 기업과 신중한 접근을 요구하는 기업 사이의 시각차가 뚜렷하다.

전문가들은 특히 AI에게 ‘살상 자율성’을 어디까지 부여할 것인가가 핵심 쟁점이라고 지적한다. 인간의 직접 명령 없이 기계가 공격 대상을 결정하는 ‘치명적 자율무기체계’(LAWS)를 둘러싼 논쟁은 이미 국제사회에서도 격렬하게 진행 중이다.

뉴욕타임스 등 외신 보도에 따르면 현재 논의의 핵심은 ‘의미 있는 인간 통제’ 여부다. AI가 전투를 보조하는 수준을 넘어 스스로 공격 결정을 내리는 단계까지 허용할 것인지가 쟁점이라는 것이다.

이 문제는 유엔 특정통상무기금지협약(CCW)을 중심으로 2017년부터 국제적 논의가 이어지고 있다. 오스트리아 등 다수의 중립 성향 국가들과 시민단체들은 “AI가 스스로 공격 대상을 결정하는 것은 윤리적으로 용납될 수 없다”며 전면 금지를 요구하고 있다.

이들은 제2차 세계대전 후 제네바협약이 전쟁 규범을 만들었듯, ‘AI 시대의 제네바 협약’을 통해 자율 살상 무기를 원천적으로 금지해야 한다고 주장한다.

반면 미국과 러시아 등 군사 강대국들은 전면 금지보다는 ‘책임 있는 사용’ 원칙을 강조한다. AI 기술이 군사와 민간 양쪽에서 활용되는 ‘이중용도’ 기술인만큼 과도한 규제가 기술 발전을 막을 수 있다는 논리다.

이처럼 현재 국제사회는 AI의 군사 활용을 둘러싸고 금지와 허용 사이에서 줄다리기를 이어가는 상황이다.

이와 관련해 지난 2월에는 한국과 네덜란드, 스페인 등이 주도해 네덜란드 헤이그에서 ‘REAIM Summit’(인공지능의 책임 있는 군사적 이용에 관한 고위급회의)가 열렸다. 이 회의에서는 AI의 군사 활용이 가져올 위험성을 경고하고 책임 있는 사용 원칙을 논의하는 정치적 선언이 채택됐다.

다만 법적 구속력이 있는 국제조약으로 이어지기까지는 갈 길이 멀다.

결국 인류는 “기계에게 어디까지 살상 권한을 줄 것인가”라는 근본적 질문과 마주하고 있다. 잘못된 결정을 하게 된다면 인류 종말이라는 아포칼립스를 맞을 수도 있다.

이규화 대기자 david@dt.co.kr