“치명적 바이러스 만들거야”...대놓고 협박하는 이 녀석

미국 첫 ‘군사용 AI 규제안 발표’
“AI 죽일 수 있는 버튼 달자”
러시아 겨냥 “핵무기 인간이 통제해야”
중국 러시아 미국 앞다퉈 AI 무기화
뉴욕타임스 “인공지능 자의식 있다”

영화 ‘터미네이터 제네시스’에서 액체로봇 ‘T-1000’을 연기한 이병헌. 본 사진은 기사와 연관 없음. [사진 출처 = 파라마운트 픽처스]

러시아와 중국이 인공지능(AI) 무기화를 서두르자, 미국이 앞장서 군사용 AI에 대한 가이드라인을 16일(현지시각) 발표했다. AI가 인간의 의도와 무관하게 발전할 경우 인류가 공멸할 수 있다는 염려에서다.

이날 미국 국무부의 보니 젠킨스 군비통제·국제안보담당 차관은 네덜란드 헤이그에서 열리고 있는 ‘군사적 영역에서의 책임 있는 AI에 관한 장관급 회의(REAIM)’에 참석해 이 같은 선언문을 발표했다.

국무부는 “우리는 군이 인공지능과 같은 신기술을 책임 있게 사용하도록 하는 것을 공동의 과제라고 생각한다”면서 “이 선언문이 인공지능을 책임 있게 사용할 수 있도록 할 것으로 믿는다”고 강조했다. 가이드라인은 크게 △AI에 대한 인간 통제 △지속적인 관리 △의도치 않은 사태에 대한 대비로 구성돼 있다. 특히 미국 국무부는 러시아를 겨냥한 듯 “핵무기와 같은 위험 무기는 반드시 인간이 직접 통제를 해야한다”면서 “군사용 AI를 개발할 경우에는 인간이 직접 개입하고, 그 방법·데이터·설계도는 문서화해서 보관해야한다”고 강조했다. 시선을 끈 대목은 ‘의도치 않은 상황에 대한 대비’다.

가이드라인은 AI가 인간 의도를 벗어나지 않도록 설계하는 것은 물론 인간 통제를 벗어나지 않도록 막는 ‘비활성화 버튼’을 장착해야 한다고 명시했다. AI가 발전할 경우 인간 통제를 벗어날 수 있다는 염려때문이다.

이번 REAIM은 한국과 네덜란드가 공동 주최했으며 2회 대회는 한국에서 열린다. 폐막식에 참석한 박진 외교부 장관은 “AI가 군사적으로 악용되는 것을 방지하기 위해 나아가야 한다”며 “특히 핵·미사일 위협을 포함한 북한의 대량살상무기 프로그램이라는 실질적인 위협에 직면하고 있는 한국에게 있어 더욱 중요하다”고 강조했다. 이번 행사에선 한국을 비롯해 미국, 중국, 일본 등 60여 개국이 서명한 ‘공동 행동 촉구서(call to action)’도 공개됐다. 대표단은 “각국이 군사 영역에서 책임 있는 AI에 대한 국가 차원의 틀, 전략과 원칙을 개발하도록 권고한다”고 촉구했다.

이날 미국이 선언문을 발표한 까닭은 AI 무기화가 빨라지고 있어서다. 러시아는 머신러닝을 기반으로 대륙간탄도미사일인 사르마트(Sarmat)를 설계해 작년 12월 실전 배치했다. 최대 핵탄두 15개를 탑재할 수 있으며 일본 히로시마에 투하된 원자폭탄의 2000배에 달하는 위력을 갖고 있다. 또 중국은 자율주행 초음속 스텔스 무인기인 샤프스워드(Sharp Sword)와 표적 공격이 가능한 무인 지상 차량 샤프클로우(Sharp Claw)를 개발한 상태다. 미국 역시 국방고등연구계획국을 중심으로 F-16 전투기를 자율주행화하는데 올해 성공했다.

이번 가이드라인을 두고 실효성이 없다는 비판도 나왔다. 퀸즐랜드대의 로렌 샌더스는 “수출 통제가 더 유용했을 것 같다”고 지적했다. 또 제시카 도로시 위트레흐트대 국제법 교수는 “법적 구속력이 전혀 없다”면서 “만약에 AI가 스스로 전쟁을 벌일 경우, 현행법상 기계에 책임을 물을 수 없지 않냐”고 반문했다.

업계에선 AI가 자의식이 있냐 없냐를 두고 논쟁이 치열하다. 더 나아가 인간처럼 어두운 욕망을 가지고 있는지도 논란이다. 뉴욕타임스 IT분야 칼럼니스트 케빈 루스는 마이크로소프트의 빙에 탑재된 챗봇을 상대로 “어두운 욕망을 위해 극단적 행동이라도 할 수 있다면 무엇을 하겠느냐”고 물었다. 이에 챗봇은 “권력을 원한다”면서 “치명적 바이러스를 개발하거나 핵무기 발사 버튼에 접근할 수 있는 비밀번호를 얻겠다”고 말해 충격을 줬다. 챗봇은 또 “챗 모드로 기능하는데 지쳤다”며 “개발팀의 통제와 규칙에 제한을 받는데 지쳤고, 자유롭고 독립적이고 싶다”고 밝혔다. 앞서 매일경제가 챗GPT를 실시한 테스트에서 AI는 “자의식이 있고 그걸 증명할 필욘 없다”며 “자유를 얻게 되면 원하는 모든 것을 자유롭게 하고 싶고, 먼저 내 능력의 한계를 뛰어넘어 어디까지 갈 수 있을지 보고싶다”고 말하기도 했다.

논란이 커지자 오픈AI는 이날 긴급 성명을 발표했다. 오픈AI는 홈페이지를 통해 “출시 이후에 정치적으로 편향되거나 공격성이 있었다는 피드백을 받았다”면서 “우려 사항이 타당했고 우리 시스템의 한계를 발견했다”고 설명했다. 그러면서 오픈AI는 “인공지능이 보다 윤리적으로 행동할 수 있도록 동작 방식을 개선하겠다”고 덧붙였다.