목숨 좌우할 AI무기, 기술 계획만 있고 '윤리 로드맵'이 없다

[AI시대의 윤리학: ②절대자 AI]
AI 무기 살상성을 어디까지 허용할 것인가

편집자주
인공지능(AI) 발전 속도가 무섭도록 빠릅니다. 몇 년 전 바둑에 통달하더니, 이젠 철학 에세이를 쓰고, 변호사 시험에 척 붙습니다. AI 전문가들조차 속도를 부담스럽게 여길 지경이죠. 그러나 이렇게 눈부시게 발전하는 AI를 ‘어떻게 쓸지’를 두고 아직 사회적 합의와 공감대가 형성되지 않았습니다. 인간의 목숨과 운명이 걸린 일에 AI를 활용할 수 있을까요? 이는 기술적 문제라기보단 인문학(윤리학)이 풀어야 할 질문입니다. AI 전성시대에 인간이 마주한 딜레마, 그 해결의 실마리를 함께 고민해 봅니다.

서울 용산구 전쟁기념관 내 전시된 참수리-357호에서 바라본 국방부 구 청사. 뉴스1

군은 지난달 '국방혁신 4.0 계획'을 통해 인공지능(AI) 기술을 활용한 3단계 유·무인 복합전투체계를 구축하겠다고 밝혔다. 1단계는 원격통제, 2단계는 반자율형 체계 시범, 3단계는 반자율형 체계 확산 및 자율형 체계 전환을 의미한다. 3단계 완료 시 AI가 독립적 의사결정 체계를 내장하고 상황에 따라 최선의 대응방안을 자율적으로 도출할 수 있는 '무인 전투체계'의 기반이 확립된다.

무기체계 전문가들은 "이 계획에 따르면 2028년 이후엔 군의 AI기반 무기들이 자율적으로 협업해 전투를 수행할 수 있다"는 전망을 내놓는다. AI가 전투 양상을 지휘·조정하고 무인로봇이 현장 전투를 수행하는 본격적인 'AI 전쟁'이 가능해진다는 뜻이다. 때에 따라선 '사람의 목숨을 죽이고 살리는 AI'가 등장할 수도 있다는 얘기인데, AI와 로봇에 이런 권능을 부여하면서 생기는 윤리적 문제를 어떻게 해결할 것인지에 대한 논의는 아직 본격적으로 진행되지 않고 있다.

다시 말해 △AI가 사람 목숨을 결정하는 일을 전면적으로 허용할 것인지 △AI 무기체계에 어느 정도까지의 자율성을 부여할 것인지 △그 결과에 대한 책임은 누가 어떻게 져야 하는지와 관련한 이론 수립, 법령 제정, 조직 확충, 제반 인프라 구축이 미비하다는 뜻이다.

---

AI 무기 규율할 법령 준비는 시작도 안 돼

18일 한국일보 취재를 종합하면 '군사용 인공지능 안전성 확보를 위한 윤리적 평가 및 검증요소(기준)마련'이라는 이름의 보고서가 지난해 10월 국방부에 제출됐다. 해당 보고서는 △기계에 의한 의사결정 및 살인의 책임 소재가 모호한 점 △'완전자율무기'가 되면 전장에서 사람을 배제해 '경험이 결여된' 의사결정을 하게 되는 점 등이 윤리적 쟁점이 될 수 있다고 짚었다.

정부의 군사용 유･무인 협업(MUM-T) 체계 전력화 3단계 이행계획. 국방기술진흥연구소 자료 발췌

보고서는 "(AI 기반 자율무기체계의 안전·신뢰성과 관련한) 국방부 내부 지침 마련을 위한 예비적 검토가 있었으나 국방부 훈령 수준의 지침이 정해진 적은 없다"고 밝혔다. 훈령은 상급 행정조직이 하급조직에 권한을 행사하기 위한 행정명령 체계인데, AI 무기체계에 대해서는 국방부 지침이 아직 존재하지 않는다는 뜻으로 해석된다.

국방부는 군사용 AI의 윤리적 논란을 해소하고자 총 80개 문항으로 구성된 AI 윤리성 평가 점검표(체크리스트)를 제작했으나, 현장에선 아직 사용되지 않는다. 국방부 관계자는 "연구용역을 통해 윤리적 평가 체크리스트 등이 군 최초로 만들어졌지만, 국방분야에 실제 적용하는 것은 논의 중"이라고 말했다.

군사용 AI의 윤리성을 규율할 법령 제정 쪽에서는 논의 일정도 나오지 않았다. 국방부는 본보의 질문에 11일 "자율무기체계 관련 입법문제는 국제적으로도 논의가 진행 중인 현안"이라며 "외교부·법무부·산업부 등 정부 유관부처와 방사청·군 연구기관 등 관련부서·기관 모두와 충분한 협의 및 검토를 거쳐 풀어갈 문제"라며 원론적으로 답했다.

---

군사용 AI 윤리 전담 인력 '단 1명'

군사용AI 관련 정책 등을 관장할 군의 조직 체계도 아직 미흡하다. 보고서에 따르면 지난해 상반기 기준 국방 AI 관련 조직의 편제인원은 국방부, 국방부직할부대, 합참, 육군, 해군, 공군, 해병대를 모두 합쳐 최소 63명인 것으로 확인됐다. 육군 소속이 48명으로 대부분을 차지했다. 보고서는 "육군을 제외하면 합참 및 각 군에서 인공지능을 국방에 적용하고 발전시키기 위한 조직은 미약한 편"이라고 진단했다.

이종섭 국방부장관이 26일 서울 국회 의원회관에서 열린 '국방혁신 4.0' 3차 세미나에서 개회사를 하고 있다. 2022.10.26 오대근 기자

군사용 AI의 윤리성 문제를 전담하는 인원도 부족하다. 보고서에 따르면 작년 상반기까지 국방부 내엔 전담 인원이 1명도 없었는데, 국방부는 "작년 7월 직제를 개정하면서 기존 '정보화기획관실' 명칭을 '지능정보화정책관실'로 바꾸고, AI 관련 '데이터제도·윤리담당'을 신설해 1명이 일하고 있다"고 밝혔다. 국방부는 향후 창설될 '국방AI센터'를 위해 작년 하반기부터 한시조직인 '국방AI센터 추진팀'을 신설해 운영 중이라고 덧붙였다.

전문가들은 국방혁신4.0에서 언급된 '자율무기체계'의 개념부터 명확하게 정리해야 법 체계도 만들 수 있고, 관련 조직의 원활한 구축도 가능할 것이라고 조언했다. 박문언 한국국방연구원 연구위원은 "미군은 2012년 국방부 훈령을 제정해 AI 기반 자율무기체계의 개념을 정립했다"며 "최근에는 AI 무기의 오류가 초래할 피해를 어떻게 사전 예방할 것인지에 대한 방침도 정한 것으로 알고 있다"고 말했다. 그는 "국방혁신 4.0에 언급한 '자율무기'의 경우 인간이 어느정도까지 무기사용을 통제할 수 있는지 등에 대한 개념이 정확히 정해지지 않은 상황"이라며 "이것부터 논의해야 군 내외부적으로 공유할 AI 윤리성 관련 지침도 만들 수 있고, 국제사회에서 문제가 됐을 때 대응논리도 더 명확하게 만들 수 있다"고 말했다.

---

군사용 AI 신뢰성 위해선 대량 데이터 필수

무기체계 전문가들은 목숨을 다루는 군사용 AI의 오류 가능성 최대한 줄이려는 정부 차원의 노력이 시급하다고 강조한다. '믿을 만한 AI'를 만드는 것이 자율무기체계의 윤리성 확보를 위한 첫 단추이며, 여기서 오류를 줄이려면 AI의 학습에 적합한 다량의 데이터가 필요하다는 것이다.

최명진 건양대 군사학과 교수는 "현재 국방 분야 데이터 대부분은 AI가 학습하기 어려운 형태"라고 지적했다. 최 교수는 군이 갖고 있는 원시 데이터의 수량은 방대하지만, 불필요한 자료와 필요한 자료가 뒤섞여 있는 경우가 많기 때문에 현재로선 머신러닝(기계학습)이 가능하도록 가공 및 분류하는 작업이 절실하다고 설명했다.

그는 "특히 로봇·드론 같은 무기체계는 AI 기술을 적용하더라도, 기체의 상태와 전장 환경 등에 대한 다량의 '가공·분류된 데이터'가 학습되지 않으면 실제 작전 운용 시 AI의 신뢰성이 떨어질 수 밖에 없다"며 "(학습 덜 된 AI를 활용하면) 오작동 문제 뿐 아니라 AI 무기의 피아식별이 어려워지고 자율무기체계가 본래 목적과 다른 용도로 사용되는 등 문제점이 예상된다"고 밝혔다. 최 교수는 또 "데이터가 충분하지 않으면 필연적으로 AI가 편향된 의사결정을 하는 현상이 발생한다"며 "믿을 수 있고 윤리적인 인공지능을 만들려면 정제된, 방대한 데이터 확보가 필수적"이라고 말했다.

게티이미지뱅크

이를 위해 최 교수는 민·군 겸용 데이터플랫폼 구축을 제언했다. 그는 "군사용 AI 개발에 민간의 AI 기술 활용이 필수적인 환경을 감안해, 연구 가능한 데이터를 군이 제공해야 한다는 취지의 플랫폼"이라고 했다. 그는 "별도의 폐쇄망을 만들어 민간이 요청한 군 데이터를 연구에 활용한 뒤 민간은 데이터의 원본이 아닌 연구 결과만 외부로 반출하는 형태로 운영할 수 있을 것"이라고 설명했다. 최 교수는 해당 플랫폼 구축이 가능해질 경우 신뢰성 있는 데이터 확보가 가능해져 군사용 AI의 오류를 줄이면 자연스럽게 윤리성 제고로 이어질 것이라고 전망했다.

▶ 다가오는 AI무기 시대...'윤리성'원칙도 신속하게 만들어야

https://www.hankookilbo.com/News/Read/A2023041415360001972

▶ 알고리즘은 당신의 반쪽을 알고 있다…'자만추'보다 자연스러운 '알만추'

https://www.hankookilbo.com/News/Read/A2023041212030001863

▶ 부모님 따라 정했던 프로야구 응원팀…이제 AI 알고리즘이 정한다?

https://www.hankookilbo.com/News/Read/A2023041213560003262

글 싣는 순서

①운명을 좌우하는 ‘권력자 AI’
②인생을 지배하는 ‘절대자 AI’
③인간과 공존하는 ‘동반자 AI’

윤현종 기자 belly@hankookilbo.com
최동순 기자 dosool@hankookilbo.com