다가오는 AI무기 시대... '윤리성' 원칙도 신속하게 만들어야

[AI시대의 윤리학: ②절대자 AI] 
AI무기 윤리성 평가에 소홀한 군

편집자주
인공지능(AI) 발전 속도가 무섭도록 빠릅니다. 몇 년 전 바둑에 통달하더니, 이젠 철학 에세이를 쓰고, 변호사 시험에 척 붙습니다. AI 전문가들조차 속도를 부담스럽게 여길 지경이죠. 그러나 이렇게 눈부시게 발전하는 AI를 ‘어떻게 쓸지’를 두고 아직 사회적 합의와 공감대가 형성되지 않았습니다. 인간의 목숨과 운명이 걸린 일에 AI를 활용할 수 있을까요? 이는 기술적 문제라기보단 인문학(윤리학)이 풀어야 할 질문입니다. AI 전성시대에 인간이 마주한 딜레마, 그 해결의 실마리를 함께 고민해 봅니다.

한화시스템이 국방기술진흥연구소와 약 360억 규모의 '차세대보병전투차량 다중 위협체 대응 지능형 능동방호 기술' 과제 계약을 체결했다고 지난달 3일 밝혔다. 사진은 '차세대보병전투차량 다중위협체 대응 지능형 능동방호체계'를 구현한 이미지. 한화시스템 제공

군이 2021년부터 '국방 인공지능(AI) 추진전략'의 하나로 AI 윤리 기준 정립을 내세우고 있으나, 지금까지 AI 기반 무기체계 개발을 위한 민간업체 공모 과정에선 ' 윤리성 평가' 기준을 전혀 적용하지 않은 것으로 확인됐다. 같은 기간 공모를 통과해 사업을 수행 중인 국내 방산업체 중에서도 'AI신뢰성 검증'을 받은 곳은 한 군데도 없었다. 군이 AI 무기의 기술 개발에만 치중할 뿐, AI 무기 사용의 기반이 되어야 할 윤리성 문제를 소홀히 하고 있다는 비판을 피하기 어려울 것으로 보인다.

---

군, 업체 AI윤리 평가 '아직 기준 없어'

18일 한국일보 취재와 배진교 정의당 의원(국방위원회)이 방위사업청과 해군으로부터 받은 자료를 종합하면, 방사청은 2021년부터 올해 2월까지 총 25건의 '산학연 주관 무기체계 패키지형 핵심기술'과제를 수행하고 있다. 25건 중 AI 기술이 활용되거나 탑재되는 무기체계 개발 과제는 8건에 이른다.

그러나 방사청은 이 8건의 수행 주체로 최종 선정된 민간업체 등의 제안서를 검토하면서 AI 윤리성을 담보할 안전도 및 신뢰도의 평가 기준을 적용하지 않았다. 관련 기준이 아예 없었기 때문이다.

LIG넥스원이 지난해 11월부터 개발 착수한 잠수함용 지능형 임무지원시스템 통합자동화 기술 개발 개념도. 국가과학기술지식정보서비스(NTIS) 홈페이지 내 과제 공고문 일부.

AI 기반 무기체계 과제엔 국내 주요 방산업체들이 참여하고 있다. 그 중 하나는 작년 11월 LIG넥스원이 개발 착수를 발표한 '잠수함용 지능형 임무지원시스템 통합자동화 기술'이다. '잠수함의 적 탐지·추적→식별·위험평가→무장할당·전술운용' 과정에 AI를 접목한 것이다.

해군도 지난해 12월 '전투용 무인잠수정 개념설계 기술지원 연구용역 사업'을 위해 대우조선해양을 선정해 계약했으나, 업체의 제안서 평가 기준에는 AI 기술의 윤리성과 관련한 안전도·신뢰도 평가기준이 없는 것으로 확인됐다.

지난해 12월 27일 대우조선해양 서울사옥에서 대한민국 해군, 대우조선해양 등 5개사 관계자들이 전투용 무인잠수정 개념설계 착수회의를 마친 뒤 기념촬영을 하고 있다. 대우조선해양 제공

이에 대해 방사청 관계자는 "AI의 신뢰성을 담보하고자 국방부가 관련 윤리 기준을 세우고 있어, 국방부와 연계해 향후 마련될 기준에 따라 업무를 추진할 것”이라고 설명했다. 해군은 "해당 사업은 군의 요구사항을 기술적으로 구체화 하는 단계로, 제안서엔 AI기술의 윤리성 평가 기준이 없다"며 "향후 기본설계 단계에서 관련 부대와 협조해 AI 윤리성 평가기준 구축 등을 검토할 예정"이라고 했다.

---

방산업체 중 AI신뢰성 '외부검증'0곳

군의 A I기반 무기 개발에 참여한 국내 방산기업 중 자발적으로 AI 신뢰성을 외부로부터 검증 받았던 사례 또한 1건도 없는 것으로 파악됐다. 과학기술정보통신부 산하 한국정보통신협회(TTA)는 지난해 2월 △계획 및 설계 △데이터 수집 및 처리 △모델화 △시스템 구현 △운영 및 모니터링 등 AI 개발 모든 단계에 걸쳐 15개 요구사항, 65개 검증항목을 만들고 모든 민간 기업이 자율적으로 AI 신뢰성을 검증 받도록 하고 있다. 이는 공공영역에서 유일하게 구축한 AI 신뢰성 외부 평가 체계다. TTA 관계자는 "AI면접 솔루션 기업 제네시스랩, 산불 자동 감지 솔루션 업체 알체라 등 여러 분야 기업이 AI신뢰성 검증을 거쳤으나 대형 방산업체 중에서 검증을 받은 곳은 없었다"고 밝혔다.

황영규 알체라 대표(왼쪽 네 번째)가 지난 2월 미국 소노마 카운티 산불감시 상황실에서 자사AI기반 산불감지 시스템 '파이어스카우트'시연을 마친 후 기념 촬영을 하고 있다. 당시 미국 캘리포니아를 방문 중이던 이상민 행정안전부 장관(왼쪽 일곱 번째)도 해당 시연에 참석한 것으로 알려졌다. 알체라는 지난해 과기부 산하 한국정보통신협회(TTA)의 AI신뢰성 검증을 통과한 실적을 미국 전력기업 PG&E로부터 인정받고 해외 진출에도 성공한 업체다. 알체라 제공

이에 대해 방산업체들은 AI 기반 무기체계의 최종 사용자가 군이므로, AI 윤리에 대한 군의 요청 사항이 있으면 이를 따르겠다는 입장이다. LIG넥스원 관계자는 "방위사업은 기업-정부 납품 방식(B2G)으로 진행하기 때문에, AI 무기체계 도입 역시 윤리성 확보 등에 대한 군의 요구조건이 정해지면 그에 따라 사업을 진행할 것"이라고 밝혔다. 대우조선해양 관계자도 "사업 단계에 따라 군과 협의해 AI 윤리성에 대한 가이드라인 등을 마련해 나갈 것"이라고 말했다.

한화시스템 관계자는 미 국방부가 2020년 발표한 AI 사용 5원칙(책임성, 공정성, 추적성, 신뢰성, 통제가능성)을 기준으로 AI 기술을 개발 중이라고 설명하면서 "현재 개발 중인 전차 능동방호시스템에 적용하는 AI 기술은 ‘영상 또는 레이더 신호 기반 객체인식 및 분류’에 한정돼 고위험 인공지능은 아니다"고 밝혔다.

김진표 국회의장, 정청래 국회 과방위원장, 조승래 과방위 더불어민주당 간사, 정필모 더불어민주당 과방위원, 김영식 국민의힘 과방위원이 지난달 28일 오후 서울 여의도 국회의원회관에서 열린 달 탐사 특별전 개회식에서 국민의례를 하고 있다. 뉴시스.

전문가들은 해외에서 AI 윤리 법제 움직임이 빨라지고 있는 만큼 국내 방산기업의 AI 외부검증 움직임도 속도를 낼 것이라고 전망했다. 박도현 광주과학기술원(GIST) AI대학원 법정책 연구실 교수는 "선진국에 첨단 무기체계를 수출하려는 국내 방산기업들도 윤리성 규제에 초점을 맞춘 유럽연합(EU)의 AI법 등의 준수를 고려해야 할 시점이 오고 있다" 며 "한국은 2020년 '국가AI윤리기준'을 정하고 AI 신뢰성 외부 검증의 토대를 마련했는데, 국방 분야 민간기업도 이런 기조를 따라갈 필요가 있다"고 진단했다.

방산기업들은 국회에 계류된 '인공지능법'의 영향을 받을 가능성도 있다. 최근 국회 과학기술정보방송통신위원회 법안심사소위에서 최종 수정된 인공지능법안은 △국가기관 등이 사용해 국민에게 영향을 미치는 의사결정(전쟁 등)을 위해 활용되는 AI △국민의 안전, 건강 및 기본권 보호에 중대한 영향을 미치는 AI 등을 '고위험영역 인공지능'으로 정의하고 있다. 법안 제정 및 심의에 참여한 복수의 과방위 관계자는 "국가기관이 사용하는 고위험영역 인공지능에는 국방부나 군이 군사적으로 활용하는 AI도 포함될 수 있다"고 설명했다.

▶ 목숨 좌우할 AI무기, 기술 계획만 있고 '윤리 로드맵'이 없다

https://www.hankookilbo.com/News/Read/A2023041415560000383

▶ 알고리즘은 당신의 반쪽을 알고 있다…'자만추'보다 자연스러운 '알만추'

https://www.hankookilbo.com/News/Read/A2023041212030001863

▶ 부모님 따라 정했던 프로야구 응원팀…이제 AI 알고리즘이 정한다?

https://www.hankookilbo.com/News/Read/A2023041213560003262

윤현종 기자 belly@hankookilbo.com
최동순 기자 dosool@hankookilbo.com
이현주 기자 memory@hankookilbo.com
이승엽 기자 sylee@hankookilbo.com