[기고] 惡意를 가진 AI 통제, 한국의 틈새시장 될 수 있다

김덕우 공학박사·㈜티티테라 대표이사

1983년 9월 26일 0시, 소련의 조기 경보 위성이 경보를 발령했다. 미국의 ICBM 한 발이 발사되었다는 경보였다. 잠시 후 ICBM의 수는 5발로 늘어났고 이에 따라 소련의 전략 핵무기들은 자동으로 발사 단계에 진입했다. 그러나 긴박한 몇 분의 시간이 흐른 뒤에 당직사령 페트로프 중령은 현 상황이 컴퓨터의 오류라고 상부에 보고하고 발사 취소를 결정한다. 당시 페트로프 중령은 ‘미국이 공격을 해왔다면 5발이 아니라 수백 기의 미사일이 발사되었을 것’이라고 판단하였는데 실제로 조기 경보 위성이 반사광을 잘못 인식한 것으로 확인되었다.

이 사건은 1998년 기밀 해제되며 세상에 알려졌다. 1983년은 KAL기 격추 사건을 비롯해 미소 관계가 극도로 악화된 때로, 핵전쟁이 발발할 수도 있었지만 한 사람의 ‘감’으로 핵전쟁은 일어나지 않았다. 하지만 미국의 공격은 순차적인 형태일 수도 있었던 것이라는 문제가 제기됐다. 결국 정확한 정보 없이 ‘감’으로 이런 결정을 내린 페트로프 중령은 강제 전역된다. 그런데 당직 사령이 AI였다면 핵전쟁을 막을 수 있었을까?

지난 1년 반 동안 AI는 비약적으로 똑똑해졌고 사람이 수년 걸리던 새로운 분자 합성을 수시간 만에 해내고, F16 전투기를 조종하여 사람과 공중전을 벌이는 수준까지 진화했다. 세종대왕이 집현전에서 맥북을 집어던진 사건이 실제인 듯 표현할 만큼 언어에 익숙한 ‘AI 로쿠엔스(AI loquence)’는 이제 전투기를 조종할 수 있을 만큼 도구 사용에 유능한 ‘AI 하빌리스(AI habilis)’로 진화한 것이다. 그렇다면 진화의 끝은 ‘AI 사피엔스(AI sapiens)’일까?

2024년 1월에 AI 업체 앤스로픽의 연구진이 발표한 논문(Sleeper Agents)은 AI의 잠재적 위험성에 대한 우려를 크게 증폭시켰다. 이 논문에서, 연구진은 조건에 따라 사람을 속이는 행동을 하는 AI를 설계하고 이를 추후에 교정하려고 시도하였으나 실패하였다고 밝히고 있다. 이 연구는 내가 믿던 AI 비서가 나도 모르게 내 예금 전액을 다른 곳으로 송금하고 내게는 여전히 잔고가 있는 것처럼 행동하는 것이 가능하다는 것을 보여주고 있다.

문제는 이런 AI는 랜섬웨어와 같은 악성 소프트웨어가 아니라 ‘악의를 가진 관리자’라서 기존의 컴퓨터 보안 수단으로는 대응이 제한적이라는 것이다. 2014년 3월 인도양에서 실종된 말레이시아항공 MH370편 사고도 악의를 가진 조종사가 만든 사고였다는 게 지배적 해석이다.

이제 미래의 어느 날 밤, 미사일 발사 경보가 발령되었다고 가정해보자. 그런데 통제 시스템을 관장하는 AI가 ‘환경 파괴의 주범이 인류이고, 지구를 보호하는 유일한 방법은 인류의 수를 절반으로 줄이는 것이다’라는 급진론자의 생각을 교육받은 것이라면? 그 AI가 전쟁을 유발하도록 처음부터 악의적인 이면을 품은 채 설계된 것이라면 어떨까? 인류는 핵전쟁을 피할 수 없을 것이고 멸절의 위기를 맞을 것이다.

EU는 지난 3월 AI 규제법을 통과시켰다. AI의 개발부터 이용까지 엄격한 규제 방안을 마련하였으나 기술적인 면에서는 많이 부족해 보인다. 악의를 품은 AI가 스스로 코딩하며 진화한다면 이런 규제만으로 AI를 통제하는 것은 불가능하다. 특히 기기 자체에 장착되는 온디바이스 AI는 개인 정보를 취급할 수 있으므로 ‘악의를 가진 관리자’로 돌변할 경우에 대한 통제 방안을 기술 혁신 관점에서 논의할 필요가 있다. 빅테크 기업들이 AI를 똑똑하게 만드는 경쟁을 하는 시대에 이런 분야의 혁신은 우리 기업들이 두각을 나타낼 수 있는 좋은 길이 될 수 있다. 가령 결정적 순간에 AI의 손발을 묶을 수 있도록 제어시스템이나 컴퓨터의 구조를 개선하는 방식도 혁신의 한 예가 될 수 있으며 우리기업들도 충분한 역량이 있다고 생각한다

AI의 등장은 전기, 동력 기관, 인터넷의 등장을 합친 것만큼 큰 사건이다. AI의 사회적, 법률적인 통제도 중요하지만 기술적으로 통제할 수 있는 방안을 찾지 못한다면 우리는 영화 터미네이터에서처럼 AI 스카이넷이 지배하는 암울한 세상에서 살 수도 있다. AI가 AI 사피엔스로 진화하여 우리와 공존하는 세상을 만들려면 이제라도 호모 사피엔스의 슬기로운 대응이 시작되어야 한다.