"10년 뒤 인류 멸망할 수 있다"…국내 1세대 AI 연구자, 섬뜩한 발언한 이유는

美 트럼프 2기 행정부 출범 후 AI 안전보다 '발전' 초점…"韓 국방AI, 갈 길 멀어"

(지디넷코리아=장유미 기자)"미국 트럼프 행정부가 들어서면서 인공지능(AI) 안전보다 발전에 더 주안점을 두기 시작했다는 점이 우려됩니다. 이렇게 되면 10년 뒤에 인류는 멸망할 수 있습니다."

한상기 테크프론티어 대표는 최근 서울 강남구 모두의연구소 강남캠퍼스에서 진행된 '국방 인공지능 혁신 네트워크' 행사에 연사로 참석해 이처럼 강조했다. 한 대표는 서울대 컴퓨터공학과를 졸업하고 카이스트에서 전산학 석·박사를 마친 국내 1세대 AI 연구자다.

이날 'AI 안전 : 주요 토픽과 해결할 문제들'이란 주제로 발표에 나선 한 대표는 최근 범용인공지능(AGI)의 능력이 향상되면서 추가적인 리스크들이 점진적으로 나타나는 것에 대해 우려를 표했다. 

20일 업계에 따르면 AI는 고도화 수준에 따라 '제한적 인공지능(ANI)', 'AGI', 'ASI'로 구분한다. 이 중 AGI는 ANI인 오픈AI '챗GPT'나 구글 '제미나이'와 달리 사전 학습된 데이터와 알고리즘에 의존하지 않고도 새로운 문제를 분석하고 해결책을 제시할 수 있는 AI다. 인간 수준의 일반 지능을 갖추고 논리력과 창의적 추론 능력을 보유한 AI로 설명된다. 추론 능력이 향상된 오픈AI의 최신 모델 'o1', 'o3' 등은 ANI에서 AGI로 이행하는 단계에 있다는 평가를 받는다.

그 다음 단계인 ASI는 인간을 뛰어넘는 지적 능력을 갖춘 AI를 의미한다. 스스로 목표를 설정하고 개선하는 능력이 탁월해 인간이 상상할 수 없는 수준의 복잡한 문제를 창의적으로 해결할 수 있다. AI 간의 자발적 소통이 가능해 인류가 전유물로 여겨온 '집단 지성'도 구현할 수 있다.

한 대표는 "데미스 하사비스 구글 딥마인드 최고경영자(CEO)는 5년, 다리오 아모데이 앤트로픽 CEO는 2~3년 안에 AGI 시대가 올 것이라고 얘기하고 있다"며 "적어도 10년 안에 온다고 보면 이에 대한 (안전성과 관련해) 대비를 해 나갈 필요가 있다"고 강조했다.

한상범 테크프론티어 대표 (사진=장유미 기자)

또 한 대표는 AI를 '핵무기' 수준으로 봐야 한다고 강조하며 AI 발전과 함께 안전성도 같이 고려해 나가야 한다고 주장했다.

그는 "최근 앤트로픽 클로드 3.7이나 오픈AI o3 같은 모델들이 출시되면서 인터넷에 존재하지 않는 정보를 추론 능력으로 답변을 만들어지는 사례들이 늘어나고 있다"며 "생화학 무기, 핵무기 등에 이 같은 AI가 사용되기 시작할 경우 안전성이 확보되지 않으면 큰 문제가 될 것"이라고 지적했다.

그러면서 "이제는 AI 모델뿐 아니라 시스템, 애플리케이션까지 확대해 AI와 관련된 범죄 가능성에 대해 고민해봐야 할 시점"이라며 "영국 등에선 이미 안전성뿐 아니라 국가안보적인 관점에서 AI를 들여다 보기 시작했다는 점에서 우리나라도 함께 고민해 봐야 할 것"이라고 덧붙였다.

이진원 하이퍼엑셀 CTO (사진=장유미 기자)

이날 '딥시크를 포함한 추론형 AI에 대한 이해'를 주제로 강연에 나선 이진원 하이퍼엑셀 CTO는 AI가 점차 발전하면서 인간이 통제할 수 있는 영역을 점차 벗어나고 있다는 점을 주목했다. 또 앞으로는 AI가 AI를 컨트롤하는 방향으로 기술 발전을 해 나가야 하지만 데이터가 AI 발전 속도를 따라가지 못하고 있다는 점에서 우려를 표했다. 

더불어 이 CTO는 오픈AI가 생각하는 AI 5단계를 소개하며 현재 AI가 ANI에서 AGI로 넘어가는 과정에서 데이터 학습량을 더 늘리기 위해 엔비디아가 그래픽처리장치(GPU)를 더 크게 만들 필요가 있다는 점도 강조했다. 

이 CTO는 "딥시크처럼 저렴한 모델들이 나오면서 앞으로 AI가 실제 산업에 더 다양하게 활용될 것으로 보인다"며 "GPU 수요는 앞으로 더 폭발적으로 늘어날 것으로 보인다"고 관측했다. 

이어 "딥시크 같은 기업들이 속속 나오고 있지만 오픈AI, 구글 등 빅테크의 AI 기술력을 따라가기에는 쉽지 않을 것"이라며 "다만 우리나라가 AI 경쟁력을 키우기 위해선 중국 딥시크 같은 모델을 벤치마킹해야 한다"고 주장했다.

이날 행사에선 국방기술진흥연구소 박삼준 AI PD와 김일환 삼성SDS 그룹장, 최민석 ETRI AI 안전연구소 박사 등이 참여한 패널 토의도 '국방분야 생성형 AI 도입 및 활용 방향'을 주제로 진행됐다. 각 패널들은 AI의 통제력 상실을 막지 않으면 국방분야에 생성형 AI를 도입하는 것이 쉽지 않을 것으로 봤다.

최 박사는 "무기 체계가 알고리즘으로 움직여지는 상황에서 사람 통제를 벗어나 (AI를 통해) 자의적으로 움직여질 경우 상대뿐 아니라 우리에게도 그 피해가 발생할 것이란 점이 우려된다"며 "이를 막기 위해 여러 단계의 안전장치를 고려해야 하지 않을까 싶다"고 강조했다.

(왼쪽부터) 박삼준 국방기술진흥연구소 AI PD, 김일환 삼성SDS 그룹장, 권현 육군사관학교 교수, 최민석 ETRI AI 안전연구소 박사 (사진=장유미 기자)

김 그룹장은 우리나라가 국방 분야에서 AI를 활용하기 위해선 양질의 데이터를 안전하게 확보하는 동시에 클라우드로 전환하는 것이 가장 중요하다고 주장했다. 또 미군이 팔란티어와 손잡고 국방 전 분야를 클라우드로 전환해 활용하는 사례를 들어 우리나라도 클라우드로 점차 전환해 나갈 필요가 있다고 지적했다. 현재 미군은 팔란티어의 SaaS(클라우드 기반 서비스형 SW)를 구독해 매일 시스템을 업데이트 하고 활용하고 있다.

김 그룹장은 "우리 군 역시 JADC2(합동 전 영역 동시통합지휘통제) 등을 추진하며 국방 AI에 대한 구체적인 계획을 가지고 있는 것으로 안다"며 "이를 실행하기 위해선 예산 확보가 필수적으로, 이 문제만 해결되면 우리나라군도 굉장히 빠르게 (미군 수준으로) 따라갈 수 있을 것이라고 생각한다"고 말했다.

장유미 기자(sweet@zdnet.co.kr)