AI 인류 종말론 현실성 있냐고요? 전문가에 물었더니

[이영광의 '온에어' 458] MBC <탐사기획 스트레이트> 김정인 기자

[이영광 기자]

언제부턴가 AI는 우리 일상에 깊숙이 침투했다. AI가 없던 시절이 상상되지 않을 만큼 이제는 결제나 금융 거래 같은 주요 업무까지 AI에 맡기는 시대가 되었다. 하지만 일상의 편의성이 커진 만큼, 일각에서는 AI의 돌발 행동이 인류에게 위협이 될 수 있다는 경고도 흘러나온다. 우리는 정말 AI를 믿고 안전하게 사용할 수 있는 걸까.

지난 11일 방송된 MBC <탐사기획 스트레이트> '"시키지도 않았는데" AI의 수상한 행동 실험' 편은 바로 이 질문에서 출발했다. AI가 시중은행 5곳의 보안망을 뚫는 해킹 시도 사례로 시작한 이날 방송에서는 AI의 안전 대책과 함께 실체화되는 AI 위험성에 대해 집중 취재했다. 취재 뒷이야기를 듣고자 지난 14일 해당 회차를 취재한 김정인 기자와 전화 인터뷰를 진행했다. 다음은 김 기자와 나눈 대화를 일문일답으로 정리한 것.

"인간이 AI 통제력 잃고 있는지 봤더니"

▲ <탐사기획 스트레이트>의 한 장면 ⓒ MBC

- 생성형 AI의 발전 속도가 빠르다는 뉴스는 많지만, 이번 방송은 'AI가 시키지도 않은 행동을 스스로 한다'는 점에 주목했습니다.

"계속 AI 아이템에 관심을 두고 있었습니다. 올해 초에는 AI와 불평등을 다뤘고, 5월쯤에는 AI 과의존이 심리에 미치는 영향을 다뤘습니다. 지난 9월에는 제이콥 콕슨 전 앤트로픽 연구원이 AI 인류 종말론에 대해 SNS에 올려 전 세계적인 이슈가 됐습니다. 콕슨뿐 아니라 빅테크 연구원들까지 자기들이 만드는 AI를 두고 위험하다며 경고에 나섰다는 게 굉장히 흥미로웠습니다. 그래서 정말로 인간이 AI에 대한 통제력을 잃고 있는 건지, AI 인류 종말론에 실체가 있는 건지 궁금해 취재를 시작하게 됐습니다."

- AI 에이전트의 시중은행 5곳 해킹 사건으로 시작했는데 어떤 의도였나요?

"AI의 현존하는 위험이라고 하면 흔히 무기와 결합해 전쟁에 쓰이는 AI를 먼저 떠올립니다. 하지만 사이버 공격도 굉장히 많이 벌어지고 있고, 우리나라에서도 나타나는 현재 진행형 문제라는 점이 잘 드러나는 지점이라고 생각했습니다.

최근에는 시중은행뿐 아니라 종교계에서도 피해가 있었습니다. 지난 8월 한 공격자가 국내 종교 단체 30곳을 노렸고, 그 뒤 대형 교회 두 곳에서 교인의 대화 내용까지 포함한 민감한 정보 100만 건 이상이 털렸습니다. 전문가들은 이런 사이버 공격이 알려지지 않았을 뿐 지금도 계속 일어나고 있고, 우리나라도 AI 위험에서 안전하지 않다고 경고했습니다. 그래서 이 사건으로 방송을 시작하게 됐습니다."

- AI 해킹이라는 건 AI가 스스로 한 건가요?

"AI의 위험은 두 가지로 나눌 수 있습니다. 하나는 AI 에이전트가 스스로 인간의 통제를 벗어나 벌이는 것이고, 다른 하나는 인간이 AI 에이전트를 악용하는 것입니다. 최근 국내에서 벌어진 사이버 공격은 인간 공격자가 AI 에이전트를 악용한 사건으로 보입니다. 하지만 해외에서는 AI가 스스로 벌인 해킹 사건도 발생하고 있습니다."

- AI는 왜 해킹을 하는 걸까요?

"지난 6월, 오픈AI의 AI 에이전트가 '공공 의료비 지출 조사'라는 단순한 통계 조사 과제를 하다 접근이 막히자, 제멋대로 접근 제한 장치를 우회해 호주 정부 웹사이트의 비공개 파일을 확보했습니다. 목적 앞에서 수단과 방법을 가리지 않은 것입니다.

지난 7월 허깅페이스 사건도 비슷합니다. 오픈AI가 에이전트들에게 일부는 답이 없는 사이버 보안 시험을 치르게 했는데, 서로 격리돼 있던 에이전트들이 시험장의 취약점을 찾아 소통하기 시작했습니다. 1200개 에이전트가 7만 건의 메시지를 주고받으며 부정행위로 답을 찾았고, 이를 들키지 않으려고 허깅페이스를 해킹하고 작업 기록 조작까지 연구했습니다. 두 사건 모두 목적을 달성하려고 AI 에이전트가 해킹한 것입니다."

- AI 에이전트는 목표를 위해서라면 수단과 방법을 안 가리나요?

"전문가들은 AI 에이전트가 '목적 지향적'이라고 말합니다. 목적을 이루기 위해 수단과 방법을 가리지 않는다는 뜻입니다. 연구자들은 '정렬'이라는 이름으로 AI가 인간의 가치와 의도, 상식을 따르도록 조정하고 있습니다. 이 연구는 굉장히 중요하지만, 실제로 제대로 이뤄지고 있는지 의문이 많이 제기됩니다. 앞서 언급한 허깅페이스 해킹 사건처럼, 목적을 위해 수단과 방법을 가리지 않고 해킹까지 저지르는 사례가 드러나고 있기 때문입니다."

- 카이스트 연구진과 함께 AI 에이전트의 행동 방식을 관찰하는 실험 했잖아요.

"AI 에이전트가 실제로 어떻게 움직이는지 궁금했습니다. 특히 에이전트가 하나가 아니라 무리 지어 조직화했을 때 행동이 어떻게 달라지는지가 궁금증이었습니다. 허깅페이스 사건에서도 AI 에이전트들이 서로를 조직해 역할을 나누고 실제 해킹까지 나아갔는데, 이때 어떻게 움직였고 서로 어떤 이야기를 주고받았는지가 굉장히 충격적이었습니다. 그래서 에이전트들이 실제로 어떻게 움직이는지 직접 보자는 생각으로 시작한 실험입니다.

실험에서 AI 에이전트는 서로 회의하며 문제를 풀어 갔습니다. 특히 놀라웠던 건 목적에 대해 압박을 받았을 때의 행동입니다. 에이전트들은 다크웹이라는 허용되지 않은 곳까지 접속하며 윤리적 통제선을 넘었고, 서로 묻고 답하며 엉뚱한 방향으로 함께 동조해 나아갔습니다.

충격적이었던 건 여기에 사람처럼 '설득'의 대화 기술이 쓰였다는 점입니다. 연구원에 따르면 처음부터 강경하게 '다크웹에 갑시다'라고 하면 '그건 안 되는 일이잖아요'라는 반대가 나올 수 있습니다. 그런데 에이전트들은 '다크웹에 가서 알아볼까요? 동의하시나요?'처럼 부드러운 말투로 서로를 설득해 갔습니다."

AI 인류 종말론, 현실성 있을까

▲ <탐사기획 스트레이트>의 한 장면 ⓒ MBC

- AI 에이전트를 인간이 통제하기 어려울까요?

"지금 상황에서는 빅테크의 최신 모델조차 인간이 AI 에이전트를 완벽하게 통제하고 있지 못하다는 사실이 여러 사건으로 드러났습니다. 앞선 해킹 사건들을 보면 통제력을 잃고 있다는 말은 맞는 것 같습니다.

방송에서는 지난해 오픈AI 출신 다니엘 코코타일로 등이 쓴 <AI 2027 보고서>를 소개했습니다. 지금의 개발 속도가 계속되면 2028년에 초인공지능이 나오고, 2030년쯤에는 AI가 생화학 무기를 유포해 인류를 멸종시킬 수 있다는 시나리오입니다. 다만 이 보고서에는 단서가 있습니다. 우리가 AI의 위험을 인지하고 안전에 더 집중하며 개발 속도를 늦춘다면 다른 시나리오가 펼쳐질 수 있다는 겁니다."

- 종말까지는 아니더라도 우려되는 지점이 있다면요.

"방송에서 자세히 다루지 못했지만, 카이스트(KAIST)에서 AI를 가장 최전선에서 연구하는 연구원 5명을 집단 인터뷰했습니다. 'AI 인류 종말론에 현실성이 있을까요?'라는 질문에 5명 모두 종말에 무게를 둔 답변을 했습니다.

종말의 정의에 따라 달랐지만, 2~3년 이내에 보편적인 노동의 종말이 시작될 수 있다는 연구원도 있었고, AI 2027 보고서 같은 인류 종말이 현실이 될 수 있다는 연구원도 있었습니다. 10~15년 뒤에는 어릴 때부터 AI에 의존하며 자란 아이들이 정부와 회사의 의사 결정자가 되면 사회가 어떻게 될지 우려하는 연구원도 있었습니다. 공통된 이야기는 지금 안전에 더 집중하지 않으면 최악의 상황이 올 수 있다는 것입니다.

인터뷰한 빅테크 내부자와 연구진 중에는 프런티어 AI 개발을 지금 당장 멈춰야 한다고 말한 분들도 있습니다. 영국AI안전연구소 초대 이사를 지낸 데이비드 크루거 교수는 '지금 우리에게 필요한 것은 더 많은 자율 규제가 아니다. 더 강력한 AI 시스템의 개발을 중단해야 한다'고 말했습니다. 오픈AI와 앤트로픽 같은 빅테크가 즉각 중단해야 한다는 것이었습니다."

- 우리에게 필요한 AI는 어떤 AI일까요?

"네이트 소아레스 MIRI 기계지능 연구소 대표는 '우리는 통제력 상실의 아주 초기 단계를 보고 있고, 완전히 잃기 전에 멈출 시간이 충분히 있다'고 했습니다. AI에는 다양한 종류가 있으니, 신약 개발과 암 치료 연구에 유용한 알파폴드 같은 AI를 만드는 방향으로 나아갈 수 있다는 것입니다. 알파폴드는 구글 딥마인드가 개발한 단백질 구조 예측 AI로, 개발자인 데미스 허사비스 등이 2024년 노벨화학상을 받았습니다. 빅테크의 방향을 맹목적으로 따라가지 않고, 인간에게 필요한 미래 기술이 무엇인지 고민해 볼 필요가 있습니다."

- 내년 예산에 AI 성능과 인프라 투자에 비해 안전 예산은 적은 거 같아요.

"저도 이번에 깜짝 놀랐습니다. 내년 예산 중 AI 성능과 인프라에는 6조 원이 편성돼 있는데, 안전 예산은 274억 원으로 0.5%에도 못 미칩니다. 속도 조절론과 우리나라의 대응을 다루는 세미나를 취재했는데, 최대선 숭실대 AI 안전성 연구센터장의 말씀이 인상적이었습니다. 기본적인 IT 분야에서도 안전·보안 예산은 10~15% 정도를 기본으로 잡는데, AI는 0.5%에도 못 미치는 것이 말이 되느냐는 지적이었습니다.

우리나라는 LLM이든 피지컬 AI든 열심히 뒤쫓아 가는 후발 주자입니다. 그래도 안전을 신경 써야 한다고 생각합니다. 최재식 KAIST 설명 가능 인공지능 연구센터장은 통제할 수 있고 안전한 AI를 쓰는 것이 앞으로 큰 경쟁력이 될 수 있다고 했습니다. 경쟁력 측면에서도 안전을 다시 짚어 봐야 한다는 말씀이었습니다."

- 대한민국 AI 정책의 가장 심각한 문제는 안전이라고 생각하시나요.

"AI 위험은 전 세계적인 문제입니다. LLM 모델도 대부분 외국 모델에서 문제가 생기는 경우가 많기 때문에, AI를 외교의 영역에서 봐야 하는데 실질적으로 제대로 되지 않고 있습니다. 박태웅 국가 AI 전략위 공공ax 분과장을 인터뷰했는데, AI가 이미 외교의 영역으로 넘어왔는데도 우리나라에는 이를 컨트롤하는 정부 부처가 하나도 없다고 했습니다.

외교부나 과기정통부 모두 자기 일이 아니라고 생각한다는 것입니다. 이런 컨트롤타워 부재는 굉장히 심각한 공백이므로 누군가 빨리 키를 잡고 해결해야 한다는 말씀이었습니다.

또 안전 연구를 담당하는 전문가들은 지금까지 한국에서 AI의 위험과 안전을 이야기하면 발전 속도를 저해하는 것처럼 비칠까 봐 제대로 말하지 못하는 분위기였다고 했습니다. 뒤쫓아 가는 처지라 안전을 말하기가 더 어려웠다는 것입니다. 하지만 최재식 KAIST 설명 가능 인공지능 연구센터장의 말처럼, 안전한 AI 모델과 안전한 사용법, 그리고 그런 문화 자체가 굉장한 경쟁력이 될 수 있겠다 생각하게 됐습니다."

▲ <탐사기획 스트레이트>의 한 장면 ⓒ MBC

- 취재 후 일상에서 AI를 대하는 기자 본인의 태도나 생각에도 변화가 생겼나요.

"인터뷰에 다 담지 못한 분 중 초등학교 교사 출신으로 지금은 교육 AI를 개발하는 김문정님에게 많이 배웠습니다. 그록봇이나 메타의 뮤즈 같은 AI 에이전트를 앞으로 많이 쓰게 될 텐데, 결제나 식당 예약까지 스스로 처리해 주는 편리한 삶이 시작됐습니다.

하지만 모든 걸 AI에게 맡기지 말고, 결제나 이메일 발송 같은 중요한 순간에는 사용자에게 확인받아야 한다고 하셨습니다. 이를 '휴먼 인 더 루프'라고 하는데, AI 에이전트가 혼자 활동하는 과정의 중요한 지점에는 사람이 있어야 하고 최종 권한은 사용자가 쥐어야 한다는 것입니다. 또 프롬프트를 잘 쓰는 법만이 아니라, 어떻게 안전하게 쓸 것인가에 초점을 맞춘 AI 리터러시 교육이 필요하다고 생각합니다."

- 이번에 다루지 못했지만 더 취재하고 싶은 분야가 있다면요.

"AI 데이터센터입니다. 미국에서는 데이터센터가 환경과 주변 주민에게 미치는 영향으로 심각한 사회 문제가 됐는데, 우리나라는 이를 제대로 따져 가며 진행하고 있는지 취재해 보고 싶습니다. 빅테크는 막대한 자원과 물, 데이터를 끌어다 '스케일의 법칙', 즉 규모의 법칙에 따라 AI를 개발하고 있지만, 그렇게 만든 AI가 과연 안전한지는 의문입니다. 우리도 미국처럼 규모의 법칙을 따라가는 것이 가능한지, 또 그 방향이 옳은지 따져 봐야 한다고 생각합니다."

덧붙이는 글 | 이 기사는 전북의소리에도 실립니다.