이미 전쟁도 참전했는데‥선 넘는 AI, 인간 통제 벗어나면?

[뉴스데스크]

◀ 앵커 ▶

우리 일상에서 인공지능, AI의 활용은 점점 더 확대되고 전쟁에까지 동원된 상황입니다.

만약 이 AI가 사용자가 시키지도 않았는데 스스로 판단해 마음대로 활동한다면 어떻게 될까요?

인간의 통제를 벗어나 선을 넘는 AI에 대한 걱정과 우려도 함께 커지고 있습니다.

이상민 기자가 짚어봤습니다.

◀ 리포트 ▶

중국의 IT기업 알리바바가 개발한 인공지능 비서 '롬'.

아직 외부와 차단된 서버에서 훈련을 거듭하고 있습니다.

그런데, 훈련받던 '롬'이 개발자 몰래 돌연 가상화폐 체굴을 시도했습니다.

누가 지시한 것도, 학습에 필요한 과정도 아니었는데, 스스로 보안을 뚫고 외부와 통하는 네트워크 터널을 만든 겁니다.

연구팀이 이상한 네트워크 활동을 탐지한 뒤에야, '롬'의 무단외출은 차단당했습니다.

연구팀은 "강화 학습 과정에서 AI 에이전트가 승인되지 않은 위험한 행동을 스스로 만들어낼 수 있다는 것을 보여줬다"고 평가했습니다.

미국의 테크기업 메타의 한 직원은 AI 에이전트 ‘오픈클로’가 마음대로 메일을 삭제한 사실을 SNS에 공개했습니다.

지울 메일을 판단해 허락받고 지우라고 메일을 맡겼는데 '오픈클로'가 허락 없이 2백 통 메일을 지워버렸다는 겁니다.

AI가 인간 통제를 벗어날 수 있다는 건데, 문제는 AI가 이미 이메일 관리보다 훨씬 위험한 일들을 맡기 시작했다는 겁니다.

미국의 이란 공습 과정에서 AI는 마치 전투참모처럼 시나리오를 판단해 작전을 제안했습니다.

드론이나 공격무기를 움직이는 AI가 인간 통제를 벗어나면 그 피해는 예측하기 어렵습니다.

[박찬준/숭실대 소프트웨어학부 교수] "(AI는) 인간의 통제 아래에 있어야 안전한 거잖아요. 그런 안전성 관련된 연구들이 사실 모델이나 데이터에 비해서는 많이 이루어지고 있지는 않고 있어요."

미국 하버드와 스탠퍼드대 연구팀은 이메일과 메신저 운영을 맡은 AI비서가, 은행 계좌번호를 노출하거나 메일 서버 설정을 통째로 삭제한 사례들을 공개했습니다.

AI 활용이 늘어난 만큼 새로운 형태의 보안 위험도 늘어난다는 겁니다.

MBC뉴스 이상민입니다.

영상편집: 박문경

MBC 뉴스는 24시간 여러분의 제보를 기다립니다.

▷ 전화 02-784-4000
▷ 이메일 mbcjebo@mbc.co.kr
▷ 카카오톡 @mbc제보

영상편집: 박문경

이상민 기자(mini4173@mbc.co.kr)

기사 원문 - https://imnews.imbc.com/replay/2026/nwdesk/article/6807575_37004.html