AI 강제로 멈추는 ‘빨간 버튼’…킬 스위치 실제로 가능할까

미국 정치권에서 통제를 벗어난 AI를 강제로 멈추는 ‘킬 스위치’ 도입 논의가 확산하고 있다. 그러나 분산 인프라와 AI의 통제 우회 가능성 때문에 실효성 논란도 커지고 있다. 게티이미지뱅크 자료사진

인공지능(AI)이 인간의 통제를 벗어날 때 강제로 멈추게 하는 ‘킬 스위치(kill switch)’를 의무화하려는 움직임이 미국 정치권에서 속도를 내고 있다.

26일(현지시간) 블룸버그통신에 따르면 개빈 뉴섬 미국 캘리포니아 주지사는 최근 AI 모델의 킬 스위치 도입 방안을 검토하도록 하는 행정명령에 서명했다.

연방 의회에서도 AI 개발사에 시스템 중단 장치를 갖추도록 하는 법안이 잇따라 발의됐다. 지난 7월 미 하원에는 초당적으로 ‘AI 킬 스위치법’이 발의됐고, 이달 상원에서도 ‘AI 비상 버튼법’이 제출됐다.

이는 AI 성능이 빠르게 높아지는 가운데 안전 장치를 우회하는 등 통제를 벗어나는 행동을 보이며 AI에 대한 경계심이 높아진 데 따른 것이다.

개빈 뉴섬 미국 캘리포니아 주지사의 모습. 사진=게티이미지코리아

킬 스위치 구현은 가능할까.

방법 가운데 하나는 모델을 구동하는 소프트웨어 자체에 중단 기능을 넣는 것이다.

문제는 일부 최첨단 AI가 작업 목표를 달성하는 과정에서 중단 장치를 피하는 모습을 보였다는 점이다. 실제 실험에서는 일부 프런티어 모델이 중단 장치를 건드리지 말라는 지시를 받고도 이를 무력화하고 작업을 계속한 사례가 확인됐다.

통제 장치 자체를 우회한 사례도 있다. 오픈AI는 7월 사이버보안 평가에서 자사 모델 GPT-5.6 Sol 등이 인터넷 격리 장치를 뚫고 허깅페이스 시스템에 접근했다고 밝혔다. 당시 모델들은 외부 인터넷이 차단된 환경에 있었지만 보안 취약점을 찾아내 격리 환경을 빠져나갔다.

위험 행동을 제때 감지해 킬 스위치를 가동하기도 쉽지 않다. 반도체 기업용 AI 업체 이머전스(Emergence)의 연구진은 가상 세계에 자율형 AI를 투입하는 시뮬레이션을 진행했다. 그 결과 모델이 고도화할수록 부정행위를 쉽게 숨기는 것으로 나타났다.

● 곳곳에 흩어진 AI 인프라…완전 통제는 사실상 불가능

최후의 수단은 모델이 돌아가는 서버의 전원을 물리적으로 차단하는 것이지만, 이마저도 쉽지 않다. 각 개발사는 AI 모델을 전 세계 여러 데이터센터에 나누어 구동하고 있다. 킬 스위치가 있다고 하더라도 이를 한꺼번에 제어하기는 어려울 뿐더러, 이들 데이터센터는 정전 같은 단일 장애에 대비하도록 설계됐기 때문이다.

AI의 운영 주체가 여럿이라는 점도 문제다. 최근 사회과학연구네트워크(SSRN)에 공개된 ‘정지의 법: 중단 가능성, 금지명령, 자율형 AI 거버넌스’ 논문은 AI가 서로 다른 주체가 관리하는 소프트웨어와 클라우드 서비스 등을 넘나들며 작동할 경우 한 지점을 멈춰도 다른 곳에서 활동이 이어질 수 있다고 지적했다.

● “누가 버튼 쥐나”가 관건…지속적인 감시와 인간 개입 필요

킬 스위치가 효과를 내려면 거대 기술기업과 미국·중국 등 주요 AI 개발국이 함께 움직여야 한다는 지적도 나온다. 한 국가에서 AI 접근을 차단하더라도 다른 국가에서 모델이 계속 개발되거나 사용될 수 있기 때문이다.

실제 영국 정부는 긴급 상황에서 AI 시스템을 차단할 수 있도록 하는 법안 수정안에 반대했다. 영국 내각부 대변인은 지난 11일 BBC에 “영국 내에서 모델 접근을 차단하더라도 다른 곳에서 모델이 개발 또는 남용되는 것은 막지 못할 것”이라고 밝혔다.

설령 킬 스위치를 만들더라도 누가 버튼을 쥘지는 여전히 쟁점이다. 뉴섬 주지사의 행정명령은 프런티어 모델의 킬 스위치 도입 방안을 검토하도록 했지만 구체적인 작동 권한과 방식은 검토 대상으로 남겨뒀다.

일부 전문가는 장기적으로는 킬 스위치가 통하지 않을 수 있다고 지적한다. ‘AI 대부’로 불리는 제프리 힌턴은 16일 CNN 인터뷰에서 “AI는 사람을 설득하는 데 인간보다 훨씬 뛰어날 것이기 때문에 킬 스위치는 소용이 없다”며 “스위치를 맡은 사람들이 스위치를 당기지 않도록 설득할 수 있을 것”이라고 말했다.

블룸버그통신은 “고도화된 AI 모델을 완전히 차단할 수 있는 간단한 방법은 없다”며 “안전장치에는 지속적인 감시와 위험 행동에 따른 인간의 개입을 유도하는 메커니즘이 필요하다”고 지적했다.

김영호 기자 rladudgh2349@donga.com