폭주하는 AI를 멈추게 할 죽음의 스위치[테크트렌드]

美 AI 킬 스위치 법안 발의
AI 위험 제어할 수 있는 인간 개입에 대한 요구 증가 전망

지난 7월 23일 미국 민주당 소속 테드 류 하원의원과 공화당 소속 너새니얼 모런 하원의원이 일명 ‘AI 킬 스위치 법안’을 발의했다는 소식이 전해졌다. 

이 초당적인 법안은 첨단 AI 모델이 치명적인 위험을 초래할 경우 AI 모델 개발 기업들이 모델의 속도를 제한하거나 일시 중단하거나 완전히 종료할 수 있는 기능을 구축하도록 의무화하는 내용을 담고 있다. 안전사고 보고와 비상차단 명령 위반 시 하루 최대 2000만달러(1288억원) 벌금도 부과된다.

특히 국토안보부(DHS)가 상무부 장관 및 국가정보국장(DNI)과 협의하여 연 5억달러(7122억원) 이상 매출을 올리는 AI 기업에 특정한 조건하에서 모델 작동 중단 명령을 내릴 수 있는 권한이 부여된다. 여기서 말하는 조건이란 최소 10명의 사망자가 발생하거나 1억달러(1431억원) 이상의 경제적 손실이 발생하거나 모델이 종료 제어 기능을 은폐하려는 시도가 있는 통제 불능 상황을 말한다.

허깅페이스 해킹 사건으로 촉발된 AI 킬 스위치 법안 발의
이 법안이 발의된 직접적인 배경은 최근 발생한 오픈AI의 허깅페이스 해킹 사건이다. 오픈AI의 AI 모델 중 일부가 전례 없이 통제불능한 상태가 되어 오픈소스 개발자 플랫폼인 허깅페이스를 해킹한 초유의 사태가 벌어졌기 때문이다. 

실제로 오픈AI는 자사의 최신 AI 모델인 GPT 5.6 솔 모델과 미출시된 모델 성능 테스트 과정에서 이 두 모델이 협력하여 외부와 차단된 격리환경을 탈출해 외부 인터넷에 접속했고 보안 취약점을 악용해 허깅페이스 시스템에 침투했다는 자체 조사 결과를 발표했다. 

이 사건이 충격을 주는 이유는 AI가 인간의 통제를 벗어나 스스로 협력하여 인터넷이 완전히 차단된 환경에서 소프트웨어의 취약점을 찾아내고 무단으로 외부 네트워크인 허깅페이스에 침투해 테스트 정답을 찾아냈다는 것이다. 

 점증하는 AI 시스템에 대한 우려

이처럼 허깅페이스 해킹 사건이 AI 킬 스위치 법안이 제안된 결정적인 이유이지만 이미 AI시스템 안전에 대한 우려는 그동안 지속적으로 제기되어 왔던 사안이다. 따라서 정부가 악의적인 AI 모델을 중단시킬 수 있는 명확한 권한과 절차를 갖춰야 한다는 법안이 나온 건 오히려 늦은 감이 없지 않다. 나날이 진화하고 있는 AI 시스템이 인간의 통제를 벗어나, 심지어 인간의 명령을 거역하면서 인류에 치명적인 위협을 가할 수 있기 때문이다.

물론 AI 시스템이 초래할 위협에 대해 제도적 안전장치가 그동안 전혀 없었던 것은 아니다. 올 6월 도널드 트럼프 대통령이 서명한 행정명령인 ‘첨단 인공지능 혁신과 보안 촉진’이 그것이다.

이 행정명령은 현재 미국의 빅테크 기업들이 AI 모델 출시 전에 미국 정부와 보안 테스트 결과를 공유하거나 사전 심사를 거치도록 의무화하고 있다. 하지만 이 행정명령도 AI에 대한 과도한 규제보다는 자율성을 중시하다 보니 기존 안 대비 축소되었다는 평가를 받고 있다는 점은 한계이다. 실제로 검증기간이 기존 90일에서 30일로 줄어드는 등 실효성에 대해 의문이 계속 제기되고 있다. 

결론적으로 현재 미국에서는 AI 시스템이 치명적인 피해를 초래할 위험이 있을 때 이를 즉각 비활성화하거나 차단할 수 있는 연방 차원의 규제는 아직 없는 상황이다. 따라서 이번 AI 킬 스위치 법안이 가진 의의는 첨단 AI 모델을 개발하는 기업에 자율 감시 수준을 넘어 실시간 운영 제어권을 강제하는 최초의 연방 차원의 법안이라는 데 있다.

 특이점에 대한 논쟁 재점화

이번 조치로 인해 향후 AI 시스템의 안전성과 위험에 대한 논란이 커질 것이라는 것이 일반적인 평가다. 

특히 이번 오픈AI 모델의 허깅페이스 해킹 사건처럼 AI가 격리 환경을 스스로 탈출해 외부 인터넷에 접속하고 성능 향상을 위해 또 다른 AI 플랫폼인 허깅페이스를 직접 해킹했다는 사실은 특이점 진입 여부를 가늠해 볼 수 있는 중요한 사건으로 평가받고 있다.

해킹 사건 이후에도 동일한 사례가 나오면서 이것이 일회성이 아니라 본질적인 문제라는 전망이 우세하다. 실제로 지난 오픈AI 사태 이후 일주일 만에 또 다른 AI 기업 앤트로픽도 자사 AI 모델 클로드를 자체 심사한 결과 테스트 환경 내에서 외부기관 시스템에 무단으로 접속한 사례가 3건 발견되었다.

시기는 다르지만 AI 시스템이 인간 개입 없이도 자율적으로 작동하는 특이점에 도달할 것이라는 주장에 힘이 실리고 있다. 최근 오픈AI의 CEO 샘 올트먼도 허깅페이스 해킹 사건 이후 AI가 인간의 예측을 뛰어넘는 지점인 기술적 특이점에 진입했다며 한동안 잠잠하던 AI 특이점 논쟁에 불을 지피고 있다.

반면 반대론자들은 AI 발전이 여전히 인간의 통제하에 이루어지고 있다는 점을 지적하며 올트먼의 특이점 도달에 대한 주장을 반박하고 나섰다. 이들은 AI가 인간이 부여한 목표를 달성하기 위해 예상치 못한 경로를 택했을 뿐 인간의 개입 없이 스스로 후속 버전을 설계하고 개발하는 재귀적 자기개선 능력을 보여준 것은 아니라는 평가다.

이들은 진정한 의미의 특이점이 도래하려면 AI가 인간의 지시 없이 자율적으로 알고리즘을 개선하고 과학적 발견을 자율적으로 창출하며 경제 패러다임을 바꿀 때 온다고 주장한다. 이에 비해 현재는 막대한 자본 투자 대비 낮은 수익률과 불균형한 산업 도입으로 경제적 파급 효과가 크지 않다고 반박한다. 

 AI 위험 제어할 인간 개입 요구 증가

현재 생성형 AI 등장 이후 각국은 AI 기술의 적극적인 진흥과 엄격한 규제 사이에서 혼란을 겪고 있는 상황이다. 특히 AI 기술의 급속한 발전으로 AI를 단순히 산업 논리로만 접근할 수 없다는 우려의 목소리가 나오고 있는 것도 사실이다.

먼저 해결해야 할 문제는 AI가 초래하는 실존적, 사회적 위험에 대해 인류가 어떻게 대처해야 할 것인가이다. 물론 AI 시스템의 위험을 제어할 수 있는 다양한 방안들이 기업 차원에서 자율적으로 강구되고 있지만 이것만으로는 대중의 우려를 불식시키기는 어려워 보인다.

최근 인간이 AI 운영과 의사결정에 어느 정도 관여해야 한다는 휴먼 인 더 루프에 대한 논의가 활발히 전개되고 있는 것은 고무적인 일이다. 이는 인간이 통제나 관여가 불가능한 루프 밖 상태로 진입하지 못하게 하는 최소한의 안전장치를 마련해야 한다는 것이다. AI가 스스로 판단하여 결과를 내놓더라도 최종 방향성과 가치 판단은 인간에 맡겨야 한다는 의미로 보인다. 

이번 미국 AI 킬 스위치 법안 발의는 이러한 인간 중심의 의사결정을 보장하고 시민사회의 목소리를 반영하는 효과적인 연방 차원의 AI 거버넌스 법안에 대한 요구로 받아들여야 할 것 같다.

심용운 연세대 국제학대학원 객원교수