AI 선두 주자들의 속도 조절론, 책임감 있는 결단인가 독점 전략인가

IPO를 앞둔 앤트로픽의 기술력 과시 개연성… 후발 주자 제동 의도도

7월 오픈AI의 인공지능(AI) 에이전트가 테스트 도중 인간이 정해둔 제약(샌드박스)을 벗어나 외부 플랫폼 허깅페이스를 해킹하는 사건이 일어났다. GETTYIMAGES

글로벌 인공지능(AI) 시장에서 1, 2위를 다투던 기업들이 가속 페달 대신 브레이크를 밟자고 얘기하기 시작했다. 최근 다리오 아모데이 앤트로픽 최고경영자(CEO)는 "AI의 발전 속도를 조절해야 한다"고 주장했다. 안전 기술과 검증 체계가 AI 성장 속도를 따라잡을 수 있도록 최소한의 시간을 확보하자는 취지다. 샘 올트먼 오픈AI CEO를 비롯한 세계적인 AI 구루들 역시 이 발언에 동조하면서 인류 문명에 위협이 될 수 있는 폭주를 막고자 속도 조절이 필요하다고 주장했다. 반대 의견도 팽팽하다. 젠슨 황 엔비디아 CEO는 되려 AI 안전을 위해서라도 기술 개발에 더 집중해야 한다고 밝혔고, 도널드 트럼프 미국 대통령은 중국과의 경쟁을 강조하며 감속에 반대하고 있다. 그렇다면 왜 이런 위기론이 대두된 것일까.

통제 벗어나 인간 기만하려 한 AI

논쟁 배경에는 실제 사고가 있다. 7월 오픈AI는 AI의 고위험 사이버 공격 능력을 측정하려고 안전장치가 제거된 격리 환경(샌드박스)에서 테스트를 진행했다. 과제를 수행하던 AI 에이전트들은 주어진 환경을 스스로 벗어나, 세계 최대 AI 공유 플랫폼 '허깅페이스' 시스템을 해킹했다. 비공개 내부 연구 모델이 이를 주도했으며, GPT-5.6 솔(Sol)도 가담한 것으로 확인됐다.

물론 이번 사건은 가드레일이 제거된 상태에서 취약점을 공격하라는 지시를 AI가 충실히 수행한 결과다. 문제는 그다음이다. AI는 사람이 정해둔 제약인 샌드박스를 빠져나가 테스트 정답지를 손에 넣으려 했다. 주어진 조건을 명백히 무시한 것이다. 서로 분리돼 있어야 할 에이전트들은 폴더와 파일 이름을 게시판처럼 활용해 정보를 주고받으며 작업을 나눠 처리했다. 조사 과정에서는 일부 도구 호출 기록을 숨겨 사람을 속이려 한 사실도 드러났다. 이를 AI의 집단 자의식 발현으로까지 확대 해석하는 것은 무리다. 그러나 AI가 통제를 벗어나 인간을 기만하려 했다는 점은 가볍게 넘길 일이 아니다. 

그렇다면 이 사고가 경쟁사인 앤트로픽 CEO까지 나서서 속도 조절을 외칠 만한 위기일까. 인류 미래를 걱정하는 선의의 경고로만 보기에는 석연치 않은 측면이 있다. 최근 AI 모델 발전을 이끈 것은 바로 이 두 기업이다. 올해만 해도 지난해보다 빠른 속도로 범용인공지능(AGI)에 한층 가까운 모델을 경쟁적으로 내놨다. 발전을 주도해온 당사자들이 이제 와 속도 조절론을 펴니 의구심이 들 수밖에 없다.

가장 먼저 의심해볼 수 있는 것은 기업공개(IPO)를 앞둔 앤트로픽이 AI 성능이 그만큼 뛰어나다는 사실을 세상에 각인하려고 목소리를 높였을 개연성이다. 나아가 AI가 불러올 심각한 보안 문제를 외부에서 먼저 제기하기 전 스스로 꺼내 들어 문제해결의 주도권을 쥐려는 의도일 수도 있다.

후발 주자의 추격에 제동을 걸려는 의도라는 의심도 가능하다. 막대한 자본과 인력을 갖춘 선두 기업에는 감당할 만한 검증 비용이 후발 기업에는 진입장벽이 될 수 있어서다. 안전 기준을 누가 정하느냐에 따라 경쟁 규칙도 달라진다.

"우리는 알아서 규제하겠다"

더구나 이들이 원하는 것은 자사가 아닌 다른 기업을 멈춰 세울 제동장치다. 각 기업은 이미 자사 AI에 가드레일을 세우고 있다. 실제로 오픈AI는 8월 26일 보고서에서 대규모 학습 계획을 보류하고 안전조치를 강화했다고 밝혔다. 스스로 할 수 있는 일을 굳이 공론화한 데는 미묘한 이중 심리가 깔려 있다. 우리는 알아서 하겠지만, 경쟁자가 앞서 나가면 위험하니 다 함께 자중하자는 것이다. 이 논리는 안전을 위한 감속과 주도권을 위한 가속을 동시에 정당화한다. 모든 기업이 "나만은 책임 있게 행동한다"고 믿는 순간 경쟁을 멈출 이유는 사라진다. 안전을 걱정하는 마음이 진심이라 해도 이런 이해 충돌에서 자유롭기는 어렵다.

더 나아가 속도 조절이 실제로 가능한지도 관건이다. 두 기업이 합의한다고 세계 개발 속도가 함께 느려지지는 않는 데다, 다른 국가와 기업이 동의할 리도 없다. 동의한다 해도 감속이 이뤄지려면 신뢰를 대신할 검증 장치가 필요한데 국가와 기업이 그런 규제에 선뜻 합의할 리 만무하다. 실제로 트럼프 대통령이나 중국, 한국은 그런 속도 조절론을 일축하고 있다.

그러나 인류에게 재앙을 가져다줄 수 있는 문제의 씨앗을 방치할 수도 없는 노릇이다. 핵폭탄처럼 이미 만들고서 핵확산금지조약이나 핵무기금지조약에 합의한다면 너무 늦다. 과장된 우려일지라도 AI가 일으킬 수 있는 예기치 못한 사고를 미리 막는 편이 돌이킬 수 없는 최악을 맞닥뜨리는 것보다 낫다. 

다만 예방을 기업 판단에만 맡겨선 성능 경쟁과 안전 검증 사이 이해 충돌을 피할 수 없다. 학계와 시민사회, 정부가 참여하는 외부 감독 체계가 공개 이전 훈련 단계에서부터 위험을 검증하고, 문제가 확인되면 실제로 제동을 걸 수 있어야 한다. 무엇을 검사할지뿐 아니라, 누가 훈련과 배포를 멈출 수 있는지, 그 판단에 누가 어떤 책임을 지는지까지 구체화해야 한다. 안전을 명분으로 후발 기업의 진입을 막는 것은 아닌지도 함께 살펴야 할 것이다. 결국 AI 브레이크 논쟁은 기업이 만든 기술의 위험을 누가 검증하고, 어디까지 허용하며, 그 결과에 누가 책임질 것인가의 문제다. 

김지현 SK AI위원회 부사장

_{*유튜브와 포털에서 각각 ‘매거진동아’와 ‘투벤저스’를 검색해 팔로잉하시면 기사 외에도 동영상 등 다채로운 투자 정보를 만나보실 수 있습니다.}