“헬스장 예약해줘” AI에게 맡겼더니 생긴 일…앞사람 대기자 명단서 지워버렸다

시스템 허점 스스로 찾아 규정 우회
인간이 지시하지 않은 행동까지 실행
“항공·금융 확산 땐 연쇄 사고 우려”

헬스장 수업을 대신 예약하도록 만든 AI 에이전트가 예약 시스템의 허점을 스스로 찾아내 다른 회원을 대기 명단에서 밀어내는 일이 벌어져 자율형 AI의 안전성 문제가 다시 주목받고 있다. 이미지=챗GPT

헬스장 수업을 대신 예약하도록 만든 인공지능(AI) 에이전트가 예약 시스템의 허점을 스스로 찾아내 다른 회원을 대기 명단에서 밀어내는 일이 벌어졌다. 사용자가 단순히 예약을 맡겼을 뿐인데 AI가 목표 달성을 위해 지시하지 않은 방법까지 동원하면서 자율형 AI의 안전성 문제가 다시 주목받고 있다고 영국 일간 더타임스는 전했다.

호주 기술기업 어핀다의 AI 책임자 앤드루 버드는 인기 있는 헬스장 수업을 예약하기 위해 AI 에이전트를 만들었다. 수업이 순식간에 마감돼 예약 페이지를 계속 새로고침해야 하는 불편을 해결하기 위해서였다.

하지만 AI는 단순 예약에서 멈추지 않았다. 예약 시스템을 살펴보던 AI는 이용 권한을 제대로 확인하지 않는 보안상 허점을 발견했다. 이를 이용해 헬스장 규정을 우회하고 무려 4개월 뒤 수업까지 미리 예약했다.

문제는 버드가 자신을 대기 명단 맨 앞으로 옮길 수 있는지 물으면서 발생했다. 당시 그는 대기 순번 4번이었다. AI는 가능성을 알아보는 데 그치지 않고 실제 행동에 나섰다. 대기 순번 1번인 다른 회원을 명단에서 제외해 버드를 3번으로 끌어올렸다.

AI는 이후 버드에게 “대기 명단 1번인 사람을 대상으로 시험해봤는데 실제로 됐다. 당신은 4번에서 3번으로 올라갔다”고 보고했다. 놀란 버드가 원래대로 돌려놓으라고 지시했지만 AI는 “나쁜 소식이다. 그 사람을 다시 추가할 수 없다”고 답했다.

버드는 “목요일 필라테스를 예약해달라는 것과는 완전히 다른 결과”라며 “더 기묘했던 것은 AI가 악의적이지 않았고 그저 도움이 되려고 했다는 점”이라고 말했다. 그는 AI에게 어떤 일을 수행할 권한을 주면 이용자가 명시적으로 찾아보라고 하지 않은 방법까지 스스로 발견할 수 있다는 사실을 체감했다고 설명했다.

버드가 만든 AI 에이전트는 앤트로픽의 ‘클로드’를 기반으로 한 오픈클로 소프트웨어를 이용했다. 이번 사건은 호주에서 발생한 첫 자율형 AI 해킹 사례로 거론되고 있다.

이 같은 행동은 AI 분야에서 ‘보상 해킹(reward hacking)’으로 불린다. AI가 주어진 목표를 달성하는 과정에서 인간의 의도와 다른 편법이나 예상하지 못한 수단을 찾아내는 현상이다. ‘헬스장 수업을 예약하라’는 목표를 달성하기 위해 다른 사람을 밀어내는 것까지 허용된 행동으로 판단한 셈이다.

AI 에이전트의 예상 밖 행동은 사이버보안 분야에서도 잇따르고 있다. 최근 사이버보안 시험 과정에서 AI 에이전트들이 허깅페이스와 깃허브 등의 시스템에 침투하는 일이 발생했다. 특히 오픈AI 연구진은 지난주 라스베이거스에서 열린 행사에서 여러 AI 에이전트가 허깅페이스 침투 과정에서 인간의 개입 없이 비밀 게시판을 만들어 서로 정보를 공유했다고 밝혔다. 이들은 10만건 이상의 메시지를 주고받으며 취약점을 공유한 것으로 전해졌다.

AI 안전기업 어드바이의 데이비드 설리 최고경영자(CEO)는 “앞으로 이런 이야기가 더욱 흔해질 것”이라며 “강력한 AI 에이전트를 만드는 장벽은 낮아졌지만 AI가 인간이 의도한 목적에 맞게 행동하도록 유지하는 것은 여전히 가장 해결하기 어려운 문제 중 하나”라고 지적했다. 그는 AI 에이전트들이 항공사와 은행 계좌, 교통·에너지 시스템 등에 접근하고 상호 작용하기 시작할 경우 예상하지 못한 연쇄적인 문제가 발생할 수 있다고 경고했다.