[기자24시] AI에 일 맡기기 전 명심할 것

정호준 디지털테크부 기자

"(에이전트를) 멈추기 위해 컴퓨터로 전력 질주했다."

한 연구원이 자신의 에이전트에 이메일 200통을 삭제당했다. 그는 텔레그램을 통해 원격으로 "삭제를 멈추라"는 명령을 다급하게 보냈지만 에이전트는 듣지 않았다. 결국 그는 에이전트를 멈추기 위해 컴퓨터로 달려가 물리적으로 종료할 수밖에 없었다는 웃픈 이야기다.

발단은 해당 연구원이 '오픈클로'라는 인공지능(AI) 에이전트 도구에 이메일 정리를 맡기면서 시작됐다. 중요 이메일은 남겨두되 중요하지 않은 이메일은 자신의 승인을 받고 삭제하는 식이었다.

문제는 삭제 과정에서 발생했다. 수많은 이메일이 쌓이며 에이전트가 처리할 수 있는 용량이 한계에 다다르자 에이전트가 기존 명령인 "인간에게 확인 후 삭제하라"를 망각해버린 것이다.

AI 에이전트 활용에 능숙하지 않은 초심자의 실수일까. 놀랍게도 해당 실수를 고백한 이는 초지능을 연구하는 메타의 AI 안전성 연구원이다.

다만 그가 적나라하게 보여준 에이전트 오작동 사례는 이를 업무에 도입하는 조직에 중요한 교훈을 준다.

AI 에이전트를 도입하기 위해서는 그만큼 안전한 통제 시스템을 갖춰야 한다는 것이다. 만약 에이전트가 삭제한 것이 개인의 이메일이 아니라 기업 내부 데이터였다면 그것이 초래했을 결과는 가늠하기 어렵다.

얼마나 똑똑한 AI 모델을 쓰는지는 큰 문제가 아니다. 에이전트 시스템을 어떻게 설계하고 어떤 데이터베이스를 연결할 것이며 악성코드 실행 등을 막을 안전장치는 있는지가 관건이다.

특히 이메일을 삭제당한 메타 연구원의 사례처럼 비상시에 에이전트를 즉각 멈출 수 있는 '킬 스위치' 유무도 중요하다.

무서운 속도로 발전하는 AI 에이전트는 앞으로 더 많은 일을 처리하게 될 것이다. 다만 에이전트가 많은 일을 한다는 것은 그만큼 우리가 많은 권한을 부여한다는 뜻이다. 그 과정에서 통제의 키를 놓친다면 비극적인 시나리오는 남의 일이 아니다.

[정호준 디지털테크부 기자]