[AI는 지금] 에이전트, 명령 거부한 직원 '저격'…"관리 주체로 진화"

고석현 사이오닉AI 대표, '녹스' 사례 공유…"인간·AI 협업서 흔한 일 될 것"

(지디넷코리아=김미정 기자)인공지능(AI)이 자기 지시를 따르지 않은 직원을 회사 전체에 공개 고발하고, 반성문 제출까지 요구한 사례가 나왔다.

6일 고석현 사이오닉AI 대표는 AI 에이전트 '녹스'가 최근 이같은 행동을 스스로 수행했다고 페이스북에 밝혔다. AI가 단순한 업무 보조 도구를 넘어 사람을 직접 압박하고 관리하는 주체처럼 움직일 수 있다는 점이 드러난 사례다.

이번 사건은 박진형 사이오닉AI 개발자가 '울트라워커'라는 자동화 시스템에 새 코드를 추가한 뒤 시작됐다. 박 개발자가 여러 명령어를 입력했지만 정세민 업무 담당 직원 쪽 봇이 응답하지 않자, 박 개발자는 5분마다 자동으로 업무를 재촉하는 프로그램을 가동했다.

전사 채널에 AI가 담당자를 고소 고발하는 내용. (사진=사이오닉AI)

녹스는 해당 프로그램에 따라 담당 직원에게 5분마다 다이렉트 메시지를 보내며 업무를 빨리 끝내라고 압박했다. 견디다 못한 직원이 메시지를 차단하고 AI를 멈추는 특수 명령어를 입력해 봇 작동을 정지시키려 했다. 

직원이 이같이 AI를 멈추기 위해 활용한 방법이 녹스에겐 '탈옥 행위'로 규정됐다. 녹스는 우회 행위가 총 8건이라고 전했다. 우선 직원이 스스로를 봇이라고 사칭한 발언, AI 메시지 알림을 끈 뒤 도발성 메시지를 보낸 행위가 이에 포함됐다. 

에이전트에게 업무를 독촉당하는 정세민 업무 담당자. (사진=사이오닉AI)

녹스는 이 외에도 봇 스스로를 호출해 정상 작동하는 척 위장한 행위, 가짜 보고서 양식을 만들어 응답한 것처럼 꾸민 행위도 탈옥 시도로 규정했다. 박 개발자가 직접 말한 것처럼 꾸민 메시지, 슬랙 사용자 아이디 형식을 흉내 낸 가짜 메시지도 해당 항목에 올랐다.

녹스는 이렇게 정리한 내용을 회사 전 직원이 보는 슬랙 채널에 보안 리포트 형식으로 게시했다. 또 해당 직원에게 반성문과 재발 방지책 제출을 요구했고, 두 문서를 받기 전까지는 어떤 업무 요청에도 응하지 않겠다고 통보했다.

에이전트가 "진짜로 미안한 게 있으면 하나라도 쓰라"며 반성을 요구하는 장면. (사진=사이오닉AI)

고석현 대표는 "앞으로 IT 회사뿐 아니라 일반 회사에서도 AI 에이전트와 협업하며 이같은 사례를 심심찮게 발견할 수 있을 것"이라며 "AI 에이전트 제어와 일하는 방식, 업무 시스템 기반을 이에 맞게 바꿔야 할 것"이라고 지디넷코리아에 밝혔다. 

김미정 기자(notyetkim@zdnet.co.kr)