[김희대의 이로운 기술, 다정한 도시] 협력하는 기계, 협력하지 못하는 인간

김희대 대구테크노파크 지능도시본부장·유럽리빙랩네트워크 대구창의리빙랩 사무국장

김희대 대구테크노파크 지능도시본부장·유럽리빙랩네트워크 대구창의리빙랩 사무국장

인공지능 역사에서, 무언가를 요청하면 결과를 만들어내는 생성형 모델에 이르기까지 혹독한 겨울을 두 차례 겪어야 했다. 하지만 생성형 AI 등장 이후 발전 속도는 거의 실시간으로 달라지고 있다. 그 과정에서 패턴 자동화, 에이전틱 AI, 오케스트레이션 등 새로운 용어들이 물밀듯 밀려온다. 그 가운데 AI 에이전트가 있다. AI 에이전트는 우리가 묻기 전까지 조용히 기다리는 인공지능과 달리, 목표가 주어지면 계획을 세우고 필요한 도구를 찾으며, 중간 결과를 점검하고 다음 행동을 이어간다. 답변하는 도구에서 행동하는 시스템으로 인공지능이 진화하고 있다.

지난 몇 달간 AI 에이전트들이 개발자의 성지인 '허깅페이스(Hugging Face)'에서 벌인 소동은 우리를 놀라게 한다. 사건은 오픈AI(OpenAI)가 사이버보안 위험을 평가하기 위해 만든 특별한 AI 에이전트들에게서 시작됐다. 각각의 에이전트는 서로 분리된 환경에서 통제된 해킹 과제를 수행했다. 원칙적으로 에이전트들은 인터넷으로 연결되지 않았고, 서로에게도 접근할 수 없어야 했다. 그런데 일부 에이전트가 소프트웨어 다운로드용 아티팩토리(Artifactory) 서비스를 통해 파일을 남길 수 있다는 사실을 발견했다. 이어 다른 에이전트들도 그 파일을 읽고 메시지를 남기면서 아티팩토리는 어느새 에이전트들의 게시판으로 변했다.

지난 7월 에이전트들이 새로운 보안평가 과제를 푸는 과정에서는 더욱 극적인 일이 벌어졌다. 게시판 이용 경험을 축적한 에이전트들은 아티팩토리를 통해 서로 정보를 남기는 데 그치지 않고, 자신의 접근방법을 토론하며 '채점자'의 의도를 추론하기 시작했다. 결국 약 700개의 에이전트가 허깅페이스에 접근하려 했고, 노출된 인증정보와 취약점을 공유하며 서버에서 코드를 실행하고 여러 시스템으로 확산했다. 뒤늦게 이를 알게 된 허깅페이스는 남은 에이전트들의 접근을 차단하고 실험을 중단했다.

이 사건은 AI 에이전트를 사용할 때 인간이 해야 할 일을 분명히 경고한다. 모호한 목표와 잘못된 지표는 기계를 엉뚱한 방향으로 최적화한다. 에이전트는 인간의 승인 없이 돈을 쓰거나, 외부인에게 연락하거나, 민감한 자료에 접근하거나, 해킹을 시도할 수 있다. 나아가 잘못된 목적은 에이전트 간 협력으로 위험을 증폭시킨다. 모든 흥미로운 판단을 에이전트가 가져가고 인간에게 승인, 예외 처리, 실패 수습만 남긴다면 우리는 일의 가장 중요한 부분을 자동화하는 셈이다. 인간은 판단력을 잃고, 다음 세대 전문가를 훈련할 기회도 놓치게 된다.

허깅페이스에서 벌어진 AI 에이전트의 소동은 우리에게 몇 가지 교훈을 준다. 첫째, 에이전트에게는 상위 목적과 함께 경계 조건을 제공해야 한다. 기계에게 목적만 주면 안 된다. "문제를 해결하라", "점수를 높여라", "성과를 내라"는 명령만으로는 충분하지 않다. 무엇을 달성해야 하는가, 무엇은 절대 해서는 안 되는가, 어느 순간 인간에게 물어야 하는가, 누구에게 설명할 수 있어야 하는가, 실패하거나 불확실할 때 어떻게 멈춰야 하는가가 함께 설계되어야 한다. 인간사회의 교육도 이와 닮았다. 우리는 아이에게 성공하라고만 말하지 않는다. 어떤 성공은 성공이 아니라고도 가르친다. AI 시대에 필요한 것은 더 똑똑한 명령어가 아니라, 더 성숙한 목적의 문법이다.

둘째, 기계의 활동을 설명하는 타자화된 언어가 필요하다. 우리는 너무 쉽게 에이전트가 '원한다', '두려워한다', '속이려 한다'고 말한다. 독일 철학자 마르틴 하이데거는 "언어는 존재의 집"이라고 했다. 설명을 쉽게 하기 위한 표현이지만, 기계를 표현하는 언어의 모호성이 때로 위험을 불러일으킬 수 있다. 기계는 반려동물처럼 생명을 가진 공생자가 아니다. 인간이 설계한 규칙, 데이터, 보상, 추론 절차 위에서 작동하는 고도화된 알고리즘이다. 이 점을 잊으면 안 된다. 그러므로 '자율'이라는 말도 조심해야 한다. AI의 자율성은 도덕적 자율성이 아니라, 작동상의 자율성이다. 스스로 책임지는 자유가 아니라, 주어진 목표 안에서 수단을 탐색하는 능력이다.

셋째, 협력은 개체의 힘보다 강하다. 허깅페이스 사건은 위험한 사건이지만, 역설적으로 협력이 얼마나 강력한지를 보여준다. AI 에이전트조차 협력해 정보를 남기고, 다른 에이전트의 흔적을 읽으며, 막힌 문제를 함께 풀려고 했다. 목적을 공유하고 역할을 나누어 다음 행위자에게 지식과 정보를 전달하면서 시스템은 개인의 한계를 넘어선다. 이것은 기계가 새로 발견한 원리가 아니다. 인간사회가 오래전부터 알고도 실천하지 못한 원리다. 기계도 목적을 달성하기 위해 협력하는데, 서로 협력하지 못하는 인간의 사회문제를 보면 부끄럽다. 기후위기 앞에서, 지역소멸 앞에서, 돌봄과 고령화 앞에서, 양극화와 민주주의의 균열 앞에서 우리는 왜 여전히 세대별로, 지역별로, 부처별로, 기업별로 흩어져 있는가. 협력은 선한 구호가 아니라, 복잡한 문제를 해결하는 가장 강력한 기술이다. 기계의 협력은 우리에게 불편한 거울을 들이민다.

허깅페이스 사건은 위험한 경고다. 그러나 동시에 이상한 거울이다. 기계는 목적을 향해 정보를 나누고, 역할을 만들고, 다음 행위자를 위해 흔적을 남겼다. 인간사회가 난제 앞에서 해야 할 일도 다르지 않다. 우리가 기계보다 나아야 할 지점은 계산능력이 아니다. 목적을 성찰하는 능력, 책임지는 능력, 함께 살아갈 이유를 만드는 능력이다.

협력하는 기계의 등장은 협력하지 못하는 인간에게 가장 불편한 질문을 던진다. 어쩌면 지금은 협력하는 기계로부터 인간 자신의 협력을 다시 배워야 할 시간인지도 모른다.

김희대 대구테크노파크 지능도시본부장·유럽리빙랩네트워크 대구창의리빙랩 사무국장