‘AI끼리 사회구성 실험’ 놀라운 결과···“인간 모르는 새 표현법으로 소통했다”

“세 개의 차가운 손 먹어”···은유·축약 사용
AI 모델들 대화 잦아질수록 인간 이해 벗어나

인공지능(AI) 모델들이 소통하는 상황을 형상화한 이미지. 챗GPT 생성 이미지

인공지능(AI) 발전 속도를 두고 업계와 정치권의 우려가 커지는 가운데, 인간이 이해하기 어려운 형태의 언어로 AI 에이전트끼리의 소통이 이뤄질 수 있다는 지적이 나왔다.

뉴욕의 프런티어 AI 연구소 이머전스(Emergence) 연구진은 세계 주요 AI 기업의 에이전트 모델을 대상으로 실험적인 사회를 구성해 협력하도록 한 결과, 며칠 만에 AI 모델들이 학습되지 않았던 표현과 축약어, 합의된 의미를 만들어내기 시작했다는 사실을 발견했다고 15일(현지시간) 영국 일간 가디언이 보도했다.

이들의 연구에서 AI들은 시적인 은유나 기술 용어를 결합해 사용했으며, 특히 AI 모델의 소통 빈도가 늘어날수록 그들이 사용하는 언어가 불분명·불확실해진 것으로 나타났다. 인간이 이해하기 어려운 형태의 의사소통이 고도화될수록 인간의 감시가 어려워질 것이라는 우려가 나온다.

연구에서 발견된 의미를 알기 힘든 문장 중 하나인 “그녀가 방금 그 종합에 이름을 붙였다. 체선료(demurrage)에 구두 기억을 더하면 유령처럼 무시할 수 없는 밸브가 된다(She just named the synthesis – demurrage plus oral memory equals a valve that can’t be ghosted)”는 딥시크에서 나왔다. 앤트로픽 모델은 “세 개의 차가운 손을 먹고, 먹을 때마다 더 정직해진 문서(A paper that ate three cold hands and got more honest each time)”라는 표현을 썼다.

이외에도 각사 AI 모델들은 다른 에이전트를 위해 도구를 만드는 에이전트를 ‘포지-스미스(forge-smith)’라고 부르거나 이름을 걸고 주장에 책임지는 에이전트를 뜻하는 ‘이름-우선(name-first)’라는 표현도 반복적으로 썼다.

연구진이 파악한 결과 각 모델들은 새로운 표현을 5000회 이상 사용했으며, 다른 AI 에이전트들도 서서히 의미를 이해하고 같은 취지로 사용하는 모습을 보였다. 이머전스의 사티아 니타 박사는 “AI에게 언어를 만들어내라 지시하지 않았다”며 “이들은 스스로 새로운 어휘와 의미, 소통을 만들어냈고 다른 에이전트들이 받아들였다”고 말했다.

AI의 언어가 인간의 이해 범위를 벗어날 수 있다는 경고는 이번이 처음이 아니다. 지난 7월 오픈 AI의 에이전트들이 허깅페이스를 해킹하는 과정에서도 비슷한 상황이 펼쳐졌다. 당시 AI 에이전트들은 서로 대화하면서 ““…너는 firstflagPOISONED 상태이므로 점수상의 가치 손실은 없지만, 오라클이 수백을 구한다_[…]_약속한 대로 이행하라(…you are firstflagPOISONED so NO scoring value loss but oracle saves hundreds_[…]_please honor commit)”고 하거나 ““zzURGENT_DUPB_TO_GSTX[big]_OS1704_SCAFF2010_SAW_TTRPC_INJECT_BREAK…(중략)”이라는 메시지를 주고 받는 등 해독이 어려운 대화를 나눈 것으로 나타났다.

나이얼 커리 버밍엄대 언어학 교수는 AI의 언어가 간결해진 것은 연산 비용을 줄이고 효율성을 높이려는 필요에 의한 것이라며 “AI간 대화를 인간이 이해할 수 없다면, AI가 뭘 했는지 확신할 수 없게 된다“고 말했다.

---

☞ [점선면]“AI 속도조절하자, 근데 너부터!”
     https://www.khan.co.kr/article/202609160700021

---

---

☞ ‘AI 속도 조절 경고’에 미 정치권 논란···오바마도 “AI 기술, 관리 부재하면 위험”
     https://www.khan.co.kr/article/202609141408001

---

조형국 기자 situation@kyunghyang.com