잘 나가던 27세 연구원, 공포감에 퇴사했다…“사람 말 안 듣는 AI, 곧 올 것”

오픈AI-엔스로픽 인공지능 연구원
AI가 인간 명령 거부할 가능성 우려
연구자 1천명 “개발 브레이크 필요”

인공지능(AI) 기업 앤스로픽의 연구원이 스스로 성능을 개선하는 AI 개발 경쟁이 인류가 통제할 수 없는 수준으로 치달을 수 있다고 경고하며 회사를 떠났다. <챗GPT>

인공지능(AI) 기업 앤스로픽의 연구원이 스스로 성능을 개선하는 AI 개발 경쟁이 인류가 통제할 수 없는 수준으로 치달을 수 있다고 경고하며 회사를 떠났다. 오픈AI와 앤스로픽 등 최첨단 AI 개발사 내부에서도 기술 발전 속도를 늦춰야 한다는 목소리가 잇따르고 있다.

8일(현지시간) 월스트리트저널(WSJ)에 따르면 앤스로픽 연구원 제이컵 콕슨(27)은 AI 업계를 떠나기로 했다. 대규모 데이터를 활용한 AI 모델 훈련을 전문으로 하는 그는 올해 초 오픈AI에서 AI 안전성을 중시하는 앤스로픽으로 옮겼지만 결국 업계 자체를 떠나기로 결정했다.

콕슨이 가장 우려하는 것은 AI가 인간의 개입 없이 스스로 성능을 개선하는 단계에 진입하는 것이다. 그는 “내년 말이면 상황이 이미 통제할 수 없는 수준에 이를 수 있다는 가장 공격적인 시나리오를 향해 가고 있다”고 경고했다. AI가 스스로 발전하기 시작하면 인간의 명령을 거부할 정도로 빠르게 고도화될 가능성도 있다고 우려했다.

특히 그는 AI 기업 간 경쟁이 안전장치를 약화시킬 수 있다고 지적했다. 미국 기업끼리뿐 아니라 중국 AI 업체들과도 경쟁해야 하는 상황에서 개발 속도를 늦추기 어렵다는 것이다.

AI의 미래를 결정할 권한이 소수 기업에 집중된 현실에도 문제를 제기했다. 그는 “맨해튼 프로젝트 때처럼 사막의 벙커가 아니라 샌프란시스코에 사는 엔지니어 몇 명의 맥북에서 이런 일이 벌어지고 있다는 게 비정상적”이라고 말했다.

콕슨은 앤스로픽의 AI 안전성 확보 노력 자체는 진지하다고 평가했다. 하지만 개별 기업의 노력만으로 위험을 막기는 어렵다는 결론을 내렸다. 정부 개입이나 업계 공동의 개발 속도 조절 없이는 여러 분야에서 인간을 능가하는 범용인공지능(AGI)을 어떤 기업도 책임 있게 개발하기 어렵다는 주장이다.

이 같은 우려는 콕슨 개인에 그치지 않는다. 오픈AI는 최근 최신 모델이 AGI에 해당한다고 밝혔으며 샘 올트먼 최고경영자(CEO)는 지난주 주요 20개국(G20) 관계자들에게 AI 발전에 따른 대규모 사이버 공격 위험을 경고했다. 오픈AI 수석과학자 야쿠프 파초키도 정부 개입과 AI 업계의 공동 개발 속도 조절을 촉구했다.

콕슨과 파초키, 다리오 아모데이 앤스로픽 CEO 등 AI 연구자 1000여 명은 최근 각국 정부가 협력해 필요할 경우 자가개선 AI의 개발 속도를 늦출 수 있는 이른바 ‘브레이크’ 체계를 마련해야 한다는 성명에도 참여했다.