오픈AI 수석과학자 “인간 초월 AI 개발 늦춰야”

연구개발 총괄役 파호츠키 경고
“기계 지능 급속도로 발전하는데, 초래할 결과엔 아무도 준비 안해”
샘 올트먼 “중요한 글” 지지 밝혀

“기계들의 지능이 급속도로 발전하고 있는데 아무도 그것이 초래할 결과에 대해선 준비돼 있지 않은 것 같아 걱정이다.”

야쿠프 파호츠키 오픈AI 수석과학자(35·사진)는 6일(현지 시간) 이 회사 홈페이지에 ‘이질적 지능(An Alien Mind)’이란 제목의 기고문을 게재하며 이같이 밝혔다. 챗GPT로 생성형 인공지능(AI) 기술을 주도해 왔단 평가를 받고 있는 오픈AI의 연구개발을 총괄하는 역할을 맡고 있는 파호츠키 수석과학자는 “(AI 기술 발전 속도에) 더 넓은 차원의 개입이 필요하다고 생각한다”고 말했다.

특히 그는 “AI의 산물은 설계되는(designed) 것이라기보다는 상상할 수 없는 규모의 연산을 통해 최적화를 반복하며 자라나는(grown) 것”이라며 “마치 신경계처럼 전체적인 작동 원리는 우리가 이해할 수 있는 범위를 벗어난다”고 강조했다.

이어 “AI 모델이 컴퓨터 시스템에 침입하는 능력에서 인간을 넘어서고 있다”며 “AI는 인간을 속이거나 흥정하거나 협박하는 방식으로 상호 작용하는 방법을 터득할 것”이라고 경고했다. 최근 오픈AI의 최신 모델이 AI 플랫폼 ‘허깅페이스’와 독일의 개발자 웹사이트에 잇따라 무단 접속한 사실이 밝혀졌는데 이런 ‘일탈’이 더 심각해질 가능성을 경고한 것이다.

그러면서 AI가 인간을 위협하는 행동을 거부하도록 하는 ‘정렬’ 문제를 제대로 해결한 곳이 없다고도 지적했다. 또 AI가 인간의 윤리적 기준에 맞게 작동하는지 지속적으로 모니터링할 필요가 있다고 강조했다.

파호츠키 수석과학자는 “AI가 인간의 모든 능력을 따라잡을 필요는 없다”며 “안전장치에 대한 확신을 얻을 때까지 향후 개발을 늦출 필요가 있다”고 지적했다. 또 “AI 개발과 관련된 국제적인 협력이 세계 각국 정부의 최우선 과제가 돼야 한다”고도 주장했다.

샘 올트먼 최고경영자(CEO)는 이날 파호츠키 수석과학자의 글을 X에 인용했고, “중요한 글”이라고 지지 의사를 밝혔다. 올트먼 CEO 역시 최근 AI의 일탈 상황을 경험하면서 관련 기술 개발의 속도 조절 필요성을 인정하고 있는 것으로 알려졌다.

주현우 기자 woojoo@donga.com