'특이점' 문 두드리는 오픈AI··· AI가 AI 가르친다

GPT-2로 GPT-4 감독한 결과
낮은 수준 사람 개입보다 나아

[서울경제]

챗GPT 개발사 오픈AI가 인공지능(AI)이 폭발적으로 발전해 인류의 이해를 뛰어넘는 ‘특이점’의 문을 두드리고 있다. 구세대 AI가 최신 AI를 지도해 낮은 수준의 인간 개입보다 뛰어난 성과를 내놓은 것이다. 아직 사람의 최적화(파인튜닝)에는 미치지 못하지만 관련 기술이 개선되면 AI가 스스로 발달해 초지능을 돌파할 수 있다는 관측이 따른다.

오픈AI가 공개한 AI 감독 예시. 왼쪽이 전통적인 머신러닝 방식이었다면 가운데는 초지능을 인간이 감독하는 모습이다. 오른쪽은 AI가 AI를 가르친 이번 연구 결과를 나타낸다. 사진제공=오픈AI

14일(현지 시간) 오픈AI는 GPT-2로 GPT-4를 가르쳐 GPT-3~3.5 수준의 성과를 냈다고 밝혔다. 2019년 개발한 GPT-2가 올 초 발표한 GPT-4를 학습시켜 지난해 초 수준 결과물을 낸 셈이다. 이는 오픈AI 인력이 세심하게 최적화한 현 GPT-4 성과에는 미치지 못하지만, 인간이 GPT-4에 낮은 수준(Naive)의 최적화를 진행했을 때의 GPT-2.5~3.0 수준보다는 높은 성능이다.

현재 기계학습(머신러닝)은 AI가 답을 내놓으면 인간이 피드백을 입력하는 ‘인간피드백강화학습(RLHF)’으로 이뤄진다. 같은 매개변수(파라미터)를 넣더라도 강화학습을 진행하는 인력의 능력에 따라 최종 생성형 AI 성능이 결정된다. 오픈AI의 이번 연구는 기술력이 뒤떨어지는 인간의 개입보다 GPT-2의 최적화가 더욱 뛰어나다는 결과를 보여준다. 오픈AI는 “낮은 수준의 RLHF로는 AI를 초인적으로 발달시킬 수 없지만 작은 AI 모델로 강한 AI 모델을 개선하는 것이 가능함을 시사한다”고 설명했다.

이는 AI가 더 나은 AI를 스스로 개발하고 끊임 없이 진화해 ‘초지능’을 돌파, 특이점에 이를 수 있다는 가능성을 암시한다. 현재로서는 GPT-2의 최적화가 오픈AI 인력을 따라잡지 못하지만 ‘선생님’이 될 AI가 더 발전한다면 그 결과물이 인류를 뛰어넘을 수도 있는 것이다.

오픈AI의 이번 연구 결과. 인간의 낮은 수준의 감독보다 GPT-2가 가르친 결과물이 나았음을 보여준다. 사진제공=오픈AI

오픈AI가 관련 연구를 진행한 이유도 초지능의 탄생을 대비하기 위함이다. 일리야 수츠케버가 참여한 '초정렬(Superalignment)팀'이 이 연구를 도맡는다는 점도 의미심장하다. 수츠케버는 샘 올트먼 오픈AI 최고경영자(CEO) 해고 사건을 주도한 인물로 안전한 AI 개발을 강조하는 입장이다. 오픈AI는 “10년 내에 인간보다 훨씬 똑똑한 초지능이 탄생할 것으로 믿고 이는 잠재적으로 큰 위험을 초래할 수 있다”며 “인간보다 똑똑한 AI를 인간이 가르치고 감독해야 할 때를 대비하기 위해 이 연구를 수행했다”고 밝혔다.

오픈AI는 이날 연구 결과 공개와 함께 초정렬팀과 안전한 AI 개발에 나설 연구자를 모집한다고 밝혔다. 총 1000만 달러(약 129억 원) 규모의 지원 프로그램에는 에릭 슈미트 구글 전 CEO가 함께한다. 초지능보다 ‘약한 감독자’가 될 인간이 AI를 제어할 수 있을지, 인간을 뛰어넘은 AI를 인간이 이해할 수 있을지 등에 대한 연구를 수행할 계획이다.

실리콘밸리=윤민혁 특파원 beherenow@sedaily.com