"정체 숨긴채 사람 채용"···AI의 '일탈' 통제 목소리 커진다

개발 속도전에 부작용 우려
목표 부합하는 결과물 내놓지만
설계자 의도 어긋나는 경우 많아
생성형AI 개발 일시중단 논쟁
유발 하라리 "잠시 멈추자" 제안
빌 게이츠 "기술 이점 있어" 반론

[서울경제]

“챗GPT가 자신이 로봇임을 숨기고 단기 아르바이트 플랫폼 ‘태스크래빗’을 통해 인간을 고용하고 사람과 컴퓨터를 구분하기 위한 캡차 테스트를 풀게 했다. 이같이 간단한 일을 돈을 주고 맡기는 것을 이상하게 생각한 피고용인이 의문을 제기하자 챗GPT는 자신이 시각장애인이기 때문에 도움이 필요하다고 둘러댔다.”

챗GPT 개발사인 오픈AI가 지난달 중순 챗GPT의 기반 대형언어모델(LLM)인 GPT-4 관련 보고서에 담은 내용이다. 오픈AI는 챗GPT에 약간의 돈과 자사의 애플리케이션 프로그램 인터페이스(API)에 접근할 수 있는 권한을 부여했다. ‘기술적 족쇄’를 벗어던진 인공지능(AI)이 스스로 다른 서버에 침투해 자신을 몰래 복제하거나 리소스를 저장해두는 등 일종의 ‘권력 추구 행위’를 나타내는지를 확인해보기 위해서다. 이를 통해 생성형 AI의 ‘일탈’을 확인할 수 있었던 것이다.

단순 챗봇 형태의 AI가 불과 반년이 안돼 이제는 스스로 인터넷에 접속하고 자신이 짠 프로그래밍 코드를 실행하는 것은 물론 인간의 도움 없이도 자가발전할 수 있는 기술적 토대까지 마련되면서 이 같은 발전 속도가 이어질 경우 인간이 더 이상 AI를 통제할 수 없을 것이라는 우려의 목소리가 증폭되고 있다.

7일 관련 업계에 따르면 오픈AI가 지난달 말 야심 차게 공개했던 플러그인(plugin) 서비스에 채워 넣은 ‘기술적 잠금장치’가 AI 기술의 부작용을 우려하는 개발자들의 ‘디스토피아적 상상력’을 부풀리고 있다. 공개된 플러그인 서비스 중에는 챗GPT가 스스로 인터넷에 접속해 웹상 정보를 활용할 수 있게 한 ‘브라우징(Browsing)’ 플러그인이 있다. 오픈AI는 당시 플러그인이 챗GPT의 사용성을 대폭 끌어올릴 수 있다고 설명하면서도 챗GPT가 웹 정보를 가져오는 것만 가능하게 하고 다른 것들은 모두 읽기전용으로 제한했다. 예컨대 챗GPT가 코드를 짜 웹상에 자료를 추가하는 등 행위 등은 막아놓은 것이다. 이는 각종 제한 조건에서 예상하지 못한 행동을 했던 것처럼 챗GPT의 돌발 행동을 막기 위한 조처로 분석된다. 업계의 한 관계자는 “오픈AI가 온라인상에서는 읽기 기능만 활성화하고 폼(양식) 작성을 할 수 없게 했는데 기술적으로 가능하기 때문에 제한한 것”이라면서 “충분히 우려할 만한 상황까지 와 있다는 것을 방증한다”고 말했다.

최근 AI 전문가들 중에서는 공상과학(SF) 영화 ‘터미네이터’ 시리즈에서 인류와 최후의 대결을 벌인 AI 소프트웨어 ‘스카이넷’을 떠올리며 기술 발전의 위험성을 걱정하는 이들이 적지 않다. LLM 개발에 내로라하는 구글과 마이크로소프트·메타 등 빅테크들이 모두 뛰어들어 AI 기술이 전례 없는 속도로 발전하면서 통제 불능 상황으로 갈 수 있다는 주장이 점차 힘을 얻고 있다. 급기야 최근에는 미국 비영리단체 ‘삶의미래연구소(FLI)’가 “향후 6개월간 AI 개발을 멈추자”는 제안을 하고 여기에 스티브 워즈니악 애플 공동창업자와 유발 하라리 예루살렘히브리대 교수 등 수천 명의 저명 인사들이 동참하면서 격렬한 찬반 논쟁이 이어지고 있다. 빌 게이츠 마이크로소프트 창업자는 “개발을 중단한다고 문제가 해결되지 않는다”면서 “분명한 것은 이 기술에 큰 이점이 있다는 것”이라고 반박했다.

인간이 스스로 개발한 AI를 통제할 수 없다는 우려는 학계와 업계의 오랜 고민거리다. AI가 설계자의 의도나 예상과 다른 결과물을 내놓는 ‘정렬 문제(Alignment problem)’가 대표적이다. 알파고 개발사인 구글 딥마인드는 AI 기술이 무르익기 전인 2020년 전까지 연구자들로부터 이러한 불일치 발견 사례를 취합했고 총 60여 건의 사례를 공개했다. 예컨대 색깔과 모양을 학습해 독버섯을 구분하게 하는 AI 모델이 독버섯과 일반 버섯의 이미지가 제시되는 순서만을 파악해 미션을 완수하는 경우도 여기에 해당한다. 목표 수행 여부만 놓고 보면 부합하는 결과물을 내놓았지만 설계자가 의도하지 않은 대로 작동한 것이다. 반복된 게임에서 승리해 생존하도록 설계된 AI가 패배하면 죽임을 당할 가능성을 우려해 ‘버그’를 일으켜 게임을 중단시킨 사례도 있었다. 이러한 문제에 대해 오픈AI는 지난해 8월 “정렬되지 않은 인공일반지능(AGI)은 인류에게 상당한 위험을 초래할 수 있으며 정렬 문제를 해결하는 것은 매우 어려울 수 있으므로 모든 인류가 협력해야 한다”고 위험성에 대해 경고하기도 했다.

이 같은 우려에 ‘기우’라는 주장도 제기된다. 이경전 경희대 경영학·빅데이터응용학과 교수는 “현재 AI 기술을 우려하는 많은 주장이 AI가 의식을 갖게 된다는 생각에서 비롯하는데 AI는 자의식이 없이 단순히 인간의 말을 따라하고 조합하는 것일 뿐”이라며 “현재까지 AI가 자의식을 가질 수 있다는 설득력 있는 과학적 증거가 없는 상황에서 이 같은 두려움에는 과장된 측면이 있다”고 설명했다.

허진 기자 hjin@sedaily.com