“가짜뉴스가 생성 AI 탓? 더 쉬워진 것뿐”

AI혁명 기초 ‘구글 트랜스포머 논문’ 공저자
일리야 폴로수킨 니어 프로토콜 대표 인터뷰

생성 AI의 기초가 되는 ‘구글 트랜스포머’ 논문 공저자인 일리야 폴로수킨이 6월 6일 서울 강남구의 한 호텔에서 논문에 대해 말하고 있다. / 이준헌 기자

인공지능(AI)의 역사는 꽤 오래됐다. 앨런 튜링이 제안한 ‘생각하는 기계’의 구현 가능성은 1950년에 나왔다. 이걸 기점으로 본다면 이미 70년이 넘은 셈이다. 하지만 가장 최근의 ‘인공지능 혁명’ 내지 폭발은 지난해 11월 말 시작됐다. 기점은 11월 30일 소리소문없는 챗GPT 출시였다. 챗GPT 이전에 같은 회사가 내놓은 거대언어모델(LLM·Large language model) GPT-3가 있긴 했다. GPT-3가 나온 건 2020년이었다. 이걸 미세하게 조정, 업그레이드한 것이 GPT-3.5이었고, 여기에 대화형 데이터를 추가하고 학습과정 일부를 조정한 것이 챗GPT였다.

챗GPT 이후 폭발적으로 쏟아져나온 ‘생성형(generative) AI’ 관련 기술과 제품은 모두 한 논문에 빚지고 있다. 지금도 미국 코넬대학교가 운영 중인 공개논문 사이트 arXiv.org에서 내려받을 수 있는 “어텐션 이스 올 유 니드(attention is all you need)”, 일명 ‘구글 트랜스포머’ 논문이라고 불리는 15쪽짜리 논문이다. 2017년 이 논문 발표 이래 생성형 AI 혁명은 모두 이 논문이 제시한 방법론에 따라 일어나고 있다고 해도 과언이 아니다. 말하자면 생성형 AI 혁명의 지침서인 셈이다.

논문은 8명의 AI 전문가들이 공동작성했다. 구글 브레인, 구글 리서치와 같은 글로벌 검색기업 구글 계열사 소속학자들 6명과 당시 캐나다 토론토대 소속 에이단 N. 고메즈(현 AI 스타트업 코히어 CEO), 그리고 일리야 폴로수킨이 참여했다. 우크라이나 태생 개발자인 일리야 폴로수킨이 지난 6월 6일부터 7일까지 서울에서 열린 ‘비들 아시아 2023’의 기조 강연자로 참석했다. 행사가 열린 강남 조선팰리스호텔에서 6일 그를 만났다. 다음은 ‘트랜스포머 논문 공저자가 보는 최근 생성 AI 혁명, 그리고 웹3.0시대’를 주제로 나눈 그와의 일문일답.

-반갑습니다. 링크드인 등에 올린 과거 경력을 보면 커리어의 핵심에 해당하는 것이 구글 라이브러리인 ‘텐서플로’에 있었던 것과 트랜스포머 논문을 쓸 때 이야기입니다. 당시 문제의식이 현재 어떻게 이어지는지요.

“한 10여년 동안 구글을 비롯하여 여러 곳에서 머신러닝 개발 일을 했습니다. 당시 포커스는 어떻게 하면 기계가 인간 언어를 더 잘 이해할 수 있을지, 그 모델을 개발하는 것이었습니다. 당시까지만 하더라도 나와 있는 모델들은 되게 느렸고, 훈련해봤자 역부족이라는 걸 느꼈거든요. 그래서 이제 ‘트랜스포머’ 논문을 쓴 친구들과 머리를 맞대서 어떻게 하면 우리가 더 빠른 속도로 인간을 학습하는 기계를 개발할 수 있을까, 고민했고 거기서부터 모든 게 시작된 것 같습니다.”

-지금 현재 이끄는 회사(니어 프로토콜)가 애초 창업할 때 이름이 ‘니어AI’였어요. AI 관련 기술력이 현재 회사가 추구하는 비전의 바탕에 깔려 있는 겁니까.

“처음 ‘니어AI’를 설립했을 때 목표는 기계들이 스스로 코딩할 수 있도록 가르치자는 것이었습니다. 그러기 위해서는 당연히 ‘데이터 크라우드소싱’이 굉장히 중요했는데요. 그래서 컴퓨터과학을 전공한 대학생들을 많이 채용했습니다. 이 학생들은 중국에서 온 사람도 있었고, 러시아에서 온 사람도 있었어요. 그런데 이 학생들에게 적절한 급여를 제공하려고 보니까 우리가 쓸 수 있는 시스템이 없었습니다. 그래서 블록체인을 처음으로 사용하게 됐고요. 다만 블록체인을 사용하려면 확장성(scalability·블록체인 거래에 따른 장부데이터가 많아지면서 시스템이 느려지거나 참여가 제한되는 현상) 이슈가 생길 수밖에 없었습니다. 니어AI가 아니라 니어 프로토콜을 만들어 좀더 많은 사람이 다양한 영역에서 사용할 수 있는 블록체인을 만들어보자, 하고 생각하게 된 거고요. 지금은 우리 회사가 크라우드소싱의 플랫폼 역할을 하면서 다양한 사용 예를 만들어가고 있습니다.”

-우크라이나에서 공대까지 나온 것으로 알고 있습니다. 어쩌다 구글과 인연을 맺게 됐습니까.

“대학교 1학년 때 미국 샌디에이고에 있는 미국회사가 벌이던 머신러닝 개발 작업에 참여했어요. 저는 우크라이나에서 재택으로 일했고요. 학교를 졸업할 무렵, 그 회사가 미국으로 저를 공식초청했습니다. 졸업한 뒤에는 미국에서 계속 일할 수 있었죠. 거의 매달 실리콘밸리를 방문했어요. 왜냐면 AI 관련 기술 콘퍼런스가 당시에 모두 실리콘밸리에서 열렸거든요. 당시 구글에서 많은 연구결과가 나오고 있었습니다. 그때부터 구글과 함께하고 싶다는 생각을 했습니다. 다행히도, 동유럽 쪽이 프로그래밍 쪽은 경쟁력이 높기 때문에 제 친구들도 구글이나 페이스북과 같은 IT기업에 굉장히 많이 다니고 있었어요. 그 친구들을 통해 ‘레퍼럴(추천) 프로그램’ 등 많은 걸 체험할 수 있었습니다.”

-본격적으로 AI 관련 질문을 드리겠습니다. 지난해 11월 이후 전 세계가 생성형 AI 혁명을 경험 중입니다. 그리고 이 생성 AI 혁명을 이끄는 기업이 미국의 와이 컴비네이터 출신 샘 올트먼이 이끄는 ‘오픈AI’이고요. 오픈AI뿐 아니라 대화에 기반을 둔 AI 관련 여러 벤처 모두 당신이 저자로 참여한 ‘트랜스포머’ 논문에 빚을 지고 있습니다. 논문 작성자로서 볼 때 이 ‘생성 AI 혁명’은 앞으로 어디로 가게 될지, 또 이후 인터넷 생태계가 종전의 웹2.0에서 웹3.0(이하 웹3로 표기)으로 진화한다고 할 때 생성 AI의 역할은 어떠하리라고 보십니까.

“크게 두 가지가 있을 것 같습니다. 앞으로 오게 될 웹3의 미래에 대해서는 다양한 이야기가 나오지만 일단 대체적으로 데이터나 자금의 소유권이 탈중앙화해 각 개개인이 가지게 될 것으로 이야기되고 있습니다. 그리고 결국 그게 이뤄지는 건, 일단 현재도 개개인이 가지고 있는 휴대전화와 같은 모바일기기에서도 매우 많은 컴퓨테이션(computation·계산)이 이뤄지고 있습니다. 지금은 오픈소스 개발도 개인의 노트북이나 휴대전화 같은 것으로 할 수 있는데, 이 컴퓨테이션이 제대로 되려면 당연히 거기에 AI 기술을 접목해야 합니다. 여기서 만들어진 데이터나 정보들을 예컨대 마이크로소프트와 같은 운영체제나 플랫폼 기업에 보내지 않고 개인 각자가 소유하고 싶을 겁니다. 그런 데이터 오너십의 관점에서 AI와 웹3 기술이 접목될 것으로 봅니다. 둘째로는 거버넌스와 AI가 접목될 것으로 예상합니다. 예컨대 소규모 이벤트를 넘어 대규모로, 이를테면 서울시 전체를 더 깨끗하게 유지하자고 하면 소규모의 경우 어떤 사람이 관리하고 그러겠지만 대규모로 갈 때는 사람의 한계가 있을 수밖에 없기 때문에 AI가 개개인에게 해야 할 역할을 지시하는 식으로 대체될 수 있겠지요. 그렇게 되면 이 AI를 관리하기 위해서도 커뮤니티나 거버넌스가 필요할 겁니다. 제대로 프로젝트가 수행되고 있는지 등을 추적할 거버넌스 조직도 필요할 것이고요.”

일리야 폴로수킨 니어 프로토콜 대표가 2023년 6월 6일 한국 서울에서 열린 비들아시아 2023 행사에 참석, 기조강연을 하고 있다. / 니어 프로토콜 코리아 제공

-챗GPT가 나온 후 한국에서는 관련 도서만 40~50권이 출시됐습니다. 한편으로 생성 AI 혁명이 ‘따라잡지 않으면 망할 수밖에 없는’, 어떤 기회처럼 인식되는 반면에 우려 역시 많습니다. 인공지능이 기존의 일자리를 뺏어갈 것이라든가, AI가 자의식을 획득해 인간이 통제 불능 상태에 이를 것이라는, 예컨대 영화 <터미네이터>에서 묘사된 암울한 기계의 지배시대와 같은 상상도 나옵니다. 구글에 계실 때 만나보셨는지 모르지만, 구글 직원이었던 블레이크 르모인이 이미 AI가 자의식을 갖게 됐다는 주장을 했고, 챗GPT 초기에 탈옥(jail-breaking)을 통해 얻은 대화 내용을 바탕으로 많은 사람이 했던 주장이기도 합니다. 최근에도 삶의미래연구소 주도로 AI 개발을 6개월 정도 중단해야 한다는 주장이 나왔습니다. 여기엔 한때 오픈AI의 대표를 하겠다고 나섰던 일론 머스크나 애플 공동창업자 스티브 워즈니악, 인문학자 유발 하라리 등도 동참했고요. 그런 주장에 대해서는 어떤 생각인지 궁금합니다.

“모든 기술이 그러하듯 어떤 기술이 개발되면 당연히 긍정적인 면과 부정적인 면이 있는 것 같습니다. 결국 기술이 어디에 쓰이냐는 사용처에 따라 달린 것 같아요. 일단 긍정적인 점부터 말씀드리자면 이미 AI가 어떻게 사회에 공헌하는지 많은 예시가 있습니다. 예를 들어 리서치를 빨리하면서 제품 개발이 빨라지는 것과 같은 일이죠. 반면 부정적인 사례를 언급하자면 딥페이크나 AI 기술로 조작된 증거자료 등을 동원한 가짜뉴스 유포 등이 있을 겁니다. 그런데 그것들은 이미 기존에 있던 문제점이에요. 딥페이크는 포토샵으로 이미 하던 것이고 프로파간다는 그전부터 언론사들이 허위로 퍼뜨리는 사례가 많았습니다. AI가 주목받는 건 이것들을 좀더 큰 스케일로, 쉽게 할 수 있는 수단이기 때문이지 AI가 생기면서 이 나쁜 것들이 세상에 나온 건 결코 아닙니다. 좀더 긍정적인 면을 말하자면 AI로 기존의 일자리가 대체될 수 있지만, 오히려 반대로 새로운 일자리도 많이 나오고 있습니다. 지금만 하더라도 예컨대 프롬프트 엔지니어처럼 6개월 전에는 없던 직업이 새로 생기고 있습니다. 따라서 좀더 생각을 달리해 바라보면 AI라는 틀이 아니라 차라리 자동화로 보면 더 정확할 것 같습니다. 과연 내가 하고 있는 일이 자동화될 수 있는 것인가, 자동화된다면 어떤 것이 더 이점이고, 어떤 것이 더 해로운 것이 될 수 있는지, 그리고 이 해로운 것을 어떻게 하면 우리가 방지할 수 있을지로 질문의 틀을 바꾸면 저는 AI에 대한 시각이 좀더 달라질 수 있다고 생각합니다. 그리고 AI 때문에 이런 이슈들이 발생한다면 저는 블록체인이 이런 이슈를 해소할 수 있으리라고 생각합니다. 방금 예시를 들었던 프로파간다나 가짜뉴스 유포의 경우, 일단 블록체인 상에 어떤 글이 올라오면 이 글을 누가 언제 사용했고, 적었는지 트래킹이 실시간으로 가능하기 때문에 거짓사실 유포를 방지할 수 있다고 봐요. 그리고 향후에는 일자리 시장이 좀더 액티브해질 것으로 생각합니다. 50년 전에는 하나의 회사에서 평생 일을 했지만 요즘만 보더라도 1년, 2년 일하고 이직하는 것이 다반사인 듯합니다. 향후에는 이 주기가 더 짧아질 거예요. 약간 ‘사이드잡’ 느낌으로 여러 일을 하는 그런 사회가 도래할 것으로 생각이 드는데, 그래서 이제는 블록체인 기술로 좀더 자유로운 플랫폼을, 좀더 다양한 업체들이 들어올 플랫폼을 제공해 좀더 액티브한 마켓플레이스를 제공하는 데 기여할 수 있을 것 같습니다.”

-구글에 있을 때 블레이크 르모인하고 같이 일하진 않았나요.

“네. 함께 일한 적은 없습니다. 그리고 AI가 확실히 자의식이 있는 건 절대 아닙니다. 언어모델은 굉장히 좁은 데이터 반경 안에서 그냥 인풋이 있으면 마땅한 아웃풋을 내보내는 구조로 일하기 때문이죠. 제가 생각하는 자의식(consciousness)의 정의는 일단 AI모델이 스스로 관찰을 하고 스스로 개선하는 수준에 이르러야 합니다. 미래에는 스스로 자아 관찰을 할 수 있는 그런 모델 개발을 목표로 하고 있습니다.”

-관련해서 또 다른 질문을 드리겠습니다. 에밀리 벤더 워싱턴대학 교수와 언어학자 노엄 촘스키 같은 분들은 ‘확률적 앵무새 이론’을 제기했습니다. 최근 생성 AI 혁명을 두고 챗GPT가 내놓은 답변의 실상은 확률적 정보에 따라 데이터에서 관찰된 언어형식의 시퀀스를 제시하는 것일 뿐 그 ‘의미’를 알고 답하는 것은 아니라는 이론입니다. 앵무새가 사람 말을 따라하는 것처럼요.

“우리가 개발한 것은 인풋x가 있으면 아웃풋y가 나오는 모델이 아니라 인풋x가 있다면 향후에 뭐가 나올지 예측하는 모델입니다. 그렇게 하기 위해서는 방대한 양의 정보를 압축해 연결시켜야 하는데요. 그러기 위해서는 아키텍처(컴퓨터 시스템 전체의 설계방식)를 처음부터 다 수정해야 하고, 실제로 그렇게 하기 위해서 굉장히 다양한 회사들과 협력해 새로운 모델을 개발 중입니다. 향후에는 이 모델을 다 압축해 휴대폰상에서도 구현할 수 있는 그런 세상이 오리라고 생각합니다.”

-간단한 질문 하나 드리겠습니다. 누군가 개발자의 길을 간다면 전공하신 AI를 추천할 겁니까 아니면 블록체인 쪽을 추천할 겁니까.

“간단한 질문이라고 하셨는데 아…. 답변하기 굉장히 어려운 질문이네요(하하). 일단 성향에 따라 다를 것 같은데요. 일단 블록체인부터 설명하자면 이쪽은 이미 굉장히 다양하고, 지금 당장 사용할 수 있는 애플리케이션이 많습니다. 그래서 실제로 바로 개발에 착수할 수 있는 반면에, AI의 경우 기존에 있던 인프라를 사용해야 하는 경우가 훨씬 더 많습니다. 예를 들어 이미 어떤 서비스가 존재하는데 그 서비스 위에 AI를 탑재하는 식으로 접목할 수 있는 거죠. 이 경우 시간을 꽤 많이 단축할 수 있죠. 따라서 사람 성향에 따라 맞는 분야가 달라질 듯합니다. 예컨대 아까 말씀하신 챗GPT의 경우 에이피아이(api·두 소프트웨어의 구성요소가 서로 통신할 수 있도록 이끄는 메커니즘)를 접목시키는 것은 굉장히 쉬운 작업이거든요. 정말 개발자 성향에 따라 많이 달라질 듯합니다.”

-트랜스포머 논문 이름이 ‘어텐션 이스 올 유 니드(attention is all you need)’입니다. 제목을 이렇게 지은 이유가 뭔지, 그리고 막연한 생각이지만 어텐션(의도)을 강조하는 것이 할루시네이션(hallucination·트레이닝 데이터에 따라 판단하지 않은 것으로 보이는 AI의 확신적 답변, 쉽게 말해 AI가 그럴듯한 거짓말을 감쪽같이 내놓는 현상) 이슈와 관련이 있는 것이 아닌가 생각합니다. 예를 들어 오픈 AI가 챗GPT 4를 내놓으면서 할루시네이션을 제거한 것이 아니라 줄였다고 발표하고 있습니다. 이거는 사실 AI만이 아니라 인간이 가지고 있는 근본적인 인식적 결함과 연결된 것이 아닌가 싶은데, 간단히 말해 사람은 내러티브에 취약하거든요. 그러니까 팩트가 아니라 이야기에 경도되는 특징이 있는데 이런 특성을 지금 생성 AI가 비슷하게 보여주는 게 아닌가 싶습니다.

“논문 제목은 우리가 기존에 하고 있던 작업의 연장선에서 지었습니다. 우리가 그전엔 듀얼 패스 순환신경망 자연어처리(Dual-Path-Recurrent Neural Network·RNN)를 공부하고 있었는데, 이 듀얼 패스 RNN의 단점이 굉장히 느리고 불안정하다는 것이었습니다. 그래서 ‘어텐션’이라는 아이디어를 처음 소개했는데요. 문장(sentence)에 있는 정보를 바로 빼내 와서 무거운 모델이 아니라 좀더 가벼운 모델을 개발할 수 있으라고 우리끼리 생각했습니다. 그러니까 문장을 이해하려면 그냥 집중만 하면 된다는 취지에서 ‘어텐션 이스 올 유 니드’라고 이름을 지었습니다. 둘째로, 할루시네이션에 대해 말씀드리자면 일단 현재 아키텍처에서는 할루시네이션은 불가피합니다. 왜냐면 여러 정보가 나열돼 있고 정해진 컨텍스트 안에서 정보를 달라는 것이 아니라 그냥 내가 질문을 던지면 질문에 대한 답변을 요구하는 상황이기 때문에 어떤 답이라도 내놔야 합니다. 따라서 할루시네이션은 발생할 수밖에 없습니다. 이걸 개선하려면 아키텍처를 모조리 뜯어고쳐야 하는 상황이므로 할루시네이션 자체를 현재로선 완벽히 제거하기란 불가능하다고 생각합니다.”

-기존의 플랫폼 기업들이 주도하는 웹2.0 시대에서 웹3로의 이행이 불가피하다고 보셨는데, 실제 일론 머스크 같은 경우는 트위터에다가 ‘나는 그것(웹3)을 본 적 없다’와 같이 부정적인 의견을 피력했어요. 예컨대 기존 플랫폼 기업들은 생성 AI 혁명이 종전 자신의 근본적인 수익모델과 병립 불가능한 결과에 이를 수밖에 없거든요. 정말 웹3 시대가 온다면 플랫폼 기업의 처지가 상당한 딜레마에 빠지는 상황이라고 보는데요. 이건 질문입니다(하하).

“당연히 (기존 플랫폼 기업의 주 수익모델인) 광고와 웹3는 상충됩니다. 생성 AI와 웹3도 상충되지만 궁극적으로는 AI와 웹3가 결합된다면 이제 광고 문제는 해소된다고 봐요. 예컨대 콘텐츠를 유저들이 직접 만들 수 있고, 결국 이제 모든 것이 다 함께 결합될 걸로 생각합니다. 그래서 나중에 기술이 더 성숙해지면, 어떤 상황이 발생할지는 좀더 자세히 봐야겠지만, 확실한 건 예컨대 구글의 경우 GPT가 나왔을 때 자신의 수익모델이 대체될 수 있다는 위협을 느꼈기 때문에 지속적으로 혁신해 나가려 하고 있습니다. 그래서 구글이나 아마존, 페이스북(메타)과 같은 기업도 굉장히 적극적으로 블록체인이나 AI 쪽으로 진출을 예고했거나 개발에 착수한 상황입니다. 향후 웹3가 대세가 되더라도, 구글이나 아마존, 메타 같은 기업이 완전히 대체되진 않을 것이라고 봅니다. 구글 같은 경우에는 데이터 센터도 잘 짓고 있지만, 소프트웨어도 굉장히 잘 만들거든요. 물론 일부분은 블록체인 시대가 되면 수정돼야겠지만 이후에도 일부는 여전히 지속될 걸로 봅니다.”

-회사를 창업해 대표직을 맡고 있는데요, 어떤 비전을 가지고 있습니까. 인터넷 또는 거버넌스의 바람직한 미래에 대해 궁극적으로 어떤 지향을 가지고 있습니까. 뒤집어 이야기하면 개발자 너드(nerd·외골수)들이 플라톤의 철인통치처럼 엘리트가 되어 이끄는 사회를 꿈꾸는 건 아닌지요.

“두 가지 그림을 그리고 있습니다. 먼저 커뮤니티가 이끄는 사회를 꿈꾸고 있습니다. 그리고 개개인이 직접 자신의 자산을 소유하는 그런 사회를 구상 중입니다. 그러기 위해서 각 개개인이 거버넌스에 참여하는 일이 굉장히 중요하다고 생각해요. 실제 웹3뿐 아니라 웹3 바깥만 봐도 거버넌스에 참여하는 사례는 많지 않아요. 또 리더들을 보면 굉장히 부적합한 지원자(candidate)가 올라오는 경우가 많기 때문에 좀더 다양한 사람이 각자의 결정권을 가지고 참여를 해야 바람직한 사회로 나아갈 수 있다고 생각합니다. 개발자가 이끄는 것이 아니라 개개인에게 자율권을 줌으로써 창의성을 해방(unlock)시키고, 사람들의 창의성이 좀 더 부각될 수 있는 그런 사회를 만들고 싶습니다.”

-마지막 질문입니다. 일 말고 취미가 있는지 궁금합니다. 행사장으로 이동할 때도 차 뒷자리에 앉아 코드 짜고 프로그래밍한다고 들었는데요(웃음).

“없진 않아요. SF와 판타지 읽는 걸 좋아합니다. 머리를 식힐 때 읽곤 하는데 그게 아니면 프로그래밍이 진짜 취미이긴 합니다. 정말 뭘 만드는 걸 좋아합니다. 물론 지금은 사람들 관리 업무를 하지만 정말 흥미가 있는 건 뭔가를 만들 때죠.”

-어떤 작품들을 좋아합니까.

“동유럽 출신 SF 작가들의 작품을 좋아합니다. 아이작 아시모프의 작품을 특히 좋아해요. 필생의 역작인 <파운데이션> 같은 경우 지금 국제 정세에서 미국이나 러시아와 같은 나라들의 역할이나 상황을 떠올리게 하는 작품이지요.”

글·정용인 기자 inqbus@kyunghyang.com 사진·이준헌 기자 heon@kyunghyang.com