[류현정의 더다이브 <27> | Interview 구글 ‘트랜스포머’ 논문 제1 저자 아시시 바스와니] “때로는 반대편으로 가라, 대담하고 보편적인 아이디어 추구하라”
2017년 최고 권위를 자랑하는 인공지능(AI) 학회 NeurlPS에서 한 편의 논문이 발표된다. 제목은 ‘Attention is All You Need(필요한 건 오직 어텐션)’. 팝송 곡명을 연상시키는 이 논문이 세상을 흔드는 데는 오랜 세월이 필요하지 않았다. 논문에서 소개된 트랜스포머(transformer) 아키텍처는 ‘챗GPT’ ‘미드저니’ ‘스테이블 디퓨전’ ‘깃허브 코파일럿’ 등의 토대가 됐고 생성 AI(Generative AI) 혁명으로 이어졌다. 이 논문의 피인용 건수는 무려 9만4000여 건에 달한다(2023년 11월 1일 기준). 최근에는 컴퓨터 비전·로봇 공학·계산 생물학 등으로 그 응용 범위도 넓어지고 있다.
기념비적인 논문의 제1 저자 아시시 바스와니(Ashishi Vaswani) 박사를 서울에서 만났다. 그는 9월 13~14일 서울 코엑스 그랜드볼룸에서 열린 ‘AI 서밋 서울 2023(AI Summit Seoul 2023)’의 강연을 위해 방한했다. 바스와니 박사는 인도 태생으로 제법 길게 기른 머리카락을 정수리에 묶은 번 헤어(bun hair·올림 머리)를 하고 ‘하하 핫!’ 하고 호쾌한 웃음을 자주 터트렸다. 그러면서도 연구 결과를 과장한 논문에 대해서는 연구 방법의 엄밀성 부족을 예리하게 지적했다. 최근 그는 논문의 공동 저자인 니키 파머(Niki Parmar)와 함께 AI 스타트업 에센셜AI(Essential AI)를 창업했다. 다음은 일문일답.
학창 시절이 궁금하다.
“난 인도 태생이지만, 이웃 나라 오만에서 15년 이상 살며 아동기와 청소년기를 보냈다. 나는 좋아하는 분야만 열심히 공부하는 양극단의 학생(polarizing student)이었다. ‘최애’ 과목은 수학과 물리학. 아이작 뉴턴은 ‘나의 영웅’이었다(인도 반도에서 아라비아해 건너편에 있는 오만에는 매우 큰 인도인 커뮤니티가 있다).”
오만에서 인도로 건너와 비를라 공대에서 학부 과정을 마친 후 미국으로 유학을 떠났다.
“‘독창적인 연구’를 하는 것이 내 꿈이었으니까. 미국에서의 고등교육은 이를 실현할 기회를 마련해줄 것으로 생각했다.”
딥러닝(deep learing·인간의 신경 구조를 모방한 기계 학습)에 주목한 이유는.
“사실 2006년 박사과정에 들어갔을 때만 해도 자동번역 연구자들은 전산 언어학(Computational Linguistics) 등 언어 특화 지식을 중요하게 생각했다. 내 생각은 달랐다. 전산 언어학은 언어 문제만 해결할 수 있다. 딥러닝으로 번역 성능을 개선한다면 그 연구 결과는 다른 분야의 문제까지 해결하는 돌파구가 될 것이었다. 딥러닝이 훨씬 보편적인 기술이기 때문이다.”
당시 딥러닝은 지금처럼 각광받지도 못했고 언어 처리 분야에서는 아예 거부되다시피 한 방법론이었다. 하지만 바스와니 박사는 학위 취득을 위해 적당히 타협하지 않았다. 2010년부터 3년 동안 본격적으로 딥러닝을 깊이 탐구해 2014년 관련 논문으로 박사 학위를 받았다.
바스와니 박사는 “좋은 연구란 담대한 아이디어를 바탕으로 특화 문제보다 보편적인 문제에 도전하는 것이라고 생각한다. 때로는 주변 환경과 반대로 가야 할 때도 있다”고 덧붙였다. 오랜 노력 덕분에 그는 구글의 AI 연구조직인 구글브레인에 입사한 지 1년여 만에 그 기념비적인 논문 ‘Attention is All You Need’를 발표한다.
‘Attention ~ ’논문의 탄생 과정은.
“내가 시작한 언어 번역 개선 연구에 흥미를 느낀 연구자들이 하나둘씩 합류하고 아이디어를 보탰다. 구글브레인에서는 누가 프로젝트에 참여하라고 지시하지 않는다. 최종 8명이 연구에 참여했는데, 그 과정이 매우 자발적(organic)이었다. 이런 문화가 좋은 연구 성과로 이어졌다.”
비틀스의 곡 ‘All You Need Is Love’를 떠올리게 하는 논문 제목이 흥미롭다.
“우리가 또 한 가지 기여한 게 있다면, 연구 논문의 제목일 것이다(웃음). ‘당신이 필요한 것은 오직~’ 식의 제목을 단 논문들이 계속 나오고 있다. 사실 AI 학계에선 이전에도 꽤 재미있고 창의적인 제목의 논문들이 많았다. 이건 지난 수십 년 동안 인공신경망 연구가 실패를 거듭하면서 AI 연구 자체를 경시하는 분위기가 지속된 가운데, AI에 열정이 있는 연구자들만의 매우 독특한 커뮤니티가 형성된 덕분이었다. 이 커뮤니티에는 위트를 서로 주고받는 문화가 있다.”
논문의 파급력이 이렇게 클 줄 예상했나.
“논문 제출 마감 전날엔 회사 사무실 소파에서 잠을 청했다. 그 마지막 순간, 추가로 들어온 숫자들을 확인하고 논문의 성공을 예감했다. 걱정하는 동료에게 ‘이 논문은 영어·독어 번역 성능 개선을 다루고 있지만, 그 파급력은 번역 분야를 넘어설 것’이라고 내가 장담할 정도였다.
나를 놀라게 한 것은 대규모 언어 모델(LLM)의 성공이다. 논문에 나온 트랜스포머 아키텍처 기반으로 모델 크기와 데이터를 늘리면 AI 성능이 획기적으로 증가하는 것이 계속 관찰되고 있다. 이른바 ‘스케일링의 법칙(the scaling law)’은 예상하지 못했다.”
구글이 7000여 명의 연구자를 보유하고도 400명 규모의 스타트업인 오픈AI에 일격(一擊)을 당했다.
“그런 평가는 부당(unfair)하다. 구글은 많은 것을 발명해 온 회사이고 AI 분야에서 독보적인 성과를 냈으며 더 큰 성과를 내는 것도 시간 문제다. 구글의 자체 AI 모델 ‘제미니(Gemini)’도 곧 출시된다고 하지 않나.”
오픈AI가 성과를 낸 비결은.
“훌륭한 엔지니어, 엄청난 노력과 압박감 등 여러 요인이 있을 것이다. 그중 하나를 꼽으라면 ‘집중(focus)’이다. 오픈AI는 LLM 개발에 집중하기로 결정했다. 하나에 베팅하려면 다른 AI 프로젝트들은 중단시킬 정도로 무자비해져야 한다. 오픈AI는 그것이 일반 인공지능(AGI)을 만드는 길이라고 믿었고 그렇게 잘 해냈다.”
당신은 파푸아뉴기니에서 소멸 위기 언어에 대해 연구한 경험이 있다. AI 등장으로 소수 언어의 소멸이 가속화하지 않을까.
“우리가 그곳에 간 이유는 소멸 위기에 처한 언어를 영어로 자동 번역하면 그 언어를 보존할 수 있다고 믿었기 때문이다. LLM의 발달은 오히려 소수 언어 보존에 도움이 된다.”
논문 공동 저자인 니키 파머와 함께 에센셜AI를 창업했다.
“내가 구글을 떠난 이유 중 하나는 연구실에서 연구하는 것만으로 AI 모델을 개선할 수 없다고 판단했기 때문이다. 실제 제품을 만들어 사용자로부터 피드백을 받아야 한다. 에센셜AI는 고객이 어떤 문제를 겪고 있는지, 매출 목표를 달성할 수 있는지 등 기업의 비즈니스에 도움을 주는 LLM을 만들 것이다. 기존 LLM이 구조화한 데이터(숫자 등 정형화한 데이터)를 다루는 데는 매우 취약한데, 이를 개선하는 연구개발에 전념하고 있다. 실리콘밸리뿐만 아니라 인도 벵갈루루에도 사무실을 내려고 한다.”
“앞으로 인간에게 매우 흥미진진한 10년이 펼쳐질 거예요. 기계 덕분에 인간의 생산성이 크게 향상될 것이거든요.” 바스와니 박사는 이렇게 말하면서도 그 10년 이후엔 인간과 기계 중 누가 더 나은 지능을 갖게 될지에 대한 답은 유보했다.
keyword
트랜스포머 아키텍처 주목(attention)이라는 수학적 메커니즘을 활용해 단어 간의 상관관계를 파악함으로써 문맥의 이해도를 획기적으로 향상시켰다. 이 병렬 언어 처리 방식은 기존 언어 처리 모델(RNN·순환신경망)을 완전히 대체했고 오픈AI의 GPT 등 생성 AI 모델 탄생의 토대가 됐다. GPT라는 용어도 ‘생성 사전 학습 트랜스포머(Generative Pre-trained Trans-former)’의 약자다.
Plus Point
‘Attention is All You Need’
8명의 저자는 지금‘트랜스포머’ 창시자들은 모두 구글을 떠났다. 생성 AI의 기반이 된 논문 ‘Attention is All You Need’의 저자 8명이 창업 등을 이유로 퇴사한 것이다. 논문의 제1 저자인 아시시 바스와니 박사는 공동 저자인 니키 파머와 함께 어뎁트AI를 거쳐 에센셜AI를 창업했다. 아이단 코메즈는 코히어(Cohere)를, 노엄 사지어는 캐릭터 ai, 일리야 폴로수킨은 블록체인 기업 니어 프로토콜(Near Protocol)을 공동 창업했다.
제이콥 우스코레이트는 AI를 활용해 RNA 분자를 설계하는 인셉티브(Inceptive)를 만들었고 우카시 카이저는 오픈AI에 합류했다. 마지막으로 구글에 남아 있었던 일리언 존스는 일본 도쿄에서 사카나(Sakana) AI를 창업했다.
Copyright © 이코노미조선. 무단전재 및 재배포 금지.