생성형AI 모델 창조자 "트랜스포머 넘어서는 새 AI 나와야"

엔비디아의 개발자 행사 'GTC 2024' 특별세션
엔비디아 CEO 직접 사회 맡아
'트랜스포머 논문' 저자와 대화
2017년 구글직원 8명 쓴 논문
챗GPT·거대언어모델의 기초
11만회 인용된 노벨상급 연구
"트랜스포머 컴퓨팅 비용 과다
사고력 갖춘 AI 학습비 줄것"

20일(현지시간) 엔비디아의 개발자 행사인 'GTC2024'의 특별세션에 참여한 '트랜스포머 논문' 저자와 젠슨 황 엔비디아 CEO(왼쪽 첫째)가 대담을 하고 있다. 왼쪽 둘째부터 차례대로 일리야 폴로수킨 니어프로토콜 CEO, 루카스 카이저 오픈AI 테크니컬 스탭, 에이든 고메즈 코히어 CEO, 라이온 존스 사카나AI 공동창업자, 제이컵 우스코레이트 인셉티브 CEO, 노암 샤지르 캐릭터.AI CEO, 아시시 바스와니 에센셜AI CEO. 매일경제

"인공지능(AI) 혁명의 앞으로 10년을 여러분은 놓치고 싶지 않으실 겁니다. 이 혁명을 시작한 중요한 도구가 된 '트랜스포머' 모델 창조자들을 여러분에게 소개합니다."

지난 20일(현지시간) 미국 새너제이에서 열린 엔비디아의 개발자 행사 'GTC 2024'에서 매우 특별한 세션이 열렸다. 젠슨 황 엔비디아 최고경영자(CEO)가 세션 진행자로 직접 나선 데 이어 여기에 참석한 연사들이 연단에 올라올 때마다 한 명씩 소개했기 때문이다. 1800명 정도가 들어가는 행사장은 젠슨 황 CEO와 연사들을 직접 보기 위한 사람들로 가득 찼다.

젠슨 황이 소개한 연사들은 2017년 구글에 몸을 담으면서 '트랜스포머'라고 하는 새로운 AI 모델을 연구해 이를 'Attention is All You Need(어텐션만 있으면 된다)'란 논문으로 공개한 이들이다. 이들이 공개한 트랜스포머 모델은 '챗GPT'를 비롯해 모든 생성형 AI의 기초가 됐다. 이 논문은 지금까지 11만회 이상 피인용되면서 AI 업계에서 가장 영향력 있는 논문으로 자리매김했다. 이 논문의 핵심적인 내용은 '매개변수의 크기를 키우면 AI의 성능이 좋아진다'는 것이다. 거대언어모델(LLM)이 등장하고, 엔비디아의 고성능 GPU에 대한 수요가 폭발적으로 늘어난 이유다.

이날 공동 저자 8명 중 부득이한 사정으로 불참한 1명을 제외하고 7명이 GTC 2024에 모였다.

8명 저자의 근황은 지난해부터 많은 관심을 받았다. 8명 전원이 구글에서 나와 창업하거나 다른 회사로 옮겼기 때문이다. AI 혁신을 주도하던 구글이 오픈AI와 경쟁에서 뒤처진 모습을 보여준다는 지적이 나왔다.

아시시 바스와니와 니키 파마는 함께 '에센셜AI'란 기업용 AI 제품을 만드는 회사를 설립했다. 에이든 고메즈는 코히어를 창업했다. 코히어도 기업용 AI 제품을 만든다.

노엄 샤지르는 '캐릭터.AI'라는 회사를 설립했다. 사람과 대화할 수 있는 다양한 개성의 챗봇을 만드는 회사다. 챗GPT 다음으로 일반 소비자들이 가장 많이 사용하는 AI 애플리케이션(앱)으로 알려져 있다.

제이컵 우스코레이트는 인셉티브라는 바이오테크 분야 AI 회사를 설립했다. 라이온 존스는 사카나AI라는 스타트업을 일본에서 만들었다. 이 회사는 코슬라벤처스 등에서 올해 1월 3000만달러의 투자를 받았다. 일리야 폴로수킨은 국내에서도 유명한 '니어프로토콜'이란 블록체인 플랫폼을 2018년에 만들었다. 전체 코인 중 시가총액이 18위 정도로 널리 사용되고 있다.

유일하게 창업하지 않은 사람은 루카스 카이저다. 그는 2021년 오픈AI로 옮겨 여전히 AI를 개발하고 있다.

7명의 저자는 트랜스포머 모델을 개발하면서 얼마나 모델이 큰 의미인지는 알았지만 이후 세상에 미칠 영향에 대해서는 상상하지 못했다. 이름을 트랜스포머로 짓게 된 것은 우연이었다. 트랜스포머라고 누군가 제시하자 다들 여기에 동의했다. 다만 그전에 '카고넷(CARGO Net)'이라는 괴상한 이름을 사용할 뻔하기도 했다.

존스 사카나AI 공동창업자는 "트랜스포머 모델은 처음에 영어와 독일어 간 번역을 위해 만들었지만 범용으로 사용될 것이라고 예상할 수 있었다"고 말했다.

고메즈 코히어 CEO는 "논문에서는 텍스트만 사용했지만 이미지와 오디오를 학습시키기도 했다"면서 당시에도 멀티모달리티에 대한 시도가 있었다고 말했다.

이 토론회에서 관심은 당연히 '트랜스포머' 이후로 넘어갔다. 트랜스포머 논문을 만들었고, 이것을 활용한 연구자들에 의해 혁명적인 AI가 등장하는 것을 지켜봤지만, 스타트업 입장에서 여전히 한계점이 많다는 것이 보이기 때문이다.

고메즈 CEO는 "세상에는 트랜스포머보다 더 나은 무언가가 필요하다"면서 "여기 있는 우리 모두는 새로운 성능을 보여줘서 우리를 이끌 무언가가 성공하길 바라고 있다"고 말했다.

사카나AI의 존스는 "(새로운 모델은) 그냥 좋아지는 것이 아니라 누가 봐도 명확히 좋아져야 한다. 지금 나오는 것들은 여전히 처음 트랜스포머 모델에서 크게 달라지지 않았다"면서 "전체 AI 산업을 변화시키는 모델이 나와야 한다"고 말했다. 특히 지금처럼 모델이 커지면서 필요한 컴퓨팅 파워가 점점 커져서는 안 된다고 설명했다. 우스코레이트 인셉티브 CEO는 "컴퓨팅 파워를 낮추고 소비전력을 낮추는 것이 가장 중요하다"고 말했다.

폴로수킨 니어프로토콜 CEO는 "2+2라는 답을 얻기 위해 전체 모델을 추론할 필요는 없다. AI에게 수학을 가르쳐서 2+2 같은 간단한 문제는 추론(inference)을 거치지 않고 답을 내도록 해야 한다"고 설명했다.

루카스 카이저 오픈AI 테크니컬 스태프는 "인간도 약간의 데이터만으로 학습하는 것처럼 AI가 사고능력(Reasoning)을 갖추면 데이터가 덜 필요해진다"면서 "그러면 학습의 양도 줄어들고 컴퓨팅 비용도 줄어들 것"이라고 예상했다.

연구자들은 제각각 자신이 AI로 해결하고자 하는 문제를 풀기 위해 구글을 나와 창업했다고 설명했다. 바스와니 에센셜AI CEO는 "우리는 인간과 AI가 상호작용하는 것을 바꾸려고 한다"면서 "인공지능이 여러 문제를 해결할 수 있게 만드는 것"이라고 설명했다.

7만8000명이 읽고 있는 글로벌 트렌드 뉴스레터인 '미라클레터'를 주 3회 무료로 만나보세요. 검색창에 '미라클레터'를 입력하거나 QR코드를 스캔해 무료로 구독할 수 있습니다.

[실리콘밸리 이덕주 특파원]