인공지능 ‘스케일의 법칙’ 깨졌나.. 오픈AI 차세대 모델 성능의 벽 도달 전망나와

각 연도별 등장한 AI모델과 사용된 컴퓨팅 파워.

그동안 인공지능(AI) 개발에서 혁신적인 성능 확장을 가져온 ‘스케일의 법칙(Law of Scale)’이 깨지고 있다는 우려가 실리콘밸리에서 나오고 있다.

미국 테크 전문 매체 디인포메이션은 11일(현지시간) 최신 모델인 GPT-4의 다음 모델(프로젝트명 오라이온)을 개발하고 있는 오픈AI가 다음 모델에서 기대만큼의 성능 개선을 보지 못하고 있다고 보도했다. 디인포메이션에 따르면 AI 성능 향상 정도가 GPT-3에서 GPT-4로, GPT-2에서 GPT-3로 발전할 때에 비해 훨씬 낮다는 것이다. 오픈AI 직원은 디인포메이션에 오라이온은 언어 작업에서는 더 나은 성능을 보이지만 코딩과 같은 작업에서는 이전 모델을 능가하지 못할 수 있다고 설명했다.

그동안 트랜스포머 모델 기반의 거대언어모델 LLM을 개발하는 회사들은 모델의 크기와 데이터, 사용하는 GPU를 늘릴 경우 AI의 성능이 계속 증가하는 ‘스케일의 법칙’을 경험해 왔다. 스케일의 법칙은 오픈AI 등 AI 스타트업들이 빠르게 성장하고, 엔비디아 GPU에 대한 수요가 계속 증가하는 이론적 뒷받침이 되어왔다. 스케일의 법칙은 반도체 업계에서 ‘무어의 법칙’처럼 AI 성능의 지속적인 향상을 상징하는 것이었다.

하지만 최근에는 이런 ‘스케일의 법칙’이 깨진 것이 아닌가 하는 우려가 커져가고 있다. 오픈AI는 지난 9월 생각의 사슬 기법을 강화한 ‘o1’ 모델을 공개하면서 두 개의 패러다임이 동시에 적용된다고 설명했다. 스케일의 법칙과 생각의 사슬 기법을 기반으로하는 심층사고의 법칙을 의미한다.

디인포메이션에 따르면 실리콘밸리 유명 벤처캐피털인 안드레센호로위츠(a16z)의 벤 호로위츠 파트너는 최근 한 인터뷰에서 “(기업들이 학습에 사용하는) GPU 수를 늘리고 있지만 그만큼의 지능 개선을 전혀 얻지 못하고 있다”고 말하기도 했다.

LLM 성능 향상의 ‘스케일의 법칙’이 깨진다면 그동안 계속 늘어나기만 했던 엔비디아 GPU(AI 가속기)에 대한 수요도 둔화될 수 밖에 없다.

이에따라 LLM 성능 향상은 이제 한계에 도달했고, 이를 바탕으로 하는 어플리케이션이 더 중요하다는 전망도 나오고 있다. 마이크로소프트의 경우 LLM은 이제 ‘커머디티(범용제품)’에 도달했으며 다는 입장을 내놓기도 했다.

[실리콘밸리=이덕주 특파원]