크게 비싸게 만들다가 ‘딥시크’에 화들짝 [인공지능 오디세이]
중국 AI업체 딥시크(DeepSeek)는 올해 초 딥시크-V3와 딥시크-R1 모델을 잇달아 공개했다. 단 558만 달러의 저렴한 학습 비용으로 미국 빅테크 기업들이 수천만~수억 달러를 들여 훈련한 모델들과 맞먹는 성능을 보여주었다. AI 업계와 시장은 큰 충격에 빠졌다. 스케일이 커질수록 모델 성능이 좋아진다는 ‘스케일링의 법칙’이 깨진 것이 아니냐는 것이다. 특히 딥시크-R1 모델은 여러 벤치마크에서 오픈AI의 o1(오원)을 비롯한 상당수 빅테크 모델들을 능가하는 성능을 기록했다. 이는 단순히 ‘비용 대비 성능’을 넘어, 오픈소스 모델이 폐쇄형 상용 모델의 영역을 침범한 첫 사례다.
이와 관련해 앤스로픽 CEO 다리오 아모데이의 분석이 눈길을 끈다. 그는 지난 1월 자신의 블로그에 “딥시크가 최신 GPU 5만여 장을 보유하고 있다는 점을 고려하면 미국 회사들과 비용 차이는 그리 크지 않다”라고 분석했다. 다시 말해 딥시크가 밝힌 558만 달러의 학습 비용은 최종 1회 학습에 지출된 것으로, 수많은 시행착오와 실험 등에 대한 비용은 빠져 있다는 얘기다. 아모데이는 “딥시크-V3는 저렴한 비용으로 훈련되었지만 기술 발전 추세에서 벗어난 일은 아니다”라며 “문제는 이 추세를 따르는 모델이 중국에서 등장한 것”이라고 꼬집었다.
실제로 미국 중심의 폐쇄형 상용 모델의 성능 향상은 최근 점차 느려지고 있다. 오픈AI 공동 창립자인 일리야 수츠케버가 2024년 12월 AI학회에서 언급한 “LLM 사전 훈련(pretraining)의 종말” 역시 이 흐름과 맞닿아 있다. 그는 “LLM 학습 데이터의 주요 원천인 인터넷 데이터는 석유 등 화석연료처럼 유한한 자원”이라며 “컴퓨팅 성능은 향상되고 있지만 데이터를 더 이상 확장할 방법은 없다”라고 말한 바 있다. 반면 중국을 중심으로 한 오픈소스 모델들은 성능이 비약적으로 향상되고 있다. 주요 벤치마크에서도 폐쇄형 모델과 오픈소스 모델 사이의 성능 차는 점점 줄어들고 있다.
LLM 상향 평준화 배경에는 ‘학습 효율의 극대화’라는 흐름이 자리하고 있다. 이전에는 방대한 양의 웹 문서를 아무런 가공 없이 학습시키는 방식이 주류였다면 최근에는 같은 데이터라도 훨씬 더 정제되고 정보 밀도가 높은 형태로 압축해서 학습시키는 방식이 활발해지고 있다. 예를 들어 일반적인 웹 문서나 블로그보다는 교육적 가치가 높고 명확한 지식을 담은 문서들만을 선별하거나, 기존 텍스트에 질문·답변(Q&A)을 붙여 더 구조적인 학습이 가능하게 만드는 방식 등이다.
기존 고성능 모델들이 생성한 응답을 활용해 저비용 모델을 훈련시키는 ‘지식 증류(distillation)’ 기법도 널리 활용되고 있다. 오픈AI의 o1이나 앤스로픽의 클로드3.7 같은 강력한 모델이 생성한 고품질 데이터를 기반으로 상대적으로 작거나 품질이 떨어지는 모델에 그 패턴을 모방하도록 학습시켜 성능을 대폭 끌어올리는 것이다. 이 과정에서 강화 학습(Reinforcement Learning)이나 거절 샘플링(Rejection Sampling)과 같은 섬세한 기법이 병행되면 적은 데이터로도 뛰어난 성능을 구현할 수 있게 된다.
이 밖에도 계산 효율을 극대화하는 엔지니어링 기법들과 하드웨어 개선이 결합되며 이전 대비 비교적 적은 자원으로도 높은 성능을 내는 것이 가능해졌다. 예를 들어 ‘MoE(Mixture-of-Experts·전문가 혼합)’ 아키텍처는 전체 모델의 일부분만 활성화해도 충분한 성능을 내도록 설계되어 계산량을 크게 줄일 수 있다. ‘플래시 어텐션(Flash Attention)’이나 ‘MLA(Multi-head Latent Attention)’ 같은 기술은 연산 과정에서 불필요한 자원 낭비를 최소화한다. H100 같은 고성능 GPU는 동일한 계산을 더 빠르고 적은 전력으로 처리할 수 있다.
오픈소스 모델들이 진격할 수 있었던 또 다른 배경에는 개방과 공유를 기반으로 한 생태계의 힘이 있다. 오픈소스 커뮤니티는 모델 아키텍처, 학습 데이터, 학습 기법, 평가 방법론 등을 지속적으로 공개하고 검증하면서 전 세계 연구자들이 상호 협업할 수 있는 기반을 만들었다. 한 연구팀이 만든 개선 기법이 곧바로 커뮤니티를 통해 다른 팀에서 재활용되고, 성능이 확인된 방법론은 곧 다른 모델에 통합되며 이 과정을 통해 전반적인 기술 수준이 빠르게 향상되고 있다. 즉 ‘열린 공유→집단 개선→상향 평준화’의 선순환 구조가 형성된 것이다.
AI 발전의 세 가지 동력
앞으로의 AI 발전과 관련해 앤스로픽 CEO 다리오 아모데이가 언급한 ‘AI 발전의 세 가지 동력’을 주목할 만하다. 첫째, ‘스케일링의 법칙(scaling laws)’이다. 2020년 전후로 오픈AI, 구글, 딥마인드 등이 LLM을 개발하면서 발견한 이 원칙은 지금도 여전히 유효하다. 스케일(파라미터 수, 데이터 양, 연산량 등 총비용)이 커질수록 성능도 증가한다. 100만 달러 모델이 코딩 문제의 20%를 푼다면, 1000만 달러 모델은 40%, 1억 달러 모델은 60%를 푼다.
둘째, ‘비용-성능 곡선의 이동(shifting the curve)’이다. LLM 학습에 들인 총비용과 그 성능을 여러 번 측정하여 이를 이어나가면 현재 기술 수준에서의 비용-성능 곡선이 된다. 모델 아키텍처, 학습 기법, 데이터 품질, 연산 효율성의 혁신은 이 곡선을 위로 올린다. 즉 같은 비용일 때 성능이 올라간다는 얘기다. 곡선의 이동은 소규모 혁신(1.2배), 중간 혁신(2배), 대형 혁신(10배)으로 나뉜다. 하지만 효율이 올라도 기업들은 비용을 아끼기보다 더 좋은 모델에 재투자한다. 다시 말해 연산 효율이 개선된 만큼 예산을 줄이는 데 쓰기보다는 더 성능 좋은 모델을 빠르게 만드는 방향으로 활용하고 있다는 것이다.
셋째, ‘패러다임의 전환(shifting the paradigm)’이다. 2023년까지는 대규모 ‘사전 학습’이 중심이었다면, 2024년 이후 오픈AI의 o1을 시작으로 ‘강화 학습’ 기반의 성능 개선이 본격화되고 있다. 지난 5회(〈시사IN〉 제904호 ‘LLM을 똑똑하게 만드는 3단계 학습법’ 기사 참조)에서 설명했던 것처럼 강화 학습은 모델로 하여금 사용자 지시를 충실히 따르고, 유용하며 안전한 응답을 생성하도록 유도한다. 딥시크-R1은 여기에 더해 수학·코딩처럼 정답이 있는 과제에서 모델에게 보상(reward)을 명확하게 제시함으로써 추론(reasoning) 기반의 성능을 끌어올릴 수 있었다. 아모데이에 따르면 이 같은 강화 학습은 기술 발전 초기 단계라 소규모 투자만으로도 큰 성능 향상이 가능하다.
아모데이의 ‘AI 발전의 세 가지 동력’은 단지 더 큰 모델을 만드는 데 집중하던 기존 접근법에서 벗어나 어떻게 더 똑똑하게 투자하고 정교하게 설계할 것인가로 AI 경쟁의 중심축이 옮겨졌음을 의미한다. 즉 이제는 무작정 큰 모델이 아니라 “얼마나 효율적으로 목적에 맞게 발전시킬 수 있느냐”가 핵심이 되고 있는 것이다. 딥시크는 이 같은 흐름의 상징적 전환점이라 볼 수 있다.
개발자 M (필명·AI 개발자) editor@sisain.co.kr
▶좋은 뉴스는 독자가 만듭니다 [시사IN 후원]
©시사IN, 무단전재 및 재배포 금지
Copyright © 시사IN. 무단전재 및 재배포 금지.