AI 훈련 세 단계로 진행… 엔비디아 ‘스케일링 법칙’

[Small Read]

오픈AI 공동 창업자 일리야 수츠케버가 가장 많이 언급하는 이론은 ‘스케일링(scaling) 법칙’이다. AI 학습에 사용하는 데이터와 컴퓨터 자원이 증가할수록 더 나은 AI 모델이 만들어진다는 것이다. 최근 엔비디아는 스케일링 법칙을 세 단계로 나눠 설명했다. 먼저 데이터 크기와 모델 수, 컴퓨팅 자원을 늘려 성능을 향상시키는 ‘사전 훈련 스케일링’이다. AI 개발의 가장 기본 단계로, 상당한 투자와 숙련된 전문가, 방대한 데이터가 필요하다.

둘째는 사전 훈련된 AI 모델을 다양한 산업 분야에서 각자 상황에 맞는 데이터를 사용해 훈련시키는 ‘사후 훈련 스케일링’이다. 한 AI 기업이 성능이 뛰어난 AI 모델을 공개하면 개발자 커뮤니티에서 파생 모델이 수백~수천 가지 만들어지는 단계다. AI가 감정 분석이나 번역 같은 특정 작업을 수행하도록 하거나 의료, 법률 등 특정 분야 전문용어를 이해하도록 훈련한다. 마지막은 복잡한 질문에도 AI가 빠르게 답을 내리도록 훈련하는 ‘테스트 타임 스케일링’이다.