적은 데이터·비용으로 고성능 AI 모델…투플랫폼 '수트라 D3'

기업 환경 맞춤형 지식 증류 모델 공개
기존 파인튜닝 방식보다 비용 절감, 뛰어난 성능 유지

(투플랫폼 제공)

(서울=뉴스1) 신은빈 기자 = 글로벌 인공지능(AI) 스타트업 '투플랫폼'이 적은 데이터와 낮은 비용으로 더 똑똑한 AI 모델을 만들 수 있는 지식 증류 모델을 선보였다.

투플랫폼은 기업 환경 맞춤형 지식 증류 모델 '수트라 D3'(SUTRA D3) 프레임워크(소프트웨어 개발 기본 도구)를 27일 공개했다.

지식 증류(Knowledge Distillation)는 거대언어모델(LLM)을 파인튜닝(미세 조정)해서 업무 환경에 적용할 때 발생하는 문제점을 해결할 수 있는 기술이다.

거대 모델을 현장에 맞게 파인튜닝 하는 기존 방식은 비용이 많이 들고 확장성이 낮았다면, 지식 증류 방식은 대형 모델의 출력값을 모방해 소형 모델을 훈련하는 방식으로 비용은 줄이고 뛰어난 성능은 유지한다.

수트라 D3는 △지식 증류 △도메인 특화 △데이터 중심 학습을 바탕으로 기업에서 즉시 활용할 수 있는 경량 AI 모델을 만들 수 있다.

특히 대형 모델이 생성한 합성 데이터로 각 도메인에 맞는 정밀한 모델을 학습시킬 수 있어 데이터가 부족한 산업군에서 유용하다.

적은 비용으로 성능을 극대화하는 것도 특징이다. 대형 모델보다 10분의 1 수준으로 경량화된 규모로 온프레미스나 엣지 환경에서 부담 없이 구동할 수 있으면서 성능은 유지한다.

합성 데이터를 사용해 실제 데이터를 수집하고 라벨링(분류)하는 비용도 절감할 수 있다.

bean@news1.kr

<용어설명>

■ 온프레미스
온프레미스는 기업이 자체 시설에서 보유하고 직접 유지 관리하는 프라이빗 데이터 센터를 의미한다. 기업들이 주로 사용하던 IT 인프라 구축 방식이다. 현재도 많은 기업들이 데이터 보안과 완전한 제어를 위해 온프레미스 환경을 유지하고 있다.