챗GPT보다 75배 빠른데 비용은 170분의 1… ‘판단 전용’ AI 돌풍

인공지능(AI) 스타트업 타입세이프AI의 공동창업자인 에릭 가프니(왼쪽부터), 사샤 셩, 디오고 알메이다. /타입세이프AI

글도 쓰지 않고, 코딩도 하지 않으며 사용자와 대화도 나누지 않는 독특한 인공지능(AI)이 최근 실리콘밸리 개발자 사이에서 큰 관심을 끌고 있다. 오픈AI 연구원 출신 디오고 알메이다가 설립한 스타트업인 타입세이프AI가 지난 15일 공개한 ‘제브(Jev)’다. 출시 직후 이용자가 몰리며 한때 API(응용 프로그램 인터페이스) 서비스에 차질이 빚어졌고, 개발자용 클라우드 플랫폼 버셀에서는 출시 하루 만에 유료 고객의 약 13%가 사용했다. 버셀은 자사에 추가된 AI 모델 가운데 가장 빠른 초기 도입 속도라고 밝혔다.

제브의 특징은 챗GPT 같은 거대언어모델(LLM)처럼 문장을 만들어내지 않고 ‘판단’에 집중한다는 점이다. 챗GPT 같은 LLM은 입력을 받아 ‘다음 단어는 뭐지?’를 반복하며 문장, 코드, 요약 등을 만들어 낸다. 반면 제브는 문장을 만들지 않고 ‘어느 항목에 해당하는지’, ‘점수가 몇 점인지’, ‘특정 조건에 해당할 가능성이 얼마나 되는지’만 빠르게 답한다.

예컨대 고객이 쇼핑몰에 “어제 주문했는데 아직 물건이 안 왔다”고 보냈을 경우 개발자는 고객이 어떤 문장을 쓸지 예상해 답을 미리 만들어 놓지는 않는다. 대신 개발자는 제브에 문의에 대해 취할 수 있는 행동을 배송, 환불, 결제, 기타 중에 하나 고르도록 정해둔다. 제브는 처음 보는 문장의 의미를 파악해 문장을 만들지 않고 ‘배송 문의’라는 답만 낸다. 이 결과를 받은 백엔드 프로그램이 배송 조회 시스템으로 연결하거나 긴급 상황이면 상담원을 우선 배정하게 된다.

챗GPT가 ‘답변을 직접 쓰는 사원’이라면 제브는 서류를 보고 ‘A부서’ ‘B부서’ ‘긴급’ ‘보통’ 스탬프만 찍는 분류 담당자인 셈이다. 스탬프 결과를 받아서 실제 업무(조회·환불·연결)를 수행하는 건 기존 시스템이다. 업체는 “AI 에이전트가 이메일을 읽고 답장할지 넘길지, 작업을 계속할지 멈출지 결정하는 데도 활용할 수 있다”고 설명했다.

타입세이프AI는 이런 특징을 인간이 복잡하게 생각하기 전에 빠르고 직관적으로 판단하는 방식을 뜻하는 ‘시스템1(System 1)’에 빗대 제브를 ‘시스템 원 모델(System One Model)’이라고 부른다.

타입세이프AI가 동일한 27개 판단 작업을 자사 AI ‘제브’(왼쪽)와 오픈AI 모델(오른쪽)에 맡겨 비교한 화면. 제브는 0.114초, 오픈AI 모델은 8.566초가 걸렸다. 이는 타입세이프AI가 자체 실시한 비교 결과다. 업체 측은 오픈AI의 어떤 모델을 사용했는지는 밝히지 ㅇ않았다. /타입세이프AI

타입세이프는 이런 효율성을 앞세워 기존 모델보다 연산 속도와 비용을 크게 낮췄다고 밝혔다. 타입세이프AI가 같은 27개 판단 작업을 제브와 오픈AI 모델에 각각 처리하게 한 자체 실험을 진행한 결과 제브는 0.114초 만에 0.000081달러의 비용으로 작업을 끝냈다. 오픈AI 모델은 8.566초가 걸렸고 비용은 0.01388달러였다. 이 실험만 놓고 보면 제브가 오픈AI 모델에 비해 약 75배 빠르고 비용은 170분의 1 수준이다. 다만 업체 자체 측정치여서 아직은 별도 검증이 필요한 단계다.

문장을 읽고 분류하는 AI가 완전히 새로운 것은 아니다. 구글은 2018년 문장의 앞뒤 맥락을 파악해 의미를 이해하는 언어 모델 ‘버트(BERT)’를 공개했다. 버트 같은 기존 모델도 스팸메일을 가려내거나 문장을 주제별로 분류하는 데 활용할 수 있지만, 특정 업무에 맞춰 별도로 학습시키는 과정이 필요한 경우가 많다.

제브는 별도 학습 없이 개발자가 자연어로 판단 기준을 바꿔가며 여러 업무에 활용할 수 있다는 점을 차별점으로 내세운다. 글쓰기·코딩·복잡한 추론까지 수행하는 거대 LLM을 이메일 분류 같은 단순 작업에 매번 사용하는 대신, 이런 판단만 빠르고 저렴하게 처리하는 AI를 따로 둬 연산 효율을 높일 수 있다는 것이다.

타입세이프AI는 새로운 구조와 학습법을 적용했다고 밝혔지만 모델 크기와 가중치, 구체적인 구조 등은 공개하지 않았다. 외부에서는 기존 분류 모델이나 소형 AI와 비교해 실제 성능과 비용에서 얼마나 우위가 있는지를 확인해야 한다는 지적도 나온다. 최근 AI 업계에서는 질문의 난도에 따라 소형·대형 AI를 골라 사용하는 ‘AI 라우팅’ 기술도 개발되고 있다.

한 테크 업계 관계자는 “최근 기업에서 AI 활용이 늘면서 모든 작업에 가장 크고 비싼 모델을 사용하는 방식으로는 비용 부담이 커질 수밖에 없다”며 “제브 같은 새로운 유형의 AI 개발은 단순한 일에는 작고 저렴한 모델을 쓰고, 어려운 작업에만 대형 모델을 투입해 AI 사용 비용을 낮추려는 흐름으로 볼 수 있다”고 했다.