카카오AI ‘모델 운용력’ 시험대… 5000만 카톡 데이터 활용도 관건

대규모 멀티모델 운용 경험은 상대적으로 부족… “작업 완수율 대비 비용 중요”

[디지털데일리 구아현기자] 카카오가 5000만 카카오톡 이용자와 자체·외부 인공지능(AI) 모델을 결합한 ‘풀스택 AI’ 전략을 내놓은 가운데 자체·외부 모델을 품질과 비용에 맞게 안정적으로 조합하는 ‘모델 운용력’과 개인정보 규제 속에서 이용자 맥락 데이터를 실제 서비스 경쟁력으로 전환하는 능력을 얼마나 빠르게 증명하느냐가 카카오AI의 성패를 가를 전망이다.

카카오는 지난 21일 기자간담회를 열고 인적분할을 통해 회사를 신설법인 ‘카카오AI’와 존속법인 ‘카카오X’로 나누는 사업 재편안을 공개했다. 카카오AI는 계열사 관리와 투자 기능을 카카오X로 떼어내고 카카오톡을 중심으로 AI·광고·커머스를 연결하는 AI 핵심 사업회사로 출범한다. 인프라부터 모델·플랫폼·서비스까지 전 영역을 연결해 최적화하는 ‘풀스택 AI’를 앞세워 카카오를 AI 중심 사업회사로 재편한다는 구상이다.

정신아 카카오AI 대표 내정자는 카카오AI의 핵심 전략으로 인프라부터 모델·플랫폼·서비스까지 전 영역을 연결·최적화하는 ‘풀스택 AI’를 제시했다. 5000만 이용자가 쓰는 카카오톡을 핵심 접점으로 삼아 이용자의 일상 맥락을 파악하고 이를 광고·커머스 등 카카오 서비스와 연결해 실제 실행까지 이어지는 에이전틱 AI 경험을 구현한다는 구상이다.

모든 요청을 하나의 AI 모델로 처리하지 않고 요청의 복잡도와 난이도에 따라 적합한 모델을 선택하는 ‘지능형 모델 라우팅’ 전략을 적용한다. 이용자 요청의 절반가량은 자체 경량모델 ‘카나나 나노’를 활용해 기기 안에서 처리하고, 복잡한 요청은 서버 AI 모델과 전문 에이전트를 활용한다. 현재 개발 중인 ‘AI 컨덕터’가 요청의 복잡도와 난이도를 판단해 적합한 AI 모델을 선택·연결하는 구조다.

카카오는 이 같은 온디바이스 우선 처리와 지능형 모델 라우팅을 통해 서비스 품질을 유지하면서 서버 추론비용을 최대 90% 절감한다는 목표다. 자체 모델의 규모를 키우는 데 집중하기보다 요청별로 적합한 모델과 에이전트를 배치해 5000만 이용자로 서비스가 확대돼도 추론비용이 이용자 증가에 비례해 늘어나지 않는 구조를 만들겠다는 전략이다. 자체 모델을 무조건 키우기보다 실제 서비스에 맞는 효율적인 모델을 개발하겠다는 전략도 내놨다.

◆모델 개발 경험은 쌓았다… ‘잘 굴리는 능력’은 시험대

카카오가 AI 모델 개발이나 서비스 경험이 없는 것은 아니다. 자체 ‘카나나’ 모델군을 개발해왔고 외부 AI 사업자와도 협력하면서 자체·외부 모델을 함께 활용하는 방향으로 전략을 넓혀왔다. 정신아 대표도 기자간담회에서 카카오 서비스에 필요한 자체 AI 모델은 독자적으로 계속 개발하고, AI 에이전트 생태계를 위한 외부 사업자와의 제휴도 확대하겠다는 방침을 밝혔다.

다만 자체 모델을 개발하는 역량과 여러 모델을 수천만명 규모의 서비스에서 실시간으로 조합·운영하는 능력은 다른 문제라는 평가가 나온다. 이용자 요청의 성격에 따라 모델을 골라 보내고 응답 품질과 속도를 일정하게 유지하면서 비용까지 관리해야 하기 때문이다. 대규모 트래픽에서 다중 모델을 장기간 조합·운영한 경험은 상대적으로 부족한 만큼 실제 서비스에서 이를 입증해야 한다는 지적이다.

카카오는 자체 모델 개발과 AI 서비스 경험을 쌓아왔지만 대규모 트래픽에서 여러 모델을 장기간 조합·운영한 경험은 상대적으로 부족한 편이다. 한 AI 기업 전략 담당자는 “자체 모델 보유 여부보다 여러 모델을 목적과 비용에 맞게 조합해 안정적으로 서비스로 굴려내는 역량이 중요하지만 관련 경험이 부족하다”고 평가했다.

이른바 ‘모델 운용력’에는 어떤 요청을 어떤 모델로 보낼지 판단하는 라우팅 설계뿐만 아니라 품질을 유지하면서 추론 단가를 낮추는 비용 관리가 포함된다. 실패 사례를 수집해 프롬프트·라우팅·파인튜닝에 다시 반영하고 외부 모델의 가격이나 정책이 바뀌었을 때 다른 모델로 신속하게 교체하는 능력도 필요하다.

이 전략 담당자는 모델 운용력의 핵심 지표로 ‘작업 완수율(Task Success Rate) 대비 단위비용’을 꼽았다. AI가 답변을 생성했는지가 아니라 이용자가 맡긴 일을 실제로 얼마나 정확하게 끝냈고 이를 처리하는 데 얼마가 들었는지를 함께 평가해야 한다는 의미다.

그는 “핵심 지표를 하나만 꼽자면 작업 완수율 대비 단위비용”이라며 “라우팅 설계나 비용 구조 관리 등도 결국 사용자의 요청을 정확하게 완수하기 위한 하위 지표로 볼 수 있다”고 설명했다.

카카오가 제시한 서버 추론비용 최대 90% 절감 목표도 결국 이 기준에서 성패가 갈릴 전망이다. 비용을 크게 낮추더라도 작업 완수율이 함께 떨어지면 경쟁력이 없다. 반대로 모든 요청에 최고 성능의 프런티어 모델을 투입하면 품질은 높일 수 있지만 수천만명으로 이용자가 늘수록 비용 부담이 커진다.

자체 경량모델과 외부 프런티어 모델을 요청 난이도에 맞춰 나누는 방향 자체는 현실적인 전략으로 평가된다. 이 전략 담당자는 “모든 요청을 프런티어 모델로 처리하면 비용을 감당하기 어렵고, 반대로 전부 자체 모델로 처리하면 품질이 따라가지 못할 수 있다”며 “저난도·고빈도 작업과 고난도·저빈도 작업을 분리하는 것은 업계 공통의 방향”이라고 말했다.

외부 모델 의존도 역시 관리해야 할 변수다. 특정 모델의 가격이나 API 정책이 바뀌면 서비스 비용과 품질에도 영향을 미칠 수 있다. 어느 한 모델에 종속되지 않고 필요에 따라 모델을 교체하면서 일정한 서비스 수준을 유지하는 능력까지 갖춰야 카카오가 구상한 AI 컨덕터가 실제 경쟁력으로 이어질 수 있다는 분석이다.

◆ 5000만 카톡은 강점… ‘맥락 데이터’ 활용은 규제가 변수

또 다른 시험대는 카카오가 최대 강점으로 내세운 5000만 카카오톡 이용자와 ‘일상의 맥락 데이터’다. 카카오는 AI 사용이 늘어날수록 다양한 에이전트와 파트너가 참여하고 이용자 경험과 맥락 데이터가 쌓이면서 다시 AI 서비스 품질이 높아지는 선순환을 기대하고 있다.

하지만 이용자 접점이 크다는 이유만으로 AI 시장에서 우위를 보장받는 것은 아니라는 지적도 나온다. 한 AI 기업 관계자는 “사용자 접점이 중요하다는 명제 자체는 맞지만 그 논리를 끝까지 밀고 가면 가장 유리한 회사는 애플이어야 한다”며 “기술이 바뀌면 그에 맞는 프로덕트 핏도 달라진다”고 말했다.

모바일 전환기가 대표적인 사례다. 인터넷 시대 강한 이용자 기반을 확보한 기존 사업자가 있었지만 모바일 환경에 맞는 새로운 사용자 경험을 내놓은 카카오가 카카오톡을 앞세워 시장을 빠르게 확대했다. AI 시대에도 기존 이용자 수 자체보다는 이용자가 계속 찾을 만한 제품과 서비스를 만들어내느냐가 중요하다는 설명이다.

5000만 이용자의 ‘맥락 데이터’를 실제 AI 경쟁력으로 전환하는 과정에서는 개인정보 규제도 변수다. 개인정보는 수집·이용 목적과 동의 범위에 따라 처리해야 한다. 메신저 대화에는 발신자와 수신자의 정보가 함께 들어가고 민감정보가 포함될 가능성도 있어 AI 학습이나 개인화에 활용하는 과정이 단순하지 않다는 게 업계 설명이다.

카카오가 5000만 이용자와 일상의 맥락이라는 강점을 현실의 AI 경쟁력으로 바꾸려면 개인정보 규제와 이용자 동의의 범위 안에서 활용 가능한 데이터를 찾아내고 이를 개인화와 에이전트 서비스로 연결하는 역량이 중요해질 전망이다. 다른 AI 업계 관계자는 “개인정보는 원칙적으로 수집·이용 목적 범위 안에서 사용해야 하고 별도 목적으로 이용하려면 이에 맞는 동의가 필요하다”며 “메신저 대화는 발신자와 수신자가 모두 존재하는 데이터라는 점에서 동의 구조도 단순하지 않다”고 설명했다.

이용자의 ‘신뢰’도 관건이다. AI 에이전트가 단순 검색을 넘어 예약·구매·결제 등 실제 업무를 수행하려면 이용자가 신원정보나 결제수단, 외부 계정 연결 권한 등을 자발적으로 맡겨야 한다. 결국 기존에 얼마나 많은 데이터를 보유했는지뿐 아니라 이용자가 에이전트에 얼마나 많은 정보와 권한을 위임하느냐가 경쟁력을 가를 수 있다는 것이다.

AI 기업 전략 담당자는 “접점이 크다는 것은 이용자가 한 번은 써본다는 뜻이지 계속 쓴다는 뜻은 아니다”며 “시킨 일을 실제로 끝내는 비율과 재사용률이 나와야 한다”고 말했다. 이어 “신뢰는 데이터를 많이 갖고 있어서 생기는 것이 아니라 에이전트가 잘 작동한 경험이 쌓이면서 사후적으로 형성된다”고 덧붙였다.