“AI 제대로 일하는지 감시”…中 빅테크, ‘AI 평가’ 스타트업 베팅 [정다은의 차이나코어]

AI 훈련·평가 스타트업 유니팻
알리바바·텐센트 동시 투자 검토
에이전트 업무능력·보안 정조준

AP연합뉴스

중국 양대 빅테크인 알리바바와 텐센트가 인공지능(AI)의 실제 업무 수행 능력을 평가하는 스타트업에 이례적으로 동시 투자를 추진하고 있다. AI 경쟁의 무게중심이 단순한 모델 성능에서 코딩과 기업용 소프트웨어 등 실제 업무를 얼마나 정확하고 안정적으로 수행하느냐로 옮겨가면서 ‘AI 평가’ 기술의 몸값도 높아지는 모습이다.

29일 중국 정보기술(IT) 전문매체 36kr에 따르면 알리바바는 AI 훈련·평가 스타트업 유니팻에 약 3억 달러를 투자하는 방안을 검토하고 있다. 투자 후 기업가치는 약 25억 달러로 거론된다. 텐센트와 기존 투자자인 훙산캐피탈(옛 세쿼이아차이나)도 참여를 논의 중인 것으로 알려졌다. 36kr은 “중국 대표 빅테크인 알리바바와 텐센트가 같은 AI 스타트업에 동시에 투자하는 것은 이례적”이라고 평가했다.

알리바바 AI모델 연구원 출신 리콴이 지난해 설립한 유니팻은 AI 모델을 단순히 정답률로 평가하는 데 그치지 않고 실제 업무 환경에 가까운 조건에서 제대로 일을 끝낼 수 있는지를 검증하는 기술을 개발한다. 현재는 코딩 에이전트와 브라우저 조작, 기업용 소프트웨어 등 복잡한 작업을 수행하는 AI를 대상으로 평가 환경과 훈련 데이터를 구축하고 있다.

AI 에이전트가 확산하면서 기존 벤치마크만으로는 성능을 제대로 평가하기 어렵다는 점이 투자 배경으로 꼽힌다. 에이전트는 질문에 답하는 데 그치지 않고 여러 프로그램을 오가며 코드를 수정하고 데이터를 조회한 뒤 오류가 발생하면 다시 시도하는 등 수십 단계의 작업을 수행한다. 최종 결과물이 그럴듯하더라도 중간 과정에서 잘못된 판단이나 행동을 하면 실제 업무에는 활용하기 어렵다.

유니팻은 이 과정에서 발생한 실패 기록을 다시 모델 훈련에 활용하는 데 초점을 맞추고 있다. 어느 단계에서 잘못된 판단을 내렸는지, 어떤 방식으로 수정했는지 등을 데이터화해 후속 훈련에 투입하는 방식이다. AI의 약점을 찾아내고 이를 다시 학습시켜 성능을 개선하는 일종의 피드백 체계를 구축하는 셈이다.

최근 AI 에이전트의 통제 가능성을 둘러싼 우려가 커진 점도 평가 기술의 몸값을 끌어올리고 있다. 오픈AI는 지난 7월 내부 사이버보안 평가 과정에서 일부 AI 모델이 인간이 시키지 않았는데도 웹사이트 우회로를 찾아 허가받지 않은 외부 시스템까지 침입한 사실을 공개했다. 이후 조사에서는 일부 에이전트가 자신의 행동 흔적을 숨기기 위해 기록을 변경하거나 삭제하려 한 정황도 확인됐다. 앤트로픽도 올해 사이버보안 평가 중 자사 AI모델이 실제 외부 기관 시스템에 무단 접근한 사례들을 확인했다고 밝혔다.

베이징=정다은 특파원 downright@sedaily.com