구글 "카카오 카나나 개발에 트릴리움 활용…GPU부족문제 대안"

구글 클라우드 6세대 텐서처리장치(TPU) 트릴리움(구글 클라우드 제공)

(서울=뉴스1) 김민석 신은빈 기자 = 구글 클라우드는 카카오가 통합 인공지능(AI) 브랜드 '카나나'(Kanana)를 효율적으로 개발하고자 자사 6세대 텐서처리장치(TPU) '트릴리움'(Trillium)을 활용하고 있다고 16일 밝혔다.

구글 클라우드는 이날 'Let's Talk AI:구글 클라우드 트릴리움 교육 세션'을 열고 국내 고객사 활용 사례 중 하나로 카카오의 TPU 도입 사례를 공유했다.

카카오는 '가장 나다운 AI'라는 의미를 담은 카나나를 통해 다양한 서비스에 인공지능(AI)를 접목할 계획이다.

카카오가 카나나 개발 초기에는 GPU를 사용해 'Kanana-Essence-8B' 모델을 개발하다 거대언어모델(LLM) 학습에 TPU를 도입하면서 GPU 자원 부족 및 유지 보수 문제를 일부 해소한 것으로 전해졌다.

구글 클라우드 관계자는 "카나나 LLM은 동일한 레이어를 계속 쌓아 적은 컴퓨팅 자원으로 모델 크기를 키우는 방식"이라며 "TPU는 이에 필요한 성능을 제공하고 있어 합리적인 비용으로 더 많은 생산성을 만들어낼 수 있을 것"이라고 말했다.

이어 "TPU는 계약한 만큼의 수량을 확실히 보장받을 수 있고 네트워킹을 통해 수만 개의 칩을 유기적으로 연결할 수 있다"며 "구글 클라우드가 관리를 지원해 유지보수 비용도 절감할 수 있다"고 전했다.

카카오 관계저는 "구글의 TPU는 AI 모델 학습에 사용 중인 유닛 중 하나로 현재 일부 카나나 언어모델 학습에 활용하고 있다"며 "GPU와 TPU 각각 사용 비중을 공개하기는 어렵다"고 했다.

글로벌 제약회사인 바이엘은 신약 개발에, 딥 지노믹스는 RNA 치료제 연구에 트릴리움을 적용한 AI 모델을 활용하고 있다.

모한 피치카 구글 클라우드 그룹 프로덕트 매니저는 "트릴리움은 이전 세대(TPU v5e)보다 칩당 최대 컴퓨팅 성능이 4.7배 향상됐고, 광대역 메모리(HBM) 용량은 2배, 추론 처리량 최대 3배 각각 증가했다"며 "현재 구글 검색, 유튜브, 제미나이 2.0 학습뿐 아니라 노벨상 수상 연구로 주목받은 알파폴드(AlphaFold) 등도 첨단 AI 모델에 트릴리움을 활용하고 있다"고 설명했다.

ideaed@news1.kr