트웰브랩스, AWS와 영상 AI 모델 고도화

[AWS 리인벤트 2024]
페가수스·마렝고 등
영상 파운데이션 모델 개발

이소영 트웰브랩스 공동창업자 겸 마켓총괄이 아마존웹서비스(AWS) 리인벤트 세션에서 질의를 듣고 있다. 사진제공=AWS

[서울경제]

아마존웹서비스(AWS)는 3일 연례 기술콘퍼런스 ‘리인벤트’(re:Invent)에서 인공지능(AI) 스타트업 트웰브랩스가 AWS 기술을 기반으로 자체 파운데이션 모델을 고도화하고 있다고 밝혔다.

트웰브랩스는 영상 언어 생성 모델 '페가수스'와 멀티모달 영상 이해 모델 '마렝고'를 개발한 기업이다. 페가수스는 영상에 대한 요약, 하이라이트 생성 등 영상 기반 텍스트 생성 기능들을 갖춘 초거대 AI 영상 언어 생성 모델이다. 마렝고는 영상 속 내용을 텍스트로 인식하고 영상 정보를 검색할 수 있는 AI다. 개발자는 트웰브랩스 모델을 활용해서 영상 검색, 장면 분류, 요약, 영상 클립 챕터 구분이 가능한 애플리케이션을 만들 수 있다. 콘텐츠 제작자는 또한 자연어 검색을 통해 영상 속에서 원하는 순간을 바로 찾을 수 있다. 예를 들어 스포츠 방송 관계자는 방대한 경기 영상에서 원하는 장면을 빠르게 찾아내거나 코치는 수영 선수의 스트로크 기술·출발 블록 자세 등을 면밀하게 분석할 수 있다. 트웰브랩스 공동 창업자인 이재성 대표는 “세계 데이터의 약 80%가 영상 형태이지만, 대부분은 검색이 불가능하다”며 “이 문제를 해결하고, 인간이 주변 세계를 보고, 듣고, 이해하는 방식과 유사하게 맥락에 맞는 영상을 통해 생생한 경험을 제공하고 있다”고 말했다. 이 대표는 이어 “트웰브랩스는 모델 훈련을 가속화하고, 전 세계 수천 명의 개발자들에게 안전하게 솔루션을 제공하며, 컴퓨팅 비용을 통제할 수 있다"며 "이 모든 것이 생성형 AI를 사용한 영상 이해와 제작의 경계를 넓혀가는 과정에서 이루어진다”고 전했다. 이소영 트웰브랩스 공동창업자 겸 마켓총괄은 “최첨단 멀티모달 모델을 구축하는 기업으로 인간처럼 동영상 맥락을 이해할 수 있다”며 “편집자와 제작자에게 검색 하이라이트를 설명할 수 있는 도구까지 제공했다”고 설명했다.

트웰브랩스는 올해 6월 약 5000만 달러(약 709억 원) 규모의 시리즈A 투자(초기 투자)를 유치하며 화제가 됐다. 글로벌 빅테크 엔비디아의 자회사 엔벤쳐스와 뉴엔터프라이즈어소시에이트(NEA)가 투자를 주도했기 때문이다. 인덱스벤쳐스, 래디컬벤쳐스, 원더코벤처스 등 다수의 글로벌 유력 투자사가 참여하였으며, 국내에서는 한국투자파트너스가 참여했다. 누적 투자 유치 금액은 약 7700만 달러(약 1092억 원)에 달한다.

트웰브랩스는 아마존 세이지메이커 하이퍼팟(HyperPod)을 사용해 영상, 이미지, 음성, 텍스트와 같은 다양한 데이터 형식을 동시에 이해할 수 있는 파운데이션 모델을 학습했다. AWS는 기계 학습 성능 최적화와 시장 진출 전략 구현을 위한 실무 전문 지식도 지원했다. 스타트업의 성장을 돕는 프로그램인 액티베이트(Activate)의 일환으로 팔을 겉어붙인 것이다.

트웰브랩스는 AWS와 글로벌 확장3년간의 전략적 협력 계약(SCA)을 체결했다. 트웰브랩스는 아마존 세이지메이커 하이퍼팟을 사용해 모델 훈련 능력을 향상할 계획이다. AWS 기술을 사용해 자연어를 영상에서 발생하는 일에 대응하는 파운데이션 모델의 개발에 속도를 낼 예정이다. 아울러 고급 영상 이해 기반 모델을 새로운 산업 분야에 배포할 계획이다. AWS 마켓플레이스를 통해 서비스를 전 세계 고객 기반에 원활하게 제공할 수 있다.

이 대표는 "세계 데이터의 약 80%가 영상 형태이지만, 대부분은 검색이 불가능한 문제를 해결하고, 인간이 주변 세계를 보고, 듣고, 이해하는 방식과 유사하게 맥락에 맞는 영상을 통해 생생한 경험을 제공할 수 있게 됐다"며 “AWS는 우리에게 멀티모달 AI의 과제를 해결하고 영상을 더 접근 가능하게 만들 수 있는 컴퓨팅 파워와 지원을 제공했다”고 말했다. 이 대표는 "AWS와 혁신을 지속하고 전 세계로 확장해 나갈 앞으로의 큰 협력을 기대한다"고 전했다.

존 존스 AWS 스타트업 부문 부사장 겸 글로벌 책임자는 "트웰브랩스는 클라우드 기술을 통해 방대한 양의 멀티미디어 데이터를 접근 가능하고 유용한 콘텐츠로 전환해 다양한 산업 분야의 개선을 이끌고 있다"며 "AWS는 트웰브랩스가 관련성 높은 콘텐츠를 더 잘 이해하고 신속하게 제작하는 데 필요한 도구를 구축할 수 있도록 지원했다”고 말했다.

라스베이거스=김성태 기자 kim@sedaily.com