이미지도, 영상도, 편집도 한 모델로 ‘영상 올인원 AI’ [정원훈의 AI 트렌드]
인공지능(AI) 트렌드를 가장 빠르게 알 수 있는 허깅페이스를 분석하는 정원훈의 AI 트렌드입니다. 이번 주 허깅페이스는 한마디로 '모델 하나로 다 한다. 그것도 가볍게'라는 한 주였습니다.
불과 30억(3B) 파라미터로 이미지·영상의 '이해·생성·편집' 여섯 가지 일을 한 그릇에 담아낸 통합 멀티모달 모델이 트렌딩 1위에 올랐습니다. 틱톡, 캡컷을 만든 바이트댄스(ByteDance)가 내놓은 모델인데, 모델 카드에 따르면 엔비디아 A100 그래픽처리장치(GPU) 약 128장으로 학습된 것으로 알려졌습니다. 지난주 1위였던 9B 오픈소스 영상 모델은 2주 연속 트렌딩 상위권에 머물며 LTX 생태계의 저변을 확실히 굳혔고, 한국 슈퍼톤(Supertone)의 31개 언어 미니 TTS도 3주째 글로벌 상위권을 지키며 '온디바이스 한류'의 진가를 입증했습니다.
이번 주의 키워드는 세 가지입니다. '3B로 6가지 작업을 한 번에 처리하는 통합 멀티모달 랜스(Lance)', '2주 연속 트렌딩에 머물며 영상 생성의 새 표준이 된 설퍼-2-베이스(Sulphur-2-base)', '3주째 글로벌 상위권을 지키는 한국산 31개 언어 온디바이스 TTS 슈퍼토닉 3(Supertonic 3)'입니다. 이번 주도 퀴즈로 시작하겠습니다.
틱톡(TikTok)과 캡컷(CapCut)을 만든 바이트댄스의 지능형 콘텐츠 창작팀(Intelligent Creation Team)이 내놓은 모델입니다. 단 30억(3B) 활성 파라미터로 이미지 이해, 이미지 생성, 이미지 편집, 영상 이해, 영상 생성, 영상 편집 등 무려 여섯 가지 멀티모달 작업을 한 모델에서 처리합니다. 더 놀라운 건 처음부터(from scratch) 학습하는 데 엔비디아 A100 GPU 단 128장만 쓰였다는 점인데요, 이는 비슷한 규모 모델들이 보통 수천 장을 동원하는 것에 비하면 '경량 학습'의 새 기준입니다. 아파치(Apache) 2.0 라이선스로 상업적 이용도 자유로운 이 모델의 이름은 무엇일까요.
AI 모델 톱3
1위: bytedance-research/Lance | Any-to-Any
"작은 칼이 가장 잘 든다… 바이트댄스의 '3B 만능' 통합 멀티모달 모델"
이름은 중세 기사의 '창(Lance)'을 연상시키지만, 실제로는 바이트댄스의 지능형 콘텐츠 창작팀이 개발한 통합 멀티모달 파운데이션 모델입니다. 바이트댄스는 틱톡과 캡컷을 만든 기업으로도 잘 알려져 있습니다. 이 모델은 출시 직후 허깅페이스의 'Any-to-Any' 카테고리 트렌딩 1위에 오르며 큰 주목을 받았습니다. 특히 "거대한 단일 모델 중심"에서 "여러 개의 작은 모델이 역할을 분담하는 구조"로 이동하는 최근 AI 패러다임 전환을 상징적으로 보여주는 사례로 평가받고 있습니다.
핵심은 '한 모델이 여섯 가지 일을 한다'는 점입니다. 보통 이미지 생성·편집·이해를 하려면 모델을 서너 개 갈아 끼워야 하지만, 랜스는 단 30억(3B) 활성 파라미터 한 모델로 이미지 이해, 이미지 생성, 이미지 편집, 영상 이해, 영상 생성, 영상 편집까지 모두 처리합니다. 비유하자면 '주방 가전 일체형 멀티쿠커' 같은 셈인데, 놀랍게도 자기보다 2~3배 큰 전문 모델들과 어깨를 견주는 성능을 냅니다.
기술적으로도 '효율'에 방점이 찍혀 있습니다. 이해 작업에는 ViT 토큰, 생성 작업에는 VAE 잠재 표현을 쓰면서 3D 인과 어텐션(causal attention)을 공유하는 구조이고, '단계별 다중 작업 학습(staged multi-task recipe)'으로 작업들이 서로 경쟁하지 않고 시너지를 내도록 설계됐습니다. 학습에는 엔비디아 A100 GPU 128장만 쓰였는데, 비슷한 규모의 모델이 보통 수천 장을 동원하는 점을 감안하면 '극단적 학습 효율'을 보여줍니다. 한마디로, 모델도 작고 학습 비용도 작은데 할 줄 아는 건 많은 '효자' 모델인 셈입니다.
라이선스는 아파치(Apache) 2.0으로 상업적 이용에 제약이 없고, 모델 가중치는 약 25GB로 소비자용 워크스테이션에서도 다룰 수 있는 규모입니다. 클라우드에 의존하지 않고 내 작업실에서 이미지와 영상을 만들고, 편집하고, 이해까지 시키는 '올인원 AI 작업대'가 30억 파라미터 크기로 손에 들어왔다는 이야기입니다.
어디에 활용할 수 있을까요? 통합 콘텐츠 제작 파이프라인(기획-생성-편집), 소셜미디어 콘텐츠 자동화, 광고 시안 빠른 반복 작업, 이커머스 상품 영상 변형, 교육·강의용 시각 콘텐츠 일괄 제작 등 '이미지든 영상이든 한 모델로 끝내고 싶은' 모든 영역에 적합합니다.
2위: SulphurAI/Sulphur-2-base | Text-to-Video
"2주 연속 트렌딩… '내 책상 위의 영상 스튜디오'가 자리를 잡았다"
지난주 1위로 소개해드린 그 모델이 이번 주에도 2위에 올랐습니다. 한 주 반짝하고 사라지는 모델이 흔한 허깅페이스에서 2주 연속 상위권을 지키는 건 그 자체로 의미가 큽니다. 이스라엘 라이트릭스(Lightricks)의 LTX 2.3 비디오 파운데이션 모델을 커뮤니티가 9B 규모로 파인튜닝한 텍스트 및 이미지 기반 비디오(Text/Image-to-Video) 생성 모델로, 단일 개발자(FusionCow)가 주도하고 커뮤니티가 함께 키워가는 오픈소스 프로젝트입니다.
이번 주에 새로 부각되는 점은 '생태계의 확장'입니다. 출시 직후의 폭발적 다운로드에 이어, 이번 주에는 양자화(quantization) 버전(GGUF, FP8)이 우후죽순 쏟아지면서 8~12GB VRAM의 보급형 그래픽카드에서도 돌아가는 사례가 늘었습니다. 또한 시민개발자 플랫폼인 시비타이(Civitai)에 모델이 정식 등재되고, 컴파이UI(ComfyUI) 워크플로우 변형판이 수십 종 풀리면서 '커뮤니티 표준 영상 모델'의 지위를 굳혀가는 중입니다.
디스틸드(distilled) LoRA를 함께 쓰면 16GB VRAM의 보급형 GPU에서도 작동한다는 기존 장점에 더해, 양자화로 메모리 부담이 더 줄어든 셈입니다. 큐원(Qwen) 3.5 9B 기반의 프롬프트 인핸서(prompt enhancer)도 그대로 번들로 제공돼 한 줄의 어색한 프롬프트가 영상 친화적인 묘사로 자동 정돈됩니다.
다만 라이선스가 'LTX-2 커뮤니티 라이선스'로 상업적 이용에 일정 조건이 붙고, 콘텐츠 필터가 다소 느슨하게 설계돼 표현의 자유도가 높은 만큼 운영 주체의 자체 가이드라인과 후처리 필터가 반드시 함께 가야 한다는 점도 변함없습니다. 2주 연속 정상권에 머문다는 사실은 이 모델이 일시적 화제가 아니라 '오픈소스 영상 생성의 새 표준 후보'로 자리 잡고 있다는 신호로 읽힙니다.
3위: Supertone/supertonic-3 | Text-to-Speech
"한국 슈퍼톤, 3주째 정상권… 'Made in Korea' 미니 TTS의 글로벌 굳히기"
한국 스타트업 슈퍼톤(Supertone)이 내놓은 31개 언어 온디바이스 TTS 모델입니다. 출시 직후 글로벌 트렌딩 상위권에 진입한 이후 3주째 자리를 지키고 있는데, K-콘텐츠가 아닌 'K-AI 모델'이 글로벌 차트 상위권을 장기 점령하는 보기 드문 사례입니다. 슈퍼톤은 BTS 소속사로 유명한 하이브(HYBE) 산하 음성 AI 전문 기업입니다.
이번 주에 새로 부각되는 사실은 두 가지입니다. 첫째, 모델 크기가 415MB로 더 자세히 확인됐고, 핵심 파라미터는 6600만(66M) 수준이라는 점입니다(SDK·보컬 분리·언어 처리 모듈 등을 합쳐 99M으로 부르기도 합니다). 둘째, 일반 소비자용 칩(애플 M4 프로 기준)에서 실시간보다 167배 빠른 합성 속도를 낸다는 공식 수치가 공개됐습니다. 1초짜리 오디오를 약 0.006초 만에 만들어낸다는 뜻입니다.
핵심 강점은 그대로입니다. ONNX 런타임 기반으로 GPU 없이 CPU만으로 거대 모델과 견줄 만한 속도를 내고, 메모리도 훨씬 적게 씁니다. 라즈베리파이나 e-리더(Onyx Boox)에서 비행기 모드로도 실시간 합성이 가능합니다. 결정적으로 이번 주(5월 20일) 슈퍼톤이 자사 서비스형 소프트웨어(SaaS) 제품 '슈퍼톤 플레이(Supertone Play)'와 API에 슈퍼토닉 3를 정식 탑재했다고 발표하면서, '오픈소스 모델 → 상용 서비스'로 이어지는 '한국형 AI 사업화 모델'의 모범 사례로도 주목받고 있습니다. 라이선스는 오픈레일(OpenRAIL)로 비교적 관대한 편입니다.
오디오북 자체 제작, 시각장애인 보조 도구, 차량용 내비게이션 음성, 오프라인 학습 콘텐츠, 회의록 음성 변환 등 '인터넷 없는 곳에서도 말해야 하는' 모든 환경에 적합합니다.
AI 응용프로그램(Spaces) 톱3
허깅페이스 스페이스는 AI 모델을 웹 브라우저에서 바로 체험할 수 있는 플레이그라운드입니다. 코드 한 줄 없이 최신 AI 기술을 만져볼 수 있죠. 이번 주 가장 뜨거운 스페이스 3곳을 소개합니다.
1위: Wan2.2 14B Fast Preview | cbensimon
"사진 한 장에 입김을 불어넣다… 알리바바 영상 모델의 '빠른 미리보기'"
알리바바(Alibaba) 통이랩(Tongyi Lab)의 오픈소스 영상 생성 모델 '완(Wan) 2.2'를 누구나 손쉽게 체험할 수 있도록 만든 데모 스페이스입니다. 사용 방법은 매우 단순합니다. 사진 한 장을 업로드하고, '바람에 흩날리는 머리카락' 같은 한 줄 프롬프트를 적은 뒤, 영상 길이와 프레임 수만 조절하면 됩니다. 몇 초 만에 정지 이미지가 살아 움직이는 MP4 영상으로 변신합니다.
Wan 2.2는 영상 디퓨전 모델에 처음으로 MoE(전문가 혼합·Mixture of Experts) 구조를 도입한 모델로 화제가 된 작품입니다. 총 27B(270억) 파라미터 중 실제로는 단계별로 14B만 활성화되는데, '거친 윤곽을 잡는 전문가(high-noise expert)'와 '세부를 다듬는 전문가(low-noise expert)' 두 모델이 단계별로 역할을 나눠 처리합니다. 이전 버전(Wan 2.1) 대비 이미지 65.6%, 영상 83.2% 늘어난 학습 데이터로 모션의 자연스러움이 한층 개선됐고, 720p 24fps 영상까지 한 번에 생성할 수 있습니다. 라이선스는 아파치 2.0으로 상업적 이용에도 제약이 없습니다.
특히 이 cbensimon 버전은 FP8 양자화와 AOT 컴파일(Ahead-of-Time)을 적용해 추론 속도를 끌어올린 '빠른 미리보기' 버전이고, 'MCP(Model Context Protocol)' 태그가 달려 있어 외부 AI 도구와도 연동이 됩니다. 광고 콘티 시각화, 인스타그램·틱톡 숏폼 자동 제작, 제품 이미지 동영상화, 부동산 매물 시각화 등 '정지 화면을 영상으로 바꾸고 싶은' 모든 워크플로우에 적합합니다.
2위: AsymFLUX.2-klein Demo | Lakonik
"플라스틱 질감을 벗긴 AI… '잠재 공간'을 떠나 '픽셀'로 직접 그리는 9B 모델"
스탠퍼드대 한성 첸(Hansheng Chen) 박사 등 연구진이 만든 '비대칭 흐름(AsymFlow)' 기법을 블랙 포레스트 랩스(Black Forest Labs)의 FLUX.2-klein 9B 모델에 적용한 텍스트 투 이미지 생성 데모입니다. 한마디로 '잠재 공간(latent space)이라는 압축 단계를 거치지 않고 픽셀(pixel) 공간에서 곧바로 이미지를 그리는' 새로운 방식의 그림 AI입니다.
핵심은 '비대칭 속도 예측(asymmetric velocity parameterization)'입니다. 기존 디퓨전 모델은 노이즈와 데이터를 같은 차원에서 예측해 픽셀 공간에서 직접 학습하기가 매우 어려웠습니다. AsymFlow는 노이즈 예측은 저차원 부분 공간으로 제한하고, 데이터 예측만 전체 차원으로 다루는 '비대칭' 구조로 이 난점을 풀었습니다. 그 결과 ImageNet 256×256 평가에서 FID 1.57점을 기록하며 기존 DiT/JiT 계열 픽셀 디퓨전 모델들을 큰 차로 따돌렸습니다.
더 흥미로운 건 외부 평가기관 인간 선호도(HPSv3) 점수입니다. 이 픽셀 공간 모델이 자기 기반인 FLUX.2-klein '잠재 공간' 모델보다 더 높은 점수를 받았고, GenEval·DPG-Bench 같은 주요 벤치마크에서도 우위를 보였습니다. 시각적으로도 'AI가 만든 듯한 플라스틱 질감'이 줄고, 더 자연스러운 조명과 질감을 표현한다는 평입니다. 라이선스는 'FLUX 비상업 라이선스'로 연구·실험용이며 상업적 이용은 별도 상의가 필요합니다.
사진 작가풍의 인물 사진, 영화 스틸 컷 스타일의 시네마틱 이미지, 빈티지 컬러 사진 복원 등 '진짜 같은 질감'이 중요한 모든 시각 작업에 적합합니다.
3위: Scenema Audio | multimodalart
"'읽는' AI가 아니라 '연기하는' AI… 10초 샘플로 감정까지 복제하는 음성 모델"
씨네마(Scenema) AI가 공개한 '연기형 음성 생성(performative speech generation)' 모델 데모입니다. 기존 TTS가 글자를 소리로 변환하는 데 그쳤다면, 씨네마 오디오는 '어떤 말을 / 어떤 방식으로 / 어떤 감정으로' 할지까지 함께 표현합니다. 분노, 슬픔, 기쁨, 두려움, 지친 듯한 한숨까지 한 번의 생성 안에서 감정의 흐름이 자연스럽게 바뀝니다.
기술적 토대는 이스라엘 라이트릭스의 LTX 2.3에서 추출한 22B 규모의 오디오 디퓨전 트랜스포머(audio diffusion transformer)입니다. 여기에 구글 딥마인드의 젬마(Gemma) 3 12B를 텍스트 인코더로 결합해, '따뜻하고 차분한 영국식 억양의 중년 남성' 같은 자연어 설명만으로도 그에 맞는 목소리를 생성합니다. 더 놀라운 건 단 10초짜리 참고 음성만 있으면 그 목소리를 복제(zero-shot voice cloning)해, 원래 화자는 한 번도 녹음한 적 없는 감정 연기까지 시킬 수 있다는 점입니다.
8단계로 압축(distilled)된 디퓨전 과정 덕분에 16GB VRAM의 그래픽카드에서도 돌아가고, 엔비디아 RTX 4090에서는 실시간보다 1.5배 빠른 속도로 합성됩니다. 코드는 MIT 라이선스이지만, 모델 가중치는 LTX-2 커뮤니티 라이선스에 묶여 있고 텍스트 인코더로 쓰는 젬마 3 12B는 구글의 접근 승인이 필요합니다. 오디오북 제작, 영화·드라마 더빙, 게임 캐릭터 보이스 연기, 광고 내레이션, 1인 미디어 자동 더빙 등 '말이 아니라 연기가 필요한' 모든 음성 워크플로우에 적합합니다.
시사점 & 인사이트
이번 주 트렌드를 한마디로 요약하면 'AI가 작아지면서 더 많은 일을 한다'입니다.
첫째, '통합 멀티모달(Unified Multimodal)'의 시대가 본격적으로 열리고 있다.
이번 주 1위 랜스(Lance)는 그 자체로 시대의 전환을 상징합니다. 그동안 '이미지 생성은 미드저니, 영상은 소라, 편집은 다른 도구' 식으로 작업별 전문 모델을 갈아 끼우는 구조였다면, 이제는 30억 파라미터 한 모델이 이해·생성·편집을 모두 처리하는 단계로 진입한 것입니다. 바이두의 어니(ERNIE) 5.0, 알리바바의 큐원-VL, 딥시크의 야누스(Janus) 등 중국 빅테크가 잇따라 '통합 멀티모달' 노선을 강화하는 흐름과도 맞물려 있습니다. 한국 기업들도 '여러 전문 모델을 엮는' 전통적 방식에서 '하나의 똑똑한 모델로 다 해내는' 통합 모델 개발 전략을 진지하게 검토해야 할 시점입니다.
둘째, '학습 효율'이 새로운 경쟁의 축으로 떠올랐다.
랜스가 단 128장의 A100으로 처음부터 학습됐다는 점은 단순한 기술 자랑이 아닙니다. 비슷한 규모의 멀티모달 모델이 보통 수천 장의 GPU를 동원하는 것에 비하면 압도적인 효율성이고, 이는 'GPU 부자만이 AI 모델을 만들 수 있다'는 통념을 흔드는 신호입니다. 지난주의 자야1-8B가 AMD GPU로 학습한 사실과 함께, AI 학습 시장의 '진입 장벽'이 빠르게 낮아지고 있음을 보여줍니다. 한국의 대학 연구실이나 중견 스타트업도 '의미 있는 파운데이션 모델'을 자체 학습할 수 있는 시대로 한 걸음 더 다가서고 있다는 뜻입니다.
셋째, 한국 AI 모델이 글로벌 트렌딩에 오래 머문다는 것입니다.
슈퍼토닉 3가 3주째 글로벌 트렌딩 상위권에 머무는 사실은 한국 AI 산업에 시사하는 바가 큽니다. 글로벌 AI 모델 시장에서 한국 모델이 '잠시 화제'를 넘어 '지속적 사용'을 받는 사례는 드물기 때문입니다. 'BTS 소속사인 하이브의 음성 AI 자회사'라는 출신, '온디바이스에 최적화한 경량 설계'라는 차별점, 'API와 SaaS로 이어지는 명확한 사업화 로드맵'이라는 세 가지가 결합한 결과입니다. 한국 AI 산업이 '거대 모델 추격' 대신 '특화 영역에서의 글로벌 1티어'로 차별화될 수 있다는 가능성을 보여준 사례라고 평가할 수 있습니다.
토막상식 : '잠재 공간(Latent Space)'이란 무엇인가?
이번 주 2위 스페이스인 AsymFLUX.2-klein을 소개하면서 '잠재 공간을 거치지 않고 픽셀 공간에서 직접 그린다'고 했는데요, '도대체 잠재 공간이 뭐길래 거치고 안 거치고가 화제가 되는 것인지'라는 의문이 들었을 겁니다.
쉽게 비유하면 잠재 공간은 'AI의 마음속 스케치북'입니다. 우리가 화가에게 '노을 진 해변에 갈매기가 나는 풍경을 그려달라'고 부탁하면, 화가는 머릿속에 먼저 흐릿한 구도와 색감을 떠올린 뒤 그것을 종이에 옮깁니다. AI도 똑같습니다. 1024×1024 픽셀 이미지를 처음부터 한 점씩 그리려면 100만 개 넘는 점을 계산해야 하니, 대부분의 이미지 생성 AI는 먼저 '64×64 정도의 작은 압축된 표현(잠재 표현·latent representation)'을 만든 뒤, VAE(가변 오토인코더·Variational Auto-Encoder)라는 일종의 '확대 도구'를 써서 진짜 픽셀 이미지로 풀어냅니다. 이때 그 압축된 표현이 머무는 추상적인 공간을 '잠재 공간(latent space)'이라고 부릅니다.
이 방식의 장점은 '빠르고 가볍다'는 것입니다. 같은 GPU로 더 많은 이미지를 더 빨리 만들 수 있죠. 단점은 'VAE가 한 번 압축했다 풀어내는 과정에서 미세한 디테일이 뭉개진다'는 점입니다. AI가 그린 이미지에서 종종 보이는 '플라스틱 같은 질감', '어딘가 인위적인 광택' 같은 것은 이 압축-복원 과정의 부작용입니다.
AsymFLUX.2-klein이 화제가 된 이유가 바로 여기 있습니다. 압축 단계 없이 '픽셀 공간에서 곧바로' 그리는 방식을 9B 규모의 실용적인 모델에서 처음으로 성공시킨 사례이기 때문입니다. 모델은 더 무겁고 학습은 어렵지만, 결과물의 자연스러움과 질감의 풍부함은 잠재 공간 방식과 비교가 안 됩니다. 즉, '잠재 공간을 거치냐, 픽셀 공간에서 직접 그리냐'는 화가가 '머릿속 스케치를 한 번 거쳐 그릴 것이냐, 처음부터 캔버스에 직접 붓을 댈 것이냐'의 차이라고 보면 됩니다. 효율은 전자가, 질감과 사실감은 후자가 앞섭니다.
마무리
이번 주 허깅페이스를 한 문장으로 요약하면 이렇습니다. "AI모델 하나가 여섯 가지 일을 하고, 작은 GPU로도 학습이 되며, 한국 모델은 자리를 굳혔다." 바이트댄스는 30억 파라미터 모델로 이미지·영상의 6가지 작업을 한 그릇에 담았고, 9B의 픽셀 공간 그림 모델은 거대 모델의 플라스틱 질감을 벗겨냈으며, 한국 슈퍼톤의 31개 언어 미니 TTS는 3주째 글로벌 상위권에 머물며 'K-AI'의 가능성을 증명했습니다. 거대 모델 경쟁의 시대를 지나, '작고 똑똑하고 다재다능한 모델'이 새로운 표준이 되는 길목에 우리는 서 있습니다. AI 격변의 시대! 우리만의 무기를 만들어 이 고난을 극복해 나갑시다.
※ 외부필자의 원고는 IT조선의 편집방향과 일치하지 않을 수 있습니다.
정원훈 텐에이아이 대표는 한국인공지능진흥협회 이사와 한국디지털자산포럼(KODIA Forum) 정책기획실장을 맡고 있다. 법률AI 서울로봇과 블록ESG 프로젝트를 총괄하며 한국지식재산교육연구학회 이사 겸 기술가치평가위원장과 한국벤처창업학회 이사로도 활동한다. 아시아경제신문사 뉴미디어본부, 매일경제인터넷 금융센터 팀장을 거쳐, SNS 개발과 대안신용평가 시스템, AI 기반 법률 서비스 등 혁신 프로젝트를 주도해 온 IT·금융 전문가다.
Copyright © IT조선. 무단전재 및 재배포 금지.