[쫌아는기자들] 라이언로켓, 실리콘밸리 VC가 한국 웹툰 AI에 초기 투자한 이유는?

@주3회 발행하는 뉴스레터 [쫌아는기자들] 입니다. 전문은 유료 구독자에게 공개. 유료 가입(https://page.stibee.com/subscriptions/158656). 일부 보는 무료 가입(https://page.stibee.com/subscriptions/143087)

지난 10일 국내 스타트업 라이언로켓이 미국 실리콘밸리의 딥테크 VC ‘밀레니엄 뉴 호라이즌스’로부터 투자금을 유치했습니다. 투자 규모는 비공개. 밀레니엄 뉴 호라이즌스는 드론(UAM)으로 유명한 조비를 비롯해 유럽의 챗GPT라 불리는 ‘미스트랄AI’, 일론 머스크가 챗GPT 대항마로 설립한 xAI 등 최신 기술 스타트업에 집중적으로 투자하는 VC로 나름 알려져있는 곳입니다. 세콰이어캐피탈, 클라이너 퍼킨스, 테마섹 같은 대형 투자자들이 강력한 유니콘 후보, 혹은 유니콘 스타트업에 시리즈 C 이후 투자하는 케이스는 종종 있지만 이제 시리즈 A 단계, 이제 막 제품을 세상에 내놓은 한국 스타트업에 투자하는 케이스는 흔치 않습니다. 정승환 대표는 “미팅 두 번에 투자가 결정됐다”고 합니다.

정승환 라이언로켓 대표. /라이언로켓 제공

그래서 정승환 대표를 만나러 갔습니다. 8개월 전에 같이 솥밥을 먹은 적이 있는데요. 그때만 하더라도 ‘AI 기술은 거의 완성 단계 인 것 같은데, PMF(Product-market fit, 제품과 시장의 일종의 궁합)를 찾고 있다’고 했었습니다. 특히 웹툰은 웹툰을 생산하는 저작권자, 작가들이 AI에 강력 반발하고 있어 쉽지 않을 것 같았거든요. 멀지 않은 을지로입구역에 있는 라이언로켓 사무실은 작가들이 일하는 웹툰 스튜디오가 되어 있었습니다. 그것도 AI로 굴러가는 스튜디오로요. 라이언로켓이라는 이름을 처음 창업을 결심했던 중학생 시절부터 ‘그냥 멋있는 단어 두 개를 합쳐보자!’며 라이언과 로켓을 붙여 지었다는 라이언로켓은 정말 로켓처럼 쏠 수 있을까요.

라이언로켓의 사무실. 을지로입구역 사거리, 스타트업이 없을 것 같은 오래된 빌딩 12 층이다. 힙지로와 광화문의 운치가 좋다고. /라이언로켓

1. 콘티(밑그림)만 입력하면 완성된 웹툰 그림이 나오는 AI, 배민과 리멤버처럼 결국 핵심은 기술이 아니라 문제 해결

-AI를 이용한 웹툰 스튜디오. 그냥 웹툰 생성 AI를 만드는 비즈니스와 무엇이 다른가요? 지금 라이언로켓의 비즈니스는?

“AI로 웹툰을 만드는 비즈니스입니다. 웹툰 산업의 구조를 보면요. 우리가 3분 만에 보는 웹툰 하나를 만드는 과정이 정말 힘들고 복잡합니다. 예를 들어, 웹툰 스튜디오에선 6명이 한 팀인데 이 팀이 5일 내내 일해야 겨우 60컷을 그립니다. 한 회가 보통 80컷인데, 6명이 들어가도 부족한 상황이죠. 웹툰 한 컷을 그리는 과정을 보면, 먼저 콘티를 만들고 그 콘티를 보고 실제 그림 스케치를 그립니다. 그 다음에 스케치를 깔끔한 선으로 따고, 채색을 입히고 명암을 넣고 배경을 넣는 작업을 합니다. 이 과정이 굉장히 힘들어서 한 컷 그리는 데 1시간 반에서 3시간씩 걸리는 거죠. 저희 사업 모델은 이런 과정들을 AI로 자동화시키는 것입니다. 웹툰 제작의 노동 집약적인 부분을 AI 기술로 효율화하고 있어요.”

-웹툰을 제작해준다는 것, 그러니가 미드저니나 Dall-E 같은 AI처럼 텍스트 프롬프트를 입력하는 방식인가요?

“클라이언트 회사가 스토리를 바탕으로 만든 콘티를 저희에게 제공하면, 그 콘티에 맞춰 작업을 진행합니다. 먼저 클라이언트와 협의하여 원하는 그림체의 작가를 선정하고, 그 작가의 스타일을 AI에 학습시킵니다. 그런 다음 제공받은 콘티에 맞춰 AI가 학습한 그림체로 이미지를 생성하는 방식이죠.”

-만화책 부록에 보면 콘티가 나오지만, 대부분 알아볼 수 없는 수준 아닌가요. 문하생들이나 알아볼 수 있도록, 거의 구도와 거대한 형태만 쓱쓱 그려놓은 형태인데요. 이런 콘티만으로도 AI가 완성에 가까운 웹툰 그림을 그린다고요?

“최종 제품에선 간단한 콘티를 입력해도 완성된 이미지가 나오는 AI를 만들고 싶지만, 냉정하게 현재 AI 기술은 아직 그 수준까지는 도달하지 못했습니다. 라이언로켓이 찾은 답은 사람입니다. 먼저 클라이언트로부터 콘티를 받으면, 저희 내부에 콘티를 해석하는 전문가가 있어요. 이 전문가가 틀을 잡으면 그것을 바탕으로 AI가 그림을 그립니다.

AI가 그린 일러스트나 그림에 사람의 귀나 손이 이상하다는 지적이 있었잖아요? 손가락이 여섯개 이거나, 귓바퀴가 없기도 하고요. 이렇게 AI가 부족한 결과물을 내놓은 것을 사람이 최종적으로 수정해서 고객사에 그림을 제공합니다.”

-결국 문제 해결을 위해선 사람이 투입되어야 한다? AI 도입의 핵심은 자동화를 통한 인건비 감축이 아니고요?

“현재 AI 기술을 단독으로 사용하기에는 몇 가지 제약이 있어요. 예를 들어, 프롬프트 입력 방식으로 구동되는 AI가 있는데, 생각해보면 이렇게 문자를 입력해야만 하는 방식은 UI/UX 측면에서 불편함을 감수해야 합니다. 웹툰은 결국 이미지로 소통하는 방식인데, 반드시 구체적인 문자로 프롬프트를 입력해야 한다면 사용자 입장에서는 불편할 수밖에 없어요.

물론 프롬프트 방식으로 구동되는 AI를 내놓을 수도 있습니다. 하지만 소프트웨어를 만들어서 과거의 방식처럼 ‘일단 써보세요’라고 던져놓으면 아무도 사용하지 않을 것이라 봅니다. 그래서 다른 접근 방식을 택한 것이죠. 현재 라이언로켓은 AI 제품을 만드는 회사라기 보다는, B2B 형태의 스튜디오입니다. AI 기술을 이용해, 최종적으로 고객이 원하는 결과물을 드리는 것이죠. 현재로선 가장 적합한 사업 모델이고, 우선 스튜디오 방식으로 시작해 확장해나갈 계획입니다.”

-과거 리멤버도 명함 대부분을 사람이 기입했고, 배민도 프론트는 앱이지만 뒷단에선 전부 사람이 전화를 걸었다고 합니다. 결국 현재 기술로 사용자가 원하는 수준의 서비스를 제공할 수 없다면, 그 갭을 사람이 메운다?

“네. 현재 그 갭을 어떤 UI/UX로도 메울 수가 없습니다. 사람이 AI 쓰는 법, 프롬프트에 익숙해져야 한다고도 할 수 있는데요. 결국 웹툰 사용자들이 AI의 언어를 익혀야 합니다. 그렇다면 과연 웹툰 작가들이 라이언로켓의 AI를 사용할까요? 배우고 익히는 불편함을 감수하고요? 저는 (작가들이 AI를 공부해서 웹툰 AI 툴을 사용하는 것이) 안 될 것이라고 판단했습니다. 단순 AI를 제공하는 것보다, 라이언로켓이 직접 AI를 다뤄 웹툰 컷을 제공하는 지금의 방식에 대한 반응이 훨씬 좋습니다. 어느 고객사도 새로운 툴을 배우고 싶어하지 않거든요.”

라이언로켓의 젠버스 AI. 왼쪽은 작가의 콘티, 오른쪽은 작가의 작화와 캐릭터를 학습한 결과물이다. /라이언로켓 제공

2. “기존 웹툰 한 편 기획에만 제작비 2~3억원...AI로 제작비는 절반,제작 시간은 10분의 1로 줄일 수 있다”

-웹툰 스튜디오들이 라이언로켓의 AI를 직접 쓰지 않는 방식이군요. 그렇다면 라이언로켓이 외주 스튜디오가 되는 셈인데, 라이언로켓 내부에 AI를 다루면서 그림도 고칠 인력을 채용하고, 이 비용이 웹툰 제작에 전가됩니다. AI를 이용한 시간, 비용 등 리소스의 절감? 과연 큰 차이가 있을까요.

“라이언로켓의 AI 제작 서비스를 이용하면, 웹툰 제작 스튜디오 입장에선 금액으로는 절반, 제작 시간은 10분의 1 수준으로 줄일 수 있습니다. 웹툰 시리즈의 첫 화를 만드는 데 시간이 얼마쯤 걸릴 것 같으십니까? 1년 반 정도가 걸린다고 해요. 최근 히트작을 기준으로, 하나의 웹툰을 제작하는 데는 여섯명의 팀원이 필요합니다. 이 팀원을 모으는 시간, 이 팀원들의 그림체가 훈련되는 시간 등. 여섯 명이 메인 작가의 콘티를 이해하고 그림체와 스토리, 작화를 일관성 있게 유지하는 것이 필요한데, 이게 생각보다 쉽지 않죠. 그래서 신작 첫 화가 웹툰 플랫폼에 올라가는 데 1년 반이 걸리는 것입니다.”

-웹툰 하나를 그리기 위해서 여섯명이나 필요하고, 이들이 한 몸처럼 동기화되어야 하는 것이군요. 이현세, 김성모, 허영만 작가 시절 문하생 시스템과 크게 달라지지 않았는걸요?

“웹툰 산업은 서비스 방식이 모바일로 바뀐 것 외에는 과거의 만화 제작 방식과 크게 다르지 않아요. 과거의 방식이 규모가 커져 공장처럼 운영되고 있죠. 그림 그리는 도구가 종이에서 디지털 툴로 바뀐 정도의 차이만 있을 뿐, 제작 과정 자체는 크게 달라지지 않았습니다. 라이언로켓은 웹툰 산업이 한 단계 더 발전하려면 자동화가 필수적이라고 봅니다. 생산성과 효율성이 크게 향상되고, 더 다양하고 품질 높은 콘텐츠를 빠르게 제작할 수 있게 될테니까요.”

-기획에서 실제 제작까지 1년 반은 매우 긴 시간입니다. 예를 들어 지금 환생물이 인기라면, 지금 환생물 제작에 들어가도 환생물 인기가 다 식은 시점에야 첫 화가 나올 것 같은데요.

“네. 현재 웹툰 산업의 큰 문제점 중 하나가 바로 이 긴 제작 기간입니다. 1년 반이라는 긴 준비 기간 때문에 트렌드를 따라가기가 무척 어려워요. 예를 들어 ‘나 혼자만 레벨업’이 인기를 끌자 1년 반 뒤인 최근에서야 비슷한 레벨업물들이 쏟아져 나오고 있습니다. 하지만 이미 독자들의 취향이 변했을 수 있고, 결국 독자 이탈로 이어질 수 있습니다.

-준비 기간이 길다는 것은 결국 제작비의 증가이기도 하고요.

“새로운 시도를 하고 싶어도 할 수 없는 것도 문제예요. IP 산업의 특성상 여러 번의 시도 끝에 하나가 성공하는 구조인데, 한 작품을 기획하는 데만 2-3억 원이 들어가니 새로운 시도를 하기가 어려운 거죠. 라이언로켓의 AI 제작 서비스를 사용하면 여러 명의 팀원이 콘티를 이해하고, 작화를 통일하는 준비과정을 최대 한달까지도 줄일 수 있습니다. 라이언로켓의 AI가 학습하고, 스튜디오 내부 담당자와 소통하는 프로토콜을 정립하는 기간 한달 뒤부터는 AI 양산이 가능하죠. 결과적으로 웹툰 AI는 트렌드에 빨리 대응할 수 있게 해주고, 다양한 시도를 할 수 있는 여지까지 만들어주는 셈입니다.”

라이언로켓이 제안하는 새로운 웹툰 산업의 구조. /라이언로켓 제공

3. ‘만신(만화의 신)’ 모델을 만든 독자 레시피...”중요한 것은 만화적 언어의 이해”

-기술에 대한 질문. 결국 이미지 생성 AI는 스테이블 디퓨전 모델 등 여러 모델을 통합하거나 튜닝하는 방식을 사용합니다. 처음부터 파운데이션 모델을 설계하진 않았을테고, 어떤 튜닝 레시피가 있나요.

“하나의 오픈소스 모델을 사용하는 것이 아니라, 여러 기술을 복합적으로 활용하고 있어요. 구체적인 모델명을 공개하긴 곤란한데요. 먼저, 기존의 이미지 생성 AI 모델을 기반으로 시작했습니다. 하지만 이 상태로는 웹툰을 제대로 만들 수 없어요. 그래서 우리는 웹툰을 더 잘 이해할 수 있는 언어 모델을 추가로 개발해 붙였습니다. 그 다음 단계로, 이 위에 캐릭터 튜닝 기술을 적용했어요. 실제 웹툰 AI에서 굉장히 중요한 부분이 캐릭터의 일관성입니다. 메인 작가가 정립한 캐릭터의 작화가 처음부터 마지막화까지 꾸준히 유지되어야 하거든요. 컷마다 차이가 있어서도 안 되고요.

특히 자랑할 만한 점은 웹툰에 특화된 언어 모델을 자체 개발해 적용했다는 거예요. 이 언어 모델이 웹툰의 특성을 더 잘 이해하고 표현할 수 있게 해주는 핵심 요소입니다. 이렇게 여러 단계를 거쳐서야 비로소 상업용 웹툰을 만들 수 있는 수준에 도달할 수 있었죠. 중요한 건 단순히 그림을 생성하는 게 아니라, 상업적 웹툰의 퀄리티에 도달하는 거예요. 독자들이 돈을 내고 보는 웹툰이기에 요구되는 수준이 매우 높거든요. 저희는 이 높은 기준을 충족시키기 시작한 첫 AI라고 자부합니다.”

-별도의 언어 모델 튜닝이 필요한 이유는요?

“공개된 모델들은 웹툰 전형을 제대로 반영하지 못해요. 그냥 세상의 모든 이미지를 긁어모아 대충 인식한 수준이죠. 하지만 웹툰은 현실과 달리 만화적 왜곡이 심하거든요. 이런 웹툰의 특성에 맞게 모델을 특화시켰습니다. 웹툰 이미지 생성에 언어 모델이 필요한 이유는 표현의 해석 때문이에요. 예를 들어 ‘과장된 컷’이라고 하면 사람마다 이해하는 방식이 다르잖아요. 그런데 웹툰에서는 이런 표현이 만화식으로 정해져 있어요. 그래서 ‘과장된 컷’ 같은 표현을 웹툰 업계의 관점에서 해석하고, 이미지 생성 모델에 학습된 웹툰 레퍼런스와 매칭시키는 거예요. 결국 우리가 입력하는 프롬프트를 만화적 언어로 해석해주는 것이죠.”

-기존의 오픈소스 모델로는 라이언로켓의 결과물을 쉽게 만들 수는 없고, 결국 독자적인 레시피가 있고 기술적 해자가 있다?

“저희가 내부적으로 ‘만신’이라고 부르는 AI 모델이 있어요. 특화된 학습 방식이 있는데, 이건 생성 AI가 유행하기 전부터 개발해온 방식이 원리가 됐죠. 예를 들어, 2019년에 배우 이병헌 목소리 20분을 데이터로 삼아, 오디오북을 만든 회사가 라이언로켓입니다. 최소한의 데이터로 AI를 학습해 품질을 낼 수 있는 기술이었죠. 이 기술로 웹툰 시장에 적용한 것입니다. ‘BB’라는 방식. ‘브레인 부스팅’의 약자로, 일반적인 AI 모델 학습보다 더 세밀하게 튜닝하는 방식이에요. 보통은 데이터를 넣고 로스 값으로 업데이트하는 게 전부인데, 우리는 모델을 10개로 쪼개서 튜닝해요. 데이터가 적기 때문에 정말 한 땀 한 땀 튜닝하는 자동화 방식을 만든 거죠. 이 방식을 ‘만신’에 적용했습니다.”

-AI 학습에 필요한 데이터 분량은요? 아주 많은 웹툰 데이터가 필요하다면, AI 사용의 묘가 없는 셈인데요.

“메인 작가님께 그 웹툰에 어울리는 캐릭터를 약 10개 정도 그려달라고 요청드립니다. 각 캐릭터마다 10개 정도의 샘플을 받아요. 이 샘플들을 AI에 학습시키는데, 각 캐릭터별로 개별적으로 학습을 진행하죠. 이 과정을 거치면 그 특정 웹툰에 맞는 AI 모델이 만들어집니다.”

라이언로켓 젠버스를 통한 작업 예시. /라이언로켓 제공

4. “10컷이면 캐릭터 작화 학습, AI 결과물의 핵심은 손가락 갯수가 아니다”

-AI로 이미 죽은 만화가의 화풍과 캐릭터를 살리는 것도 가능하겠군요. 베르세르크의 미우라 켄타로의 화풍이거나요.

“1명의 작가가 웹툰 혹은 만화의 자기 화풍을 적립하는 데는 보통 10년이 걸린다고 합니다. 그래서 많은 작가가 있다고 해도 이현세 작가의 화풍을 그대로 그리는 것은 불가능에 가깝습니다. 하지만 AI는 이게 가능합니다. 이게 단순히 비용과 시간의 문제가 아니라, 인간이 10년 동안 노력해야 겨우 익힐 수 있는 특정 작가의 화풍을 AI는 이미 익혔다는 거죠. 이건 정말 혁명적인 변화예요.”

-AI 이름이 젠버스다. 무슨 의미인가.

“무엇이든 생성할 수 있는 캔버스, 제너레티브 캔버스라는 의미입니다. 저는 공돌이라, 재밌는 상상력을 기대하지 말아주세요.”

-젠버스가 상업 웹툰 시장을 뚫고 매출을 올리기까지 1년이 좀 넘는 시간이 걸렸습니다. 웹툰이나 일러스트를 만들어주는 AI는 사실 출시가 굉장히 빨랐습니다. 챗GPT보다도 빨랐죠. 이제 거의 출시 2년이 넘었는데도 이제 상업화가 됐다는 것은 시간이 꽤 걸린 셈입니다.

“다들 생성 AI가 그린 이미지에서 인물의 손, 발, 눈동자 같은 세세한 부분이 이상하다고 합니다. 아닙니다. 그건 사람이 조금만 손대면 쉽게 고칠 수 있습니다. AI의 흔적은 다른 부분에서 나타납니다.

첫째, 콘티에 맞는 독창적 구조를 만들 수 있는가. 둘째는 일관성 있게 그릴 수 있는지입니다. 웹툰의 핵심 요소는 둘입니다. 연출과 그 연출에 맞는 캐릭터의 그림. 컷과 컷의 전환, 한 컷 안에서도 인물의 감정과 상황이 드러나는 구도와 배경 등. 이런 콘티를 짤 수 있는 AI가 없었습니다.

AI 그림을 생각해보세요. 대부분 정면으로 얼굴이 나옵니다. 복잡하거나 웹툰 컷처럼 액션이 극대화된 역동적인 장면이 거의 없습니다. 이런 역동적인 장면을 AI가 그리면 캐릭터가 그때그때 다른 결과물로 나옵니다. 라이언로켓의 AI는 이 두가지 문제 해결에 집중했습니다. AI의 결과물이 컨트롤 가능하고 일관성 있도록 한 것이죠.”

라이언로켓 젠버스를 통한 작업 예시. 웹툰의 컷 전환에도 의도와 구성이 있다. 그 맥락을 이해할 수 있어야 한다는 것이 정 대표의 설명. /라이언로켓 제공

쫌아는기자들이 만드는, 뉴스레터 [스타트업]은 주 3회 발행하는 유료레터입니다. 오늘의 무료 콘텐츠는 여기까지 입니다. 나머지는 전문의 ‘질문’만 공개합니다. 유료 구독하면 과거 3년간 모든 콘텐츠를 볼 수 있습니다.

5. 글로벌 성공 가능성 집중적으로 물어본 실리콘밸리 VC,“다음 목표는 일본 애니메이션 시장, 한국 웹툰 시장이 요새 부진한 이유는...”

- 밀레니엄 뉴 호라이즌 같은 대형 VC과 접점이 있었나요

-실리콘밸리 VC는 투자 단계에서 무얼 집중적으로 보던가요. 딥테크 중심 VC니까 관점이 다를 수도요.

-다음 목표는 일본, 최종은 미국까지요?

-애니메이션 시장의 비효율이 있고, 오히려 시장에서 AI의 도입을 반길 것이다?

-네이버웹툰의 나스닥 상장 소식과 별개로, 전반적인 웹툰 시장의 성장이 정체됐다는 느낌을 받습니다. 쇼츠를 비롯해 다른 즐길거리가 너무 많으니까요.

6. 요새 웹툰이 죄다 ‘회빙환’인 이유는...”산업 구조 문제. 작가들이 우리 AI 서비스를 더 반겨”

-이미지 생성 AI에 대한 웹툰 작가, 애니메이터들의 반발이 심했습니다. 이 반대가 업계 전반의 분위기. 웹툰 시장의 최종 사용자가 독자일지라도, 라이언로켓의 사업 구조에서 고객은 결국 이 작가들인데요. 아무리 대단한 기술이라도 사용자가 사용을 거부하거나, 멀리한다면 소용이 없습니다.

-자신이 메인 작가, 이미 등단 이후 많은 수의 웹툰을 제작하는 것이 이득인 작가라면 AI를 반길 수 있습니다. 하지만 이름이 알려지지 않은 작가의 경우 입장이 다를 수도 있지 않을까요? 예를 들어 자신이 스튜디오 소속으로 견습 중이었는데 AI가 일자리를 빼았을 수도 있고요.

-’회빙환’이라고 하나요? 회귀, 빙의, 환생. 인기 웹소설과 웹툰의 이 장르 구조가 계속 반복되는 이유도 어찌보면 웹툰 산업의 비용과 구조의 문제였군요.

라이언로켓 젠버스 사용 이미. /라이언로켓 제공

7. 5년 사이 여섯번의 피봇, 시작은 사회적 기업이었다

-지금의 웹툰 제작 AI가 첫번째 아이템이 아닙니다. 여러 번의 피봇을 했다고요?

-챗GPT가 나오기도 전에 생성 AI에 도전했다고요? 그것도 시작은 사회적 기업으로?

-음성 생성 모델은 이제 너무 흔해졌고, 가상인간도 도전했었습니다.

-결국 다 잘 안 됐군요. 기술을 빨리 도입해도 잘 안 된다? 오히려 너무 빨라서?

라이언로켓 공동창업자 셋이 창업 초기 썼던 사무실. /라이언로켓 제공

8. “투자자들 빠른 피봇 오히려 좋아해, 제대로 해보고 (아니면) 빨리 접어야”

-지금 만약 과거의 가상인간 기술을 쓴다면요? 시대가 바뀌었으니 마켓핏이 맞을지도요.

-다른 접은 아이템들은 무엇입니까. 모두 AI를 썼다는 공통점이 있네요.

-지금의 웹툰 아이템을 찾게 된 계기는요?

-사업의 급격한 변화에 투자사들이 반대하진 않았습니까.

-매출이 몇 배 성장했나요? 숫자로 보여줄 실적은?

라이언로켓 2024년 신년회 기념 사진. /라이언로켓 제공