지그재그는 DB 없이 데이터를 갖고 논다

카카오스타일의 성공하는 데이터 프로젝트 노하우

(지디넷코리아=김우용 기자)카카오스타일의 지그재그는 수년 사이 국내서 가장 성공한 여성 쇼핑몰 앱이다. 5천여곳의 다양한 여성 패션 쇼핑몰을 모아 보여주고, 개인마다 스타일을 추천하는 모바일 앱으로, 작년 지그재그 거래액은 7천500억원을 돌파했고, 올해는 거래액 1조원 돌파를 향해 가고 있다. 6월까지 누적앱 다운로드 3천만건, 월거래액 900억원, 월간사용자수(MAU) 360만 돌파 등의 성과를 냈다.

지그재그는 데이터 기반 비즈니스로 성공을 이끌어냈다. 사용자의 선호 소호몰과 브랜드, 관심 상품, 구매 이력 등을 분석해 사용 패턴을 찾아내는 개인화 추천 알고리즘을 개발했다. 이 알고리즘은 사용자에게 개인 취향에 딱 맞는 맞춤형 추천 상품을 제공한다. 2017년 12월 비즈니스 모델인 개인 맞춤형 광고 시스템을 도입했다. 서비스 초창기부터 쌓은 사용자 빅데이터로 행동 패턴을 분석하고, 개인별 방문과 구매 이력 등에 따라 상품을 추천한다. 개인 맞춤형 추천을 통해 사용자는 거부감 없이 각자의 취향에 맞는 상품을 추천 받으며, 판매자는 타깃 고객군을 대상으로 광고를 진행해 최대 효과를 창출하고 광고 운영 자원을 최소화할 수 있다.

이같은 카카오스타일의 데이터 기반 비즈니스를 뒷받침하는 조직은 ‘데이터그룹’이다. 데이터엔지니어링팀, 데이터분석팀, 데이터사이언스팀 등 세 팀으로 구성됐다. 데이터사이언스팀은 개인화 , 추천 등의 데이터 모델을 개발하며, 데이터분석팀은 앱 내부 데이터나 로그 데이터를 활용해 앱 사용성, 비즈니스 등을 분석하고 그 결과를 현업 팀에 제공해 활용하게 한다. 데이터엔지니어링팀은 데이터사이언스, 데이터분석 등의 팀에서 하는 모든 활동의 근간인 데이터 플랫폼을 구축해, 대용량 데이터 저장, 처리, 활용 등을 관리하는 엔지니어링을 책임진다.

카카오스타일 데이터그룹의 소성운 총괄 리더(왼쪽부터), 강웅석 데이터엔지니어링(DE)팀 엔지니어, 박인성 데이터분석(DA)팀 리더, 유지훈 데이터엔지니어링(DE)팀 리더.

카카오스타일 데이터그룹은 이른바 ‘펑션 조직’이다. 카카오스타일의 조직은 크게 ‘펑션 조직’과 ‘목적 조직’으로 나뉘는데, 목적 조직은 프로젝트 형태로 구성돼 기획자, 개발자 등을 한 팀으로 한다. 반면, 펑션 조직은 특정 기능을 위해 관련된 전문가를 한 팀에 모아 전사의 프로젝트를 지원한다. 데이터그룹은 데이터 관련 전문가로 구성된다.

소성운 카카오스타일 데이터그룹 총괄 리더는 “데이터그룹에서 추천 모델을 만들면 엔지니어링을 통해 추천 알고리즘을 각 서비스에 적용하는 식”이라며 “각 목적 조직이 각자의 담당 서비스별로 알고리즘을 만드는게 아니라, 개별 소루션과 인사이트를 한곳에 집결시켜 전사적 형태로 사용하게 하는 것”이라고 설명했다.

그는 “작년까지 100명대 규모의 회사였을 때는 각 목적 조직에 흩어져 일하기도 했지만, 올해 들어 조직이 커지며 데이터 인원을 늘리는 대신 지금처럼 한 팀에 모여 전사를 지원해 효율성을 강조하는 식으로 바꾼 것”이라며 “조직 구성은 회사의 규모에 따라 달라져왔으며, 향후에도 조직 상황에 따라 유연하게 달라질 거”이라고 덧붙였다.

현재 카카오스타일 데이터그룹은 14명으로 이뤄졌다. 데이터 사이언스팀에 4명, 분석팀에 7명, 엔지니어링팀에 3명이 소속돼있다.

카카오스타일은 데이터 플랫폼 구축에 아마존웹서비스(AWS)의 서비스를 적극 활용한다. 서비스 운영 데이터베이스(DB)와 별개로 분석용 DB를 따로 두지 않았다는 게 특이하다.

소성운 데이터그룹 총괄 리더

소성운 리더는 “기본적으로 모든 데이터는 아마존 S3에 저장되고, 실시간 데이터든 운용 DB 데이터든 S3에 들어간 순간부터 모든 AWS 서비스를 붙여서 쓸 수 있다”며 “모델링은 세이지메이커, 대시보드는 퀵사이트, 데이터 처리 가공은 EMR 등을 쓰면서 자유롭게 하고 싶은 것에 집중해 서비스를 선택해서 데이터를 다루고 있다”고 밝혔다.

유지훈 데이터엔지니어링팀 리더는 “데이터양이 커지면 SQL DB로 감당하기 힘들어진다”며 “AWS의 S3 스토리지에 모든 데이터를 저장하고, 각종 서비스를 붙여 DB처럼 쓰는 데이터레이크를 구축해 활용하고 있다”고 설명했다.

유지훈 리더는 “실제 보유 데이터양이 250테라바이트(TB) 정도로 방대하고 로그만 해도 1회 몇십억건씩 들어오는데 이를 S3에 적재하면, AWS 글루 서비스가 S3 내 파일을 DB 형태로 쓸 수 있게 인터페이스해준다”며 “이를 AWS 아테나란 쿼리 서비스로 카카오스타일 전체 인원 절반 이상이 데이터를 조회하고 있다”고 덧붙였다.

데이터 분석을 시각적으로 하는 대시보드는 ‘아마존 퀵사이트’를 사용하고 있다. 데이터분석팀이나 데이터사이언스팀이 아마존 퀵사이트 뷰를 만들어주면, 회사 현업팀에서 이 대시보드를 의사결정에 활용한다.

추천 관련 요소는 AWS 퍼스널라이즈란 서비스를 이용중이다. AWS 세이지메이커를 이용해 맞춤형머신러닝 모델을 만들어 이용하기도 한다. 대규모 데이터 연산을 해야 할 때는 매니지드 하둡 프레임워크 서비스인 아마존 EMR을 이용해 빅데이터 연산을 수행한다.

유지훈 데이터엔지니어링팀 리더

유지훈 리더는 “아마존 EMR은 필요할 때 띄웠다가 다 쓴 뒤 내리는 식으로 쓸 수 있다”며 “지금도 EMR이 돌아가고 있으며, 많을 때는 동시에 10개씩 돌아가기도 한다”고 말했다.

그는 “예전엔 그에 맞춰 인프라 증설해야 했다”며 “현 플랫폼의 경우 서비스가 10~100배 성장해도 지금 형태로 다 감당할 수 있다”고 강조했다.

데이터레이크에 저장되는 데이터는 개인정보를 담지 않는다. ISMS-P 인증도 받았다. 개인정보는 데이터레이크 외부에 있으며, 데이터레이크의 데이터는 개인을 식별할 수 없는 상태로 저장한다. 사용자 식별 정보 없이도 추천 모델링이나 분석이 실제 서비스에서 잘 작동하고 있어 업계에서 그 노하우에 많은 관심을 보이고 있다.

소성운 리더는 “ISMS-P 인증을 이런 식으로 받는 게 일반적이지 않다”며 “보통은 DB에 모든 데이터를 가둬두고 외부에서 쓰지 못하게 하고. 서비스 안에서 인증을 받고 쓰게 하는 식인데, 우리는 활용가능한 형태로 저장해 최대한 열어주지만 정보보안에 문제 없게 했다”고 말했다.

실시간 데이터 스트림은 아마존 키네시스 파이어호스를 활용한다. 실시간 데이터 양이 커지면 키네시스 파이어호스를 쉽게 확장해서 쓴다고 한다. 소성운 리더는 “하루에 수십억건 적재되는 행동 로그도 키네시스를 활용해 적재하고 있다”고 설명했다.

데이터분석팀은 현업 서비스의 성과를 분석하고, 지속적인 모니터링 작업을 수행한다. 아마존 아테나로 데이터 분석의 결과를 현업에 전달하고, 지속적인 모니터링이 필요한 분석의 경우 아마존 EMR로 자동화한다.

데이터분석팀 박인성 리더는 “아마존 EMR로 정해진 쿼리나 프로세스를 분석가가 원하는 식으로 작성하면 매일 작업이 돌아가고, 서비스 단에서 원천 데이터가 쌓이고 로직 기반으로 비즈니스 지표가 작성돼 새 테이블로 적재되는 식의 플로우”라며 “그렇게 만들어진게 비즈니스 지표 정보라고 하면, 전달하는 도구도 필요하므로 거기에 대시보드로 아마존 퀵사이트를 사용해 수집, 가공, 전달의 플로우를 형성한다”고 설명했다.

박인성 데이터분석팀 리더

데이터사이언스팀은 AWS에서 애플리케이션수준으로 사용 가능하게 제공하는 포캐스트, 레코그니션 같은 서비스를 활용했다. 최근엔 커스텀 머신러닝 모델을 만들 수 있는 아마존 세이지메이커를 활용하고 있다.

소성운 리더는 “초기엔 빠른 액션을 위해 AWS 퍼스널라이즈를 이용해 지그재그 내 개인화 추천 모델을 적용함으로써 성과 확인과 업무 부분을 만드는데 집중했다면, 지금은 사내에서 개인화나 추천 요구사항이 늘어나고 다양해지면서 이를 수용하고 대응하기 위해 다 커스텀 모델을 제작하는데 세이지메이커를 도입해 활용을 늘려가고 있다”고 말했다.

그는 “예를 들어 광고 서비스는 광고주의 수익과 효율이 중요하므로. 지그재그의 광고효율을 판단하는 ROAS 지표 예측 모델을 세이지메이커로 만들어 배포한다”며 “파트너사에 제공하는 실제 광고 서비스에서 14일 뒤 성과 예측이 가능해 광고를 더 집행할 지 줄일 지 다른 데 집중할 지 알수 있다”고 설명했다.

그는 “다양한 추천모델,, 다양한 머신러닝 과제를 더 확장해서 진행할 예정”이라고 덧붙였다.

AWS의 다양한 데이터 관련 서비스를 적극 채택하면서 가장 극적인 효과를 본 분야는 ‘분석’이라고 한다.

박인성 리더는 “분석팀 7명이 클라우드를 기반으로 하지 않았으면 지금 수준의 데이터 지원을 하지 못했을 것”이라며 “분석이 데이터뿐 아니라 서비스나 비즈니스 단에서 빠른 시도를 할 수 있게 연결 되도록 한 게 가장 큰 성과”라고 말했다.

그는 “사용자에게 제공하는 어떤 기능을 AB테스트로 나눠 제공해서 사용자의 반응을 매일 분석하고, 사용자에게 어떻게 먹히고, 놓친 부분이나 개선할 부분을 찾는 전문가 그룹이 있는데, 그곳과 긴밀히 협업한다”며 “커머스 측면에서 MD와 기획전도 운영하는데, 기획전은 종료 후 경험을 공유하는 것도 있지만, 매일 데이터와 분석을 제공해 짧은 기간이라도 상품 배치나 콘셉트를 개선할 수 있게 MD와 함께 고민한다”고 설명했다.

카카오스타일에서 데이터는 모든 직무에 활용된다. 데이터그룹이 잘 닦아둔 플랫폼을 활용해 MD, 개발자, 데이터직군 외에 PR직군도 쿼리를 직접 날려 데이터를 다룬다. 대시보드나 데이터분석팀의 산출물은 사무실 어디서든 쉽게 볼 수 있다.

소성운 리더는 ”데이터는 닫혀 있는 게 아니라 회사 내 누구나 거래액 규모도 퀴리만 하면 집계할 수 있을 정도”라며 “이런 환경이 카카오스타일에선 당연하며 데이터 활용 커버리지, 능력, 깊이 등에서 이처럼 활용도 높은 회사는 별로 없다”고 강조했다.

데이터그룹의 데이터는 회사 내부 활용을 넘어 파트너사인 쇼핑몰들에게도 가능한 선에서 최대한제공된다. 내부 인사이트를 직접 조회하지는 못해도, 파트너사 운영에 도움되거나 각 쇼핑몰 나름의 성장을 도울 수 있는 데이터를 지표화해 제공한다. 혹은 정기적으로 데이터 보고서를 발간해 각 쇼핑몰에 배포하기도 한다.

소성운 리더는 “보고서는 여러 소핑몰의 운영부분, 성과 리포트를 수기로 만드는 게 아니라, 평소 준비된 인프라에서 정리된 지표를 정기적으로 정리해 배포하는 형태”라며 “파트너가 잘돼야 우리 회사도 잘 되는 것이니 데이터 측면은 최대한 지원하는걸 과제로 하고 있다”고 강조했다.

유지훈 리더는 “대표적인 사례는 ‘1타 추천’으로, 어떤 고객이 상품을 사려다가 망설이거나 할 때 넛지를 준다거나, 반대로 지그재그 입점 쇼핑몰 파트너가 특정 고객에게 쿠폰을 발행하면 그게 효율적으로 활용되는지 정보를 줘서 타겟팅을 잘하도록 돕고 있다”고 설명했다.

카카오스타일 데이터그룹에 여러 클라우드 서비스 가운데 AWS를 택한 이유를 물어봤다. 

이에 강웅석 데이터엔지니어링팀 엔지니어는 “지그재그는 요구사항과 비즈니스가 매우 복잡한데, 다른 클라우드도 약간씩 써봤지만 AWS 서비스가 큰 어려움 없이 만족스러운 서비스를 구축하게 했다”며 “현재 패러다임에서 풀기 어려운 기술적 한계가 있을 때 항상 최신 기술을 열심히 도입하려 하는데, 그럴 때 AWS의 엔터프라이즈 서비스 서포트를 통하면 티켓을 열어서 실제 AWS의 서비스 개발자와 커뮤니케이션하게 해주고 AWS에서 기술 동향이나 우리의 궁금증에 즉각 답을 해준다”고 말했다.

강웅석 데이터엔지니어링팀 엔지니어

소성운 리더는 “AWS는 엔터프라이즈 서포트 대상 고객사에 담당자를 지정하고, 그 담당자는 카카오스타일 데이터그룹의 슬랙에 상주하고 있다”며 “공식적으로 서포트 티켓을 만들어 도움을 요청하면 함께 고민해주고 티켓 처리도 빠르게 이뤄주게 도와준다”고 덧붙였다.

카카오스타일 데이터그룹이 완전히 DB를 배제하는 건 아니다. 워크로드에 발생하는 어려움을 해결하는데 가장 적합한 기술을 검토해 도입하는 방침을 갖고 있다. 먼저 DB 기술을 정해두고 워크로드를 거기에 맞추지 않는다는 얘기다.

유지훈 리더는 “빠른 응답이 필요하다면 엘라스틱캐시, 레디스를 쓰고, 적재해야 하면 아마존 오로라를 쓰는 식”이라며 “데이터레이크로 무언가 연산한 결과가 있는데 그걸 분석에서만 쓰고 끝내지 않고 추천이나 랭킹, 인기도점수 같은 것에 쓰기 위해 전달할 때 데이터 형태나 상황에 따라 아마존 오로라를 도입하기도 하고, 레디스를 쓰기도 한다”고 말했다.

AWS에 요청하고 싶은 서비스가 있냐는 질문에 다양한 의견이 나왔다. 유지훈 리더는 에어비앤비에서 개발한 스케줄러인 ‘에어플로우’를 매니지드서비스로 제공하는 ‘아파치 에어플로우용 아마존 매니지드 워크플로우(MWAA)’를 서울 리전에서 사용할 수 있게 됐으면 좋겠다고 했다. 그는 또 ‘AWS 글루’에서 그래프를 지원하면 좋겠다는 의견을 내놨다. 소성운 리더는 데이터레이크에서 데이터의 위치를 찾기 쉽도록 데이터 디스커버리 기능을 원했다. 이 아이디어는 인터뷰에 동석한 AWS코리아 직원을 통해 본사로 곧바로 전달됐다.

카카오스타일 데이터그룹은 개인화 영역을 더 확대하고 있다. 개인화를 상품 구성뿐 아니라 사용자별 UI, 맞춤형 콘텐츠 추천으로 확장하는 것이다. 소성운 리더는 “개인화된 UI와 콘텐츠를 제공할 예정이며, 지그재그 데이터에서 얻은 인사이트와 성공사례를 카카오스타일의 또다른 서비스에 적용하는 데이터 프로젝트도 만들어질 것”이라고 밝혔다.

유지훈 리더는 “AWS 레드시프트란 데이터웨어하우스로 큰 데이터를 빠르게 조회할 수 있는데, 이DW를 잘 사용해 파트너에게 다양한 인사이트를 볼 수 있게 제공하려 하고 있다”며 “기존 방식은 워크로드에 따라 제한을 두는데, 레드시프트는 제한이 없기 때문에 파트너를 위해 투자할 것”이라고 말했다.

소성운 리더는 “파트너에게 제공할 지표의 절대적인 양을 늘리고. 5천여 판매자 개별마다 맞춤화된 컨설팅을 데이터 기반으로 할 것”이라며 “컨설팅 회사처럼 인력을 붙일 수는 없지만, 컨설팅을 기능화해서 개별화된 컨설팅이나 데이터를 제공하는 방향으로 진행할 예정”이라고 강조했다.

박인성 리더는 “대시보드 쓰는 부분을 파트너에 맞는 범위와 권한에 따라 판매자 사이트에 가공된 데이터를 제공할 계획”이라며 “고객 측면의 고민과 셀러의 고민이 같이 가야 한다고 본다”고 말했다.

지그재그 로그수집 아키텍처

데이터 기반 비즈니스는 많은 기업에서 채택하고자 하는 방향이다. 스타트업, 대기업 등 규모에 상관없이 데이터 활용에 많은 관심을 보이고 있다. 카카오스타일의 데이터 전문가들은 객관적인 목표를 설정할 것, 전사적인 데이터 접근성에 투자할 것, 유연하게 확장할 수 있는 데이터 수집체계를 구축할 것 등의 조언을 내놨다.

유지훈 리더는 “데이터 기반으로 일하려면 그에 맞는 목표를 세워야 한다”며 “목표가 정량적으로 객관화하기 어려우면 그만큼 모호해지고 의사결정에서 데이터가 멀어진다”고 말했다.

박인성 리더는 “정량적 목표가 잘 유지되고 연계되려면, 전사적인 데이터 접근성이 중요하며, 시스템적으로 권한을 잘 개방하고, 데이터를 언제 어디서든 볼 수 있어야 한다”며 “당장 필요하지 않아 보여도 누군가에게 데이터가 필요해지는 시점은 꼭 온다”고 강조했다.

그는 “어느날 누군가가 어디 대시보드를 보니 이런 수치가 있더라 하는 문의를 분석팀에 보내는데, 이런 흐름을 만드는 게 중요하다”며 “이를 위해 데이터레이크부터 현업까지 잘 전달되는 흐름을 구성해야 한다”고 덧붙였다.

강웅석 엔지니어는 “수집 관점에서 보면 유연하게 만들어 시작하는 게 좋다”며 “어느정도 데이터의 맛을 보면 더 많이 먹고 싶어하고, 모든 걸 데이터로 하고 싶어 하게 된다”고 말했다.

그는 “몇년 전의 우버 사례를 보면 기술이 없어서 RDB에 몰아넣고 시작을 했다고 하는데, 지금은 클라우드 업체에서 훌륭한 데이터 서비스가 많이 나와 있다”며 “처음 수집할 때 조금은 공을 들여야 급하게 성장하는 세상에서 후회하지 않게 된다”고 덧붙였다.

김우용 기자(yong2@zdnet.co.kr)