서준호 토스랩 최고기술책임자(CTO)
1만7000건 → 6억7000건.
토스랩의 업무용 협업툴 잔디(JANDI)에서 발생하는 일일 메시지 발송량의 변화(2019년 → 2024년) 수치다. 잔디를 업무용 협업툴로 이용하는 기업들이 늘어난 가운데 잔디 트래픽 규모도 폭발적으로 확대됐다. 잔디를 이용하는 기업 중 한 곳의 잔디에 개설된 업무용 대화방은 7000개에 이르기도 했다. 이런 가운데 직원들이 잔디에서 발생한 수많은 메시지 중 원하는 데이터를 찾기가 어려워졌다. 이에 토스랩은 고객사의 애로사항을 해결하기 위해 잔디에 인공지능(AI) 기능을 장착하는 방안을 검토하기 시작했다. 이후 약 1년6개월간의 개발 기간을 거쳐 잔디에 AI 기능 '스프링클러'가 추가됐다.
회사의 기술 개발을 주도하고 있는 서준호 최고기술책임자(CTO)를 최근 서울시 강남구에 위치한 토스랩 사무실에서 만나 스프링클러의 주요 기능과 회사의 AI 전략에 대해 들었다. 서울대 컴퓨터공학과에서 학사 학위를 취득한 서 CTO는 엠파스·SK커뮤니케이션즈와 Waterbear Soft·STUnitas 등을 거쳐 토스랩에서 잔디 서비스 개발을 총괄하고 있다.
잔디서 버튼 누르면 바로 AI 쓴다
서 CTO는 스프링클러를 개발하면서 사용자가 잔디 내부에서 AI 기능을 이용하도록 하는데 집중했다. '업무 몰입'을 깨지 않도록 하기 위해서다. 미국 오픈AI의 AI 챗봇 '챗GPT'를 쓴다면 협업툴과 챗GPT 화면을 오가며 업무를 해야 한다. 가령 업무와 관련해 아이디어가 필요하다면 크롬과 같은 웹브라우저로 챗GPT 웹사이트로 접속해 질문을 던지고 답변을 확인한 후 다시 협업툴로 화면을 전환해 업무를 이어가야 한다. 이 과정에서 업무에 대한 몰입이 깨질 수도 있다. 하지만 협업툴 내부에서 생성형 AI를 쓸 수 있다면 이같은 화면 변환 과정없이 AI의 도움을 받을 수 있다.
이에 서 CTO는 잔디에 추가한 AI 버튼만 누르면 바로 스프링클러를 쓸 수 있도록 설계했다. 이는 '누구나 쉽게 AI를 쓰도록 한다'는 토스랩 직원들의 공통된 목표에도 부합한다. 스프링클러에 장착된 AI 기능은 크게 △대화 요약 △번역 △파일 분석·요약으로 구분된다. 대화요약은 대화방의 특정 시간대에 오간 대화 내용을 요약해주는 기능이다. 번역 기능은 필요한 메시지만 골라 번역할 수 있는 '원클릭 번역'이 특징이다.
토스랩 본사 직원들은 대만 법인의 현지 직원들과 영어로 소통할 때 이 기능을 활용한다. 한국의 직원이 한국어로 메시지를 입력한 후 해당 메시지의 버튼을 누르면 영어로 번역된다. 상대방의 대만어나 영어 메시지도 클릭해 한글로 번역할 수 있다. 스프링클러는 △중국 간체와 번체 △일본어 △베트남어 △영어 등 5개 언어를 원클릭 번역으로 제공한다. 원클릭 번역용이 아닌 일반적인 텍스트는 전세계 대부분의 언어를 번역할 수 있다.
스프링클러는 파일의 텍스트를 추출해 분석하고 요약해주는 기능도 제공한다. 가령 영어로 된 논문 파일을 업로드하면 한글로 번역해 요약해준다. 특정 기업의 사업보고서 파일을 업로드하면 △회사개요 △재무현황 △주요제품 △사업분야 △연구개발 현황 등으로 구분해 요약해준다. 이력서도 분석한다. 이력서를 검토한 후 면접에서 필요한 질문도 뽑아준다.
스프링클러를 활용하면 잔디에서 이미지 검색도 가능하다. 가령 '서준호 CTO가 PC 앞에서 업무를 하고 있는 모습이 담긴 이미지를 찾아줘'라고 검색하면 서 CTO의 얼굴을 학습한 AI가 최대한 유사한 이미지를 찾아주는 방식이다. AI가 이미지나 파일에서 추출한 내용을 벡터 데이터베이스(Vector Database)에 저장해놓은 후 질의가 들어오면 벡터DB에서 관련 내용을 찾아준다. 벡터 DB는 텍스트를 숫자의 배열 형태로 변환해 저장한 DB다. AI는 검색어가 제목이나 본문에 없고 첨부파일에만 있어도 벡터DB를 참조해 그 결과값을 사용자에게 보여준다. 이로 인해 사용자가 파일명을 모르는 상태에서 문서 본문의 내용 일부만 검색해도 해당 파일을 찾을 수 있다.
스프링클러를 활용하면 리포트 초안도 작성할 수 있다. '기후변화를 주제로 한 리포트의 초안을 영어와 프랑스어로 각각 만들어줘'라고 명령하면 리포트 초안이 생성된다. 이 리포트 초안은 잔디 내 다른 대화방에 바로 공유할 수 있다. 스프링클러의 비공개베타테스트(CBT)에 참여한 기업들은 예전보다 회의록과 보고서를 작성하기가 수월해졌다는 반응을 나타냈다. 기업 메시징 솔루션 기업 모노커뮤니케이션과 일본의 정보기술(IT) 기업 비전모바일 등이 이번 CBT에 참여했다.
스프링클러의 진화…자연어로 반복업무 자동 처리
서 CTO는 스프링클러를 지속 고도화할 계획이다. 먼저 올해 상반기 중으로 자연어로 반복업무를 처리할 수 있는 기능을 추가한다. 주기적으로 특정인을 대상으로 메시지를 발송하는 반복업무가 있다면 'ㅇㅇㅇ에게 매주 월요일 오전 9시에 주간일정에 대한 내용을 메시지로 발송해줘'라고 명령만 내리면 알아서 메시지가 발송되는 방식이다. 예약 메시지 기능이 잔디의 어디에 있는지 찾을 필요가 없다.
AI를 활용한 검색 기능도 고도화한다. 서 CTO는 "AI로 반복업무를 더 쉽게 할 수 있도록 하면 데이터가 쌓이는 속도가 지금보다 더 빨라질 것"이라며 "이미지 등 다양한 형태의 데이터를 잘 검색할 수 있도록 검색 기능을 고도화할 것"이라고 말했다.
한편 토스랩은 잔디를 고객에게 100% 서비스형소프트웨어(SaaS)로 제공하고 있다. 고객사의 서버에 구축하는 것이 아니라 클라우드에 잔디를 구축해놓고 고객이 언제 어디서든 쓴만큼의 비용만 내고 사용할 수 있는 방식으로 제공한다. 토스랩의 클라우드서비스제공사업자(CSP)는 아마존웹서비스(AWS)다. 잔디의 AI는 아마존의 베드록(Bedrock)을 통해 제공된다.
베드록은 다양한 대규모언어모델(LLM)을 이용할 수 있도록 지원하는 서비스다. 베드록에는 아마존이 자체 개발한 타이탄을 비롯해 △메타의 라마 △미스트랄 △코히어 △21Labs △엔트로피 클로드 △아마존 노바 등의 LLM이 있다. 베드록을 쓰는 기업들은 자사 서비스의 성격과 규모 등에 적합한 LLM을 골라 쓸 수 있다.
박현준 기자