[인터뷰] 김영섬 코난 테크 대표 "자체 개발 LLM '성능·비용·보안' 3박자 갖춰"

25년 업력 쌓은 코난테크놀로지, 코난LLM으로 기업·공공 시장 공략
"온프레미스로 제공해 데이터 유출 없다…내년부터 LLM 수익 실현"
"정직하고 기술력 갖춘 인공지능 강소기업 평가"

[아이뉴스24 박진영 기자] "성능·비용·보안 모두 갖춘 거대언어모델(LLM)로 기업과 공공기관 수요를 잡겠다."

김영섬 코난테크놀로지 대표가 지난 17일 서울 영등포구 콘래드 서울에서 아이뉴스24와 만나 인터뷰하고 있다. [사진=코난테크놀로지]

김영섬 코난테크놀로지 대표는 17일 서울 영등포구 콘래드 서울에서 아이뉴스24와 인터뷰를 갖고 AI 기술력에 대한 자신감을 이같이 피력했다.

김영섬 대표는 "거대언어모델(LLM) 도입에 대해 기업들의 관심은 높으나 도입까지는 현실적 장애물이 많다"면서 "도입 비용이 합리적이면서 성능이 떨어지면 안되고, 내부 데이터 유출 우려가 없어야 없어야 한다"고 지적했다.

그런 점에서 코난 LLM은 20억 건 이상의 문서를 학습시켰고 파라미터(매개변수) 크기를 줄여 기업 고객의 운영 부담을 크게 낮췄다는 점에서 경쟁 우위에 있다고 그는 강조했다. 온프레미스(실내구축형)로 제공돼 데이터 유출 우려가 없다는 장점도 빼놓지 않았다.

코난테크놀로지는 1999년 설립 이후 자연어 심층 처리와 AI 원천기술을 축적해온 국내 AI소프트웨어 기업이다. 최근 51억 국방 지능형 플랫폼 구축 사업을 수주하는 등 정부·공공 사업에 집중하고 있다. 지난해 SK텔레콤이 지분 20.77%를 확보하면서 코난테크놀로지의 2대 주주로 올라섰다.

다음은 김영섬 대표와의 일문일답

Q> 마이크로소프트(MS)·구글 등 글로벌 빅테크 기업은 물론, 네이버·카카오·LG 등 국내 빅테크에서도 LLM 개발 경쟁을 펼치고 있다. 이런 상황에서 코난LLM의 차별적 강점은

A>코난 LLM은 성능·비용·보안 모두 겸비한 B2B·B2G향 LLM을 표방한다. 빅테크 기업들은 B2C(기업과 소비자간 거래) 서비스도 함께 출시하는데, 코난은 B2B 시장만을 보고 있다. 기업용 LLM이기 때문에 기업 내부 데이터 유출을 막기 위해 온프레미스(실내구축형)로 제공한다.

또 자체 개발 벡터 검색 엔진을 연동시켜 할루시네이션(환각현상)을 줄였다. 간단한 프롬프트(명령어)로 문서생성이 가능한데, 이에 대한 근거와 출처를 참고문서 형태로 제공한다.

무엇보다 파라미터(매개변수) 크기를 줄여 기업 곡객의 운영 부담을 낮췄다. 코난LLM의 파라미터는 131억개와 410억개로 제공된다. 이와 함께 전체토큰 4천920억개, 이 중 한국어 토큰 2천840억개로 언어모델 학습을 마쳤다. 이는 현재 공개된 오픈소스 모델보다 2배 많다.

Q>파라미터 크기는 줄이고 학습 토큰 수는 늘려 성능 대비 가격이 합리적이라고 강조했는데

A>이번에 출시한 코난LLM 13.1B모델은 엔비디아의 A100보다 낮은 사양에서도 작동된다. 클라우드 기반 LLM에 비해 추론을 위한 장비 도입 비용을 대폭 절감할 수 있다는 의미다. 또 학습비용도 챗GPT나 네이버의 하이퍼클로바에 비해 저렴하기 때문에 코난LLM의 온프레미스 라이선스 비용이나 연간 구독 비용은 훨씬 저렴할 것이라고 본다.

Q>현재 온프레미스로만 제공되는데, 클라우드 기반도 고려하고 있나

A>현재로썬 클라우드로 제공할 계획은 없지만, 시장 요구에 따라 고려할 수도 있다. 코난은 회사 내부 데이터 보안을 중시 하는 기업이나 기관을 위해 LLM을 개발했다. 기업 내부 데이터 유출은 물론, LLM 학습에 고객 기업 회사의 데이터가 활용될 우려가 전혀 없다.

Q> 투자 비용이 만만치 않았을텐데, LLM 개발 비용 규모는 어느정도인가

A>이번 LLM을 개발하는 데 직접 비용으로 약 100억원 정도 투자했다. 이는 장비를 사고, 파인튜닝(미세소정)이나 프롬프트 작업 등에 들어간 비용이다. 그동안 데이터를 수집, 관리하는 등 간접 비용까지 합치면 이보다 훨씬 많다.

지난해 말 LLM 자체 개발팀을 꾸려 전사적으로 개발을 진행했고, 지난 2월 엔비디아 H100 12대를 발주했고, 현재 순차적으로 입고 중이다. 보통 H100 1대는 현재 국내에서 LLM 학습에 널리 이용되는 A100 4대의 성능을 낸다. 이번 LLM 개발을 위해 H100 8대로 학습시켰다.

Q>회사 2대 주주인 SK텔레콤과 AI 협력 진행 중인 것이 있나

A>SK텔레콤과는 전략적 협업 관계를 유지하고 있으며, 다양한 AI프로젝트를 구상 중에 있다. 현재 코난테크놀로지의 양승현 CTO가 SKT CTO를 겸임하고 있다.

김영섬 코난테크놀로지 대표가 지난 17일 서울 영등포구 콘래드 서울에서 아이뉴스24와 만나 인터뷰하고 있다. [사진=코난테크놀로지]

Q>LLM을 도입하려는 기업 수요에 대응하기 위해 어떤 전략을 구상하고 있나

A>코난LLM은 모든 회사들에서 사용가능한 문서, 보고서, 보도자료 등의 초안 작성과 문서요약, 질의응답에 특화돼 있다. 문서작성에 들어가는 시간을 대폭 줄여 업무 생산성을 높일 수 있다. 특히 B2B에 적합한 파라미터 크기인 13.1B와 41B 모델로 제공해 도입과 운용 비용을 대폭 절감할 수 있다.

Q>LLM을 통한 수익화 시기는 언제쯤으로 보고 있나

A>현재 대기업, 정부, 공공기관에서 LLM 도입에 큰 관심을 가지고 있고, 내년 도입을 위해 내년 예산에도 반영하려는 추세다. 올해는 잠재적 고객에 대한 영업과 마케팅이 중심이지만, 내년부터는 실질적 계약으로 연결될 것으로 예상된다.

Q>25년간 국내에서 AI소프트웨어 기업으로 업력을 쌓았는데, 향후 비전은 무엇인가

A>지난 25년간 기업 고객들의 신뢰를 바탕으로 B2B 사업을 해왔다. 코난과 한번 계약을 맺으면 보통 10년이상 쓰는 경우가 많다. 보안이 중요한 국방·항공우주 분야에서 실적도 높은 편이다. 한국항공우주산업(KAI)가 회사 지분을 갖고 있기도 하다. 앞으로도 정직하고 기술력 있는, 인공지능 잘하는 강소기업으로 평가받고 싶다.

/박진영 기자(sunlight@inews24.com)