코난테크놀로지 "고성능·저비용 LLM 자체 개발...데이터 유출 우려 없어"

자체 개발 '코난LLM' 공개…토큰 4천920억개 학습
온프레미스 기반으로 기밀 데이터 유출 우려 없애
문서 관련 업무 생산성 높여…4천자 분량 보고서도 '뚝딱'

[아이뉴스24 박진영 기자]"기밀 데이터 유출 우려를 없앤 거대 언어모델을 만들었다. B2B(기업간 거래)·B2G(기업과 정부간 거래) 등 전 분야에서 수요가 폭증하고 있고 내년부터 수익을 낼 수 있을 것이다."

김영섬 코난테크놀로지 대표는 17일 오전 서울 영등포구 콘래드 서울에서 열린 기자간담회에서 발표하고 있다. [사진=박진영 기자]

국내 인공지능(AI) 소프트웨어 기업 코난테크놀로지는 17일 서울 영등포구 콘래드 서울에서 기자간담회를 갖고 자체 개발한 거대언어모델(LLM) '코난 LLM'을 공개했다.

코난LLM은 AI학습에 필요한 파라미터(매개변수) 크기는 줄이고 데이터 토큰은 늘려 비용 대비 성능을 향상시켰다. 적절한 파라미터로 고객 운영 부담을 낮췄고 전체 토큰 4천920억개를 학습시켰다. 오는 11월 공개하는 모델은 7천억개 토큰을 학습하고, 이 중 한국어 토큰은 3천220억개 쓰인다. 오픈소스 기반 라마2(LLAMA2)보다 한국어를 270배 많이 학습했다고 회사 측은 설명했다.

기업 전용 LLM을 내세운 코난은 '온프레미스(구축형)'으로 제공해 기업 내부 데이터 유출을 막겠다는 전략이다. 온프레미스 기반 LLM은 회사 기밀 정보가 외부로 유출되거나 LLM 학습에 회사 데이터가 사용되는 것을 원천적으로 막을 수 있다는 게 회사 측 설명이다. 보안을 중요하게 여기는 금융, 기업, 정부·공공기관에서 선호하는 방식이라고 덧붙였다.

코난 LLM의 강점으로 ▲방대한 데이터 ▲GPU(그래픽 처리 장치) 서버 ▲AI 전문 연구개발인력 등을 꼽았다.

이 회사는 2007년부터 온라인 미디어 심화 분석 서비스 '펄스케이(PulseK)'를 통해 약 205억 개 문서를 자체 확보했다. 이 중 트위터나 뉴스 댓글 등 단문을 제외한 20억 건을 학습에 사용했다.

AI 기술 경쟁력을 강화하기 위해 지난 2월 국내에서 가장 먼저 엔비디아의 H100 장비 8대를 발주해 최근 입고했다. AI 전문 개발인력은 전체 직원의 67%인 149명이며 계속 충원 중이다.

코난LLM은 문서 관련 업무에 차별적 강점이 있다. 구체적으로 초안 생성, 문서 요약, 질의응답 등을 지원한다. 문서 초안 생성에 집중한 파인튜닝(미세조정) 과정을 거쳤으며, 보고서·보도자료 등 초안을 빠르고 손쉽게 생성해주는데 최적화됐다는 설명이다. 간단한 프롬프트만으로 4천자 분량의 문서를 만들어내고, 문서생성 중 추가적인 질의, 첨삭, 참고자료도 동시에 만들 수 있다고 회사 측은 설명했다.

임완택 코난테크놀로지 전략기획본부장은 "LLM 개발 사전 학습 단계부터 B2B에 적합한 고품질의 데이터를 학습시켰다"면서 "직장인 업무 시간의 3분의 1을 차지하는 보고서 작성 등에서 업무 생산성을 높일 수 있을 것"이라고 밝혔다.

/박진영 기자(sunlight@inews24.com)