책 1400만권 분량 학습한 코난LLM, 성능·비용 잡았다

논문·보고서 20억건 고품질 데이터 기반…학습 토큰 업계 최다수준
문서 초안 특화 모델…보고서 수정하거나 도표화하는 기능도 지원

도원철 코난테크놀로지 상무이사가 코난LLM으로 보고서 작성을 시연하고 있다.(코난테크놀로지 제공)/뉴스1

(서울=뉴스1) 김승준 윤주영 기자 = 몇 개의 문장으로 된 명령어를 입력한 지 2초 만에 인공지능(AI)이 3000자가량의 보고서를 뚝딱 만들어 냈다.

인공지능 소프트웨어 전문기업 코난 테크놀로지는 17일 서울 영등포구에서 열린 간담회에서 자체 개발한 언어모델 '코난 LLM'을 공개하며 성능을 선보였다.

보고서 초안 작성뿐 아니라 간단한 명령어로 문서 내 자료가 수정되고 표를 작성하는 등 업무 활용 기능을 시연했다.

코난LLM은 대규모 언어모델(LLM)이다. 챗GPT 기반이 되는 GPT-3, GPT-4 등도 LLM이다.

코난 테크놀로지는 코난LLM이 도입 및 유지 비용에서 강점이 있다고 설명했다.

LLM 성능은 매개변수로 표현된다. 매개변수가 커지면 성능은 좋지만 개발·도입·유지 비용이 급격히 늘어나는 문제가 발생한다.

사측은 AI 학습 품질을 높여 적은 매개변수로도 성능을 유지한다는 전략을 채택했다고 부연했다.

임완택 전략기획본부장은 "매개변수가 크다는 것은 학습 비용도 많이 들고 기업에서 운용할 때 서버가 많이 필요해서 비용 이슈가 있다"며 "매개변수는 적더라도 (성능이 나올 수 있도록) 학습을 많이 했다"고 설명했다.

코난LLM은 국내 최대 분량의 데이터를 학습했다는 게 회사 설명이다. 이번에 시연된 버전은 4920억개 토큰을 학습했다.

11월 출시할 모델은 7000억개 토큰을 학습할 예정이다. 토큰은 데이터 처리의 단위를 말한다. 7000억개 토큰은 책 1400만여권 분량이다.

기업 시장 수요에 맞춰 논문, 보고서 등 고품질 데이터로 학습이 이뤄졌다.

문서를 다루는 모든 기업의 △문서 초안 생성 △문서 요약 △질의응답을 지원하고 '문서 초안 생성'에 집중해 미세 조정하여 각종 문서, 보고서, 보도자료 등의 초안을 빠르고 손쉽게 생성할 수 있다.

이날 시연에서 코난 LLM은 개인용 PC에서도 쓰이는 엔비디아사(NVIDIA)의 그래픽카드 RTX3090로도 무리없이 작동했다.

일부 기업은 기업 비밀 유출을 방지하기 위해 챗GPT 등 외부 생성 AI의 사용을 금하는 정책을 시행하고 있다.

코난 테크놀로지는 기업의 보안 우려가 해소될 수 있도록 코난LLM을 고객 기업 내에 자체 서버를 구축하는 '온프레미스' 형태로 제공한다고 설명했다.

이번 LLM을 바탕으로 다른 인공지능 서비스를 개발하는 등 시장 수용에 대응할 계획이다.

김영성 코난테크놀로지 대표이사는 "생성형 AI 시장에 선제적으로 대응하고자 자사 고유의 대형 언어모델 개발에 매진했다"면서 "피드백을 경청해 서비스를 보완해 앞으로도 고객과 시장의 기대에 부응하겠다"고 말했다.

legomaster@news1.kr