코난테크놀로지, 한국어 역량 강화 AI 언어모델 공개

도원철 코난테크놀로지 상무가 코난LLM을 시연하고 있다. 코난테크놀로지 제공

생성형 AI(인공지능) 열풍에 발맞춰 토종 AI FM(기반모델)이 또 하나 등장했다. 한국어 데이터를 중점적으로 학습, 국내 기업·기관의 문서 생성 수요 공략에 나선다.

코난테크놀로지는 17일 서울 여의도 콘래드호텔에서 기자간담회를 열고 자체 개발한 LLM(대규모언어모델) '코난LLM'을 공개했다. 파라미터(매개변수) 규모는 131억개로, 오는 11월에는 410억개 모델도 선보일 예정이다.

코난테크놀로지는 비용 부담을 낮추면서 한국어에 능숙한 점을 '코난LLM'의 특징으로 내세웠다. 통상적으로 LLM의 파라미터 규모가 커지면 성능도 올라가지만 학습·운영에 드는 비용도 덩달아 증가한다. 회사는 이를 위해 모델 크기를 경량화, 다수의 GPU(그래픽처리장치) 서버 없이 엔비디아 RTX 3090에서도 구동 가능한 수준으로 만들었다. 이를 온프레미스 구축형으로 제공할 계획으로, 내부 데이터 유출 우려도 해소할 수 있다는 게 회사의 설명이다.

'코난LLM'은 파라미터 규모를 줄이는 대신 전체 토큰 4920억개, 특히 한국어 토큰 2840억개를 학습해 품질을 높였다. 11월 선보일 모델에는 전체 학습 토큰 7000억개, 한국어 토큰은 3220억개가 쓰인다. 2007년부터 운영해온 온라인 미디어 분석 서비스 '펄스K'를 통해 약 205억개 문서를 자체 확보, 이 중 단문을 제외한 20억 건을 학습에 사용했다. 회사에 따르면 한국어 토큰 학습량이 네이버 하이퍼클로바는 5690억개, 챗GPT는 5억7000만개, 메타 라마2는 12억개로, '코난LLM'이 오픈소스LLM 라마2보다 한국어를 270배 많이 학습했다.

LLM의 파라미터 규모를 줄이는 대신 학습 토큰 수를 적정 수준으로 늘리며 성능을 최적화하는 것은 최근 AI업계에서 자주 보이는 시도다. 또한 기업들 사이에서는 오픈소스 LLM 등을 바탕으로 생성형AI를 사내 구축하려는 수요도 늘어나고 있다. 코난테크놀로지는 '코난LLM'의 강점으로 한 번에 4000개 토큰 분량의 문서를 생성할 수 있는 점을 꼽았다. 검색 솔루션 개발사답게 벡터 검색기반의 '코난 서치'가 연동돼 출처를 확인할 수 있는 것도 장점이다. 특히 오픈소스LLM과의 차별점에 대해 도원철 코난테크놀로지 상무는 "보통 LLM에 도메인 데이터를 추가 학습시키면 기존 학습된 정보를 일부 잊어버리는 경향이 있다. 기존에 학습시킨 토큰데이터도 갖고 있어야 샘플링해 함께 학습시킴으로써 이를 방지할 수 있다"며 "오픈소스 LLM 등은 이런 데이터가 공개돼있지 않아서 추가적인 학습이 가능해도 모델 품질은 떨어질 수 있다"고 설명했다.

'코난LLM'은 라이선스 또는 연간 구독모델로 판매된다. 코난테크놀로지는 '코난 챗봇'과 AICC(AI컨택센터) 비즈니스를 지원하는 '코난 보이스봇'과 같은 자사 서비스에도 도입해 여러 비즈니스 수요에 대응한다는 계획이다.

팽동현기자 dhp@dt.co.kr