KISTI "챗GPT 등장에 사람과 소통하는 언어모델 개발 본격화"

딥러닝 기반 언어모델 분류(KISTI 제공)

(대전ㆍ충남=뉴스1) 김태진 기자 = ChatGPT의 등장으로 인해 사람의 언어를 이해하는 기술에 대한 관심이 고조되는 가운데 각국이 다양한 언어·문화·지식 분야에 걸친 정보를 포함하는 인공지능 파운데이션 모델(Foundation Model)을 경쟁적으로 개발하고 있다.

10일 한국과학기술정보연구원(KISTI)이 발간한 사람과 의사소통하는 인공지능(AI) 언어모델에 대한 ‘KISTI 이슈브리프’를 보면 최근에 발표된 GPT-4는 파라미터 수를 공개하고 있지 않으나, 조단위가 넘을 것으로 전문가들이 예측하고 있다.

이전 모델인 GPT-3.5는 1750억 개의 파라미터와 570GB(기가바이트, 1GB=1024MB) 분량의 텍스트 문서를 학습에 활용했다.

언어모델은 글로벌 빅테크 기업들을 위주로 발전이 진행되었으며, 국내에서도 네이버의 하이퍼클로바(Hyper-Clova), 카카오 브레인의 KoGPT, LG의 엑사원 등 한국어 기반의 초거대 언어모델을 개발하고 있다.

KISTI는 과학기술 분야의 연구를 지원하기 위해 한국어에 특화된 KorSci-BERT, KorSci-ELECTRA를 개발했다. 또 영어에 특화된 SciDeBERTa 모델을 개발해 공개했다. SciDeBERTa 모델은 과학기술분야의 개체명인식 분야에서 전세계 1위를 달성한 모델이다.

이밖에 언어모델을 기반으로 수학문제 해결, 작문, 코딩, 번역, 교육, 창작 등의 서비스를 제공하고 있으며, 익숙한 대화형 인터페이스를 제공하기 위해 다목적 챗봇, 스마트 스피커 등의 형태로 출시되고 있다.

그러나 이러한 언어모델들은 사용자들에게 잘못된 정보를 제공하지 않고 국가별로 상대적인 문화를 이해할 수 있으며 공통적인 윤리를 지킬 수 있도록 개발돼야 한다.

그러면서 어떠한 형태로든 차별이 없도록 개발돼야 하고, 글로벌 AI 경쟁에서 국내의 기술력이 리더십을 가질 수 있도록 전략을 갖춰야 한다.

KISTI는 보고서를 통해 초거대 언어모델을 학습하기 위해선 AI 전문 인력, 초거대 텍스트 데이터, 슈퍼컴퓨터 급의 하드웨어 인프라가 필요하므로 거대 자본의 투입이 불가피하다고 분석했다.

또 국내에서도 해외 AI 모델로부터 독립적이며 차별적인 AI 기술력을 확보하기 위해 연구진들의 협력을 통한 전략을 마련해야 하고, 국가 차원에서의 투자가 이루어져야 할 것이라고 제언했다.

memory4444444@news1.kr