[ET단상] 챗GPT 이후, 언어모델의 가능성

오픈AI가 챗GPT를 대중에 공개한 지 거의 1년이 지났다. 챗GPT로 대변되는 거대언어모델(LLM) 기술의 다양한 가능성과 함께 잠재된 문제점을 해결하기 위한 연구들이 활발하게 진행되고 있다. 하루가 다르게 발전하고 있는 LLM이 어떻게 진화해 왔는지 짚어보고, 앞으로 어떻게 진화해 나갈 것인지 예측해 보자.

LLM이 기존 AI 모델들과 다른 점은 방대한 양의 텍스트 데이터로부터 지식을 학습한다는 것이다. 챗GPT 전신인 GPT-3 모델은 3000억개 단어로 학습됐지만, 최근 공개되는 모델들은 조 단위 단어로 학습되는 것이 일반적이다. 놀랍게도 LLM 성능은 학습 데이터 양이 증가함에 따라 향상되고 있으며, 이러한 추세는 당분간 계속될 것으로 예상된다.

이진식 LG AI연구원 엑사원랩장

기술적 한계도 있다. 사실이 아닌 것을 사실처럼 말하는 환각(Hallucination) 현상이 대표적이다. LLM이 생성하는 답변의 신뢰성을 확보하기 위해서는 기본적으로 신뢰도 높은 데이터를 사용해 학습하는 것이 중요하다. 근거에 기반해 답변을 생성하는 기술과 해당 근거를 관련 자료로부터 찾아내는 검색 기술(RAG)도 주목받고 있다. 최신 정보에 기반해 답변을 생성해야 하는 경우, 본 방법론의 유효성이 잘 드러난다.

AI 모델 크기가 커짐에 따라 데이터 학습 및 운영에 소요되는 비용이 동반 상승하는 것도 문제다. 비용 효율적 모델 운영을 위해 수행하려는 업무에 맞게 최적화해 크기를 줄인 모델을 소규모 거대언어 모델(sLLM)이라고 한다. 최근 공개되는 많은 모델이 sLLM에 해당하며, 이를 활용한 다양한 상용화 시도가 활발하다. 당분간 기존 LLM 대비 sLLM의 비용 효율성이 부각되며 활용처가 지속 늘 것으로 예상된다.

LLM은 많은 일을 할 수 있는 잠재력을 보유하고 있다. 하지만, 사칙연산과 같은 특정 업무를 수행하는 경우는 계산기 같이 해당 업무에 특화된 도구가 더 정확하고 효율성이 높다. 이에 맞춰 최근 연구 추세는 LLM이 주어진 업무 수행에 특정 외부 도구 활용 여부를 판단하고, 실제 업무는 해당 도구를 활용하는 방향으로 전개되고 있다. 특히, LLM이 활용할 수 있는 도구는 어떤 것이든지 될 수 있다. 조만간 우리가 상상할 수 있는 대부분 일은 LLM을 활용한 디지털 비서 또는 AI 에이전트가 쉽게 수행하는 날이 도래할 것이다.

언어 모델 이외에 최근 공개된 오픈AI의 GPT-4 터보를 포함한 최신 모델은 거대 멀티모달 모델(LMM)로서 언어와 시각 정보 등 2가지 이상 정보를 동시에 처리한다. 또, 문서에 포함된 표, 차트, 그림 등을 텍스트와 함께 이해해 더 복잡한 업무를 수행하는 것이 가능하다. 앞으로는 언어와 시각 이외 다른 정보를 함께 다룰 수 있는 기술이 개발돼 궁극적으로 세상에 존재하는 모든 정보를 통합적으로 이해할 수 있게 될 것이다.

LG AI연구원도 국내에서는 처음으로 거대 멀티모달 모델 '엑사원(EXAONE)'을 발표했다. 엑사원을 통해 LMM의 다양한 가능성을 확인하며, 환각 현상을 완화하기 위한 방법론도 연구하고 있다. 미래 AI는 더욱 고도화하여 외부 도구 결합을 통한 업무 수행 능력 증대 및 예측 기술 등과 결합해 다양한 산업 분야에서 활용될 것이다.