[김대식의 미래 사피엔스] [60] 거대비언어모델(LTM)

일러스트=조선디자인랩·Midjourney

1957년 처음으로 ‘인공지능’이라는 아이디어가 제안되었을 당시 크게 두 가지 문제를 해결하고 싶었다. 우선 세상을 알아보는 기계, 그러니까 물체 인식이 가능한 기계를 만들고 싶었다. 둘째로 인공지능을 통해 사람과 대화가 가능한 기계를 만들고 싶었다.

몇 달만 열심히 노력하면 풀 수 있을 것 같았던 이 두 문제. 하지만 인공지능 역사의 첫 50년은 실패의 반복이었다. ‘터미네이터’ 같은 영화에서는 단골로 등장하는 인공지능은 아이러니하게도 현실에서는 존재하지 않는 기술이었던 것이다.

2012년 캐나다 토론토 대학교 제프리 힌튼 교수 실험실에서 ‘학습 기반 인공지능’(심층학습 또는 딥러닝)이라는 새로운 방법이 제안되면서 물체 인식 문제는 서서히 풀리기 시작한다. 하지만 자연어 처리는 여전히 불가능할 정도로 어려운 문제였다. 시중에 팔리고 있는 ‘인공지능 스피커’들 모두 인간의 말귀를 여전히 알아듣지 못하고 있으니 말이다.

2022년 말 등장한 챗GPT 덕분에 드디어 자연어 처리가 해결되기 시작했고, 인류는 이제 인간과 대화가 가능한 기계가 존재하는 생성형 인공지능 시대에 살고 있다. 생성형 인공지능의 핵심은 ‘거대언어모델’(Large Language Model·LLM)이다. 단어를 쪼갠 ‘토큰’(token)들 사이 조건적 확률 관계를 ‘트랜스포머’라는 알고리즘으로 미리 학습한 덕분에 챗GPT는 사용자가 입력한 문장 다음에 나와야 할 토큰과 단어를 예측할 수 있다.

하지만 LLM이라는 이름 자체에는 오해 여지가 있다. 자연어 처리 문제 해결 과정에서 개발된 방법이기에 ‘거대언어모델’이라는 이름을 사용하지만, 사실 트랜스포머 알고리즘을 사용하면 ‘토큰화’할 수 있는 모든 데이터 학습이 가능해진다. 언어만이 아닌, 이미지, 영상, 소리, 그리고 3차원 단백질 구조까지 학습과 예측이 가능해진다. 생성형 인공지능의 핵심은 사실 ‘거대언어모델’이 아닌 ‘거대비언어모델’(Large Token Model·LTM)이라고 부르는 게 더 정확하다는 말이다.