기업이 LLM 도입을 위해 준비해야 할 3가지 요소…장동인 KAIST AI대학원 교수 “LLM 구현 위해 전산팀 나서야”

“대규모 언어모델(LLM)은 단순히 질문답변이나 번역, 요약만을 해주는 인공지능(AI)이 아니다. 내부적으로 논리적인 추론을 하는 기능이 있어 컴퓨터 비전이나 자연어처리 등 지금까지 나온 AI와는 전혀 다른 AI이다.”

KAIST AI대학원 장동인 교수

장동인 KAIST AI대학원 교수는 27일 역삼 포스코타워에서 열리는 '기업의 LLM 도입 전략 및 사례' 세미나에 앞서 가진 인터뷰에서 ”LLM은 기존 AI와 다르기 때문에 기업에서 LLM을 도입한다면 사람의 지도하에 매우 많은 일을 대신해줄 수 있을 것”이라고 전망했다.

장동인 교수는 “현재 나와 있는 LLM의 멀티모달 기능은 초기 형태이지만 사람과 같이 보고, 듣고, 읽고 말할 수 있어 인간이 지각하고 논리적인 생각을 하는 것과 매우 유사하다”면서 “사람이 하는 일을 AI에게 시킬 수 있다”고 말했다. LLM의 할루시네이션과 같은 제약이 많이 있지만 이 문제마저도 해결돼 가고 있기에 기업의 LLM 도입은 이제 기업의 디지털 전환을 위한 필수 요소로 자리잡고 있다는 설명이다.

장 교수는 기업이 LLM도입을 위해 준비해야 할 3가지 요소에 대해 강조했다. 첫째, LLM을 도입하면 직원들이 많이 사용할 것이라는 가정을 버려야 한다는 것이다. 따라서 가장 중요한 것은 LLM 도입하기 전에 프롬프트 엔지니어링 태스크포스(Prompt Engineering Task Force)팀을 만들어, LLM을 활용하는 습관과 사례를 많이 만드는 것이 필요하다.

둘째, 사용자 요구사항을 만들어야 한다. 특히 오픈소스 LLM으로 의사결정을 한다면 더욱 더 필요한데, 오픈소스 LLM은 GPT-4와는 다르게 LLM이 해야 하는 분야를 정해주어야 하기 때문이다. 이것이 바로 사용자요구 사항이다.

셋째, 사용자 요구사항이 정해지면 그것을 가지고 구현하는 업체와 상담을 시작해야 한다. 장동인 교수는 절대로 LLM을 구현하는 업체를 먼저 만나서 그들이 우리에게 무엇을 해 줄 수 있는지를 물어보면 안된다고 조언했다. 그는 “LLM 구현 업체의 답은 뻔하기 때문”이라면서 “먼저 사용자요구사항과 그에 해당하는 답변들이 준비가 되어 있어야 LLM 구현하는 업체를 판단할 수도 있고, 진행이 빠르게 된다”고 덧붙였다.

장동인 교수는 “기업에서 AI는 AI 팀이나 디지털전환(DX) 팀만이 하는 것이 아니다”라면서 “데이터라는 것이 모든 부서에 걸쳐서 생산이 되고, 업무가 부서의 벽을 거쳐서 흘러가야 하듯이 데이터에 기반을 둔 AI 부서간 벽이 생기면 활용 불가가 된다”고 조언했다. 그는 이어 “LLM은 AI보다 한걸음 더 나아가서 사내 전산팀이 나서야 한다”면서 “지금까지 사내 전산팀은 AI에 대해서 특히 LLM에 대해서 무관심하다”고 지적했다.

장 교수는 “LLM이 기업환경에 정착하기 위해서는 사내 시스템과 통합을 해야 하고, LLM을 기업내 구현하는 것도 전산팀이 앞장서지 않으면 구현 불가능하다”면서 “이제 전사적인 노력을 해야 AI로 인한 기업의 DX가 이뤄진다”고 말했다.

한편 장동인 KAIST AI대학원 교수는 27일 '기업용 LLM 도입 전략 및 사례 세미나'에서 기업의 LLM 도입전략 전반에 대해 설명할 예정이다. 이밖에도 sLLM에 대한 이슈, 야놀자와 무신사 등 기업의 LLM 도입 사례가 발표되는 이번 행사에 대한 자세한 정보는 세미나 홈페이지 (https://conference.etnews.com/conf_info.html?uid=279)를 통해 확인할 수 있다.

전자신문인터넷 유은정 기자 judy6956@etnews.com