카이스트·MS연구소 'AI의 시간 오류 진단' 시스템 공동 개발

시간 데이터베이스 기술 도입, 시간 추론 능력 자동 평가·진단
"의료·법률 등 다양한 분야 AI 성능 검증 기반 될 것" 기대

인공지능의 시간 오류 진단 시스템을 개발한 김소연 카이스트 박사 과정과 진동 왕, 싱시 에 마이크로소프트연구소 연구원, 황의종 카이스트 교수(왼쪽부터). 카이스트 제공

'인공지능(AI)이 발생 순서를 틀리는 등 기억을 더듬는가 하면, 있지도 않은 일을 사실처럼 알려 준다 면?'

카이스트는 황의종 교수(전기및전자공학부) 연구팀이 마이크로소프트연구소와 공동 연구해 시간 데이터베이스 기술로 거대언어모델(LLM)의 시간 추론 능력을 자동으로 평가·진단하는 시스템을 개발했다고 14일 밝혔다.

거대언어모델은 대규모 텍스트 데이터를 학습해 사람의 언어를 이해하고 생성하는 인공지능 모델이며, 시간 데이터기술은 정보의 유효 시기를 기록·관리해 특정 시점의 데이터를 추적·조회 할 수 있다.

황의종 교수 연구팀은 AI가 시시각각 변화하는 현실을 반영하지 못해 다양한 질문을 제대로 이해하지 못하는 한계를 해결하기 위해 시간 데이터베이스 이론을 도입했다.

연구팀은 "데이터를 기반으로 평가 문제가 자동 생성되는 방식으로 전환했더니 사람이 평가용 문제를 일일이 작성하지 않아도 데이터베이스만으로 13가지 유형의 복잡한 시간 기반 문제가 자동 생성되도록 해 유지보수 부담이 획기적으로 줄었다"고 설명했다.

연구팀은 "현실 정보가 바뀔 경우 데이터베이스에 업데이트 하면 평가 문제와 정답, 검증 기준이 자동으로 반영된다. 최신 정보는 외부 데이터나 관리자가 입력해야 하며 데이터가 갱신된 뒤 평가 전반이 자동으로 수행되는 구조"라고 덧붙였다.

이를 통해 연구팀은 겉보기에는 정답처럼 보이지만 시간적 근거가 잘못된 '시간 환각' 현상을 기존 보다 평균 21.7% 더 정확하게 탐지하는 성과를 얻었다. 또 입력 데이터 양도 기존 대비 평균 51% 감소하는 효과가 나타났다고 전했다.

황의종 교수는 "이번 연구는 방대한 전문 데이터를 평가 자원으로 전환함으로써 향후 의료·법률 등 다양한 분야의 인공지능 성능 검증에 실질적인 기반이 될 것"이라고 기대했다.

이 연구는 김소연 카이스트 박사과정이 제1 저자, 마이크로소프트연구소의 진동 왕, 싱 시에 연구원이 공동 저자로 각각 참여했다. 연구 논문(Harnessing Temporal Databases for Systematic Evaluation of Factual Time-Sensitive Question-Answering in Large Language Models)은 이달 열리는 인공지능 분야 최고 권위 학술대회 'ICLR 2026'에서 발표할 예정이다.