엉뚱한 옛 정보 답하는 AI…KAIST, 시간 오류 잡는 평가기술 개발

최신 정보를 제대로 반영하지 못하는 거대언어모델(LLM)의 시간 오류를 잡아내는 평가 기술을 국내 연구진이 개발했습니다.

KAIST는 전기및전자공학부 황의종 교수 연구팀이 마이크로소프트연구소와 시간 데이터베이스 기술을 활용해 LLM의 시간 추론 능력을 자동으로 평가·진단하는 시스템을 개발했다고 오늘(14일) 밝혔습니다.

기존에는 LLM이 지난달 취임한 장관이 누구냐는 질문에 이전 장관 이름을 답하는 등 최신 정보를 반영하지 못하는 문제가 있었습니다.

이를 해결하기 위해 연구팀은 시간 데이터베이스 설계 이론을 토대로 날짜와 기간이 얽힌 복잡한 문제를 사람이 직접 만들지 않아도 자동으로 생성하도록 했습니다.

시간 데이터베이스는 현재 상태만 저장하는 일반 데이터베이스와 달리, 특정 시점의 데이터를 추적·조회할 수 있어 시간에 따라 변하는 정보를 반영한 데이터베이스입니다.

정보가 변경됐을 때 데이터베이스만 업데이트하면 문제와 정답, 검증 기준도 함께 자동으로 바뀝니다.

또, 답만 맞는지 보는 데 그치지 않고 답변에 들어간 날짜와 기간의 흐름이 논리적으로 맞는지도 함께 따집니다.

이 방식으로 겉보기엔 맞아 보여도 시간상 근거가 틀린 '시간 환각'을 기존보다 평균 21.7% 더 정확하게 찾아냈다고 KAIST는 설명했습니다.

연구팀은 평가에 필요한 입력 데이터도 평균 51% 줄어들어 유지 비용도 낮출 수 있다고 밝혔습니다.

이번 연구 결과는 이번달 열리는 인공지능 분야 국제학술대회 'ICLR 2026'에서 발표될 예정입니다.

[사진 출처 : 연합뉴스 / KAIST 제공]

■ 제보하기
▷ 전화 : 02-781-1234, 4444
▷ 이메일 : kbs1234@kbs.co.kr
▷ 카카오톡 : 'KBS제보' 검색, 채널 추가
▷ 유튜브, 네이버에서도 KBS뉴스를 구독해주세요!

전동흔 기자 (east@kbs.co.kr)