"AI 건망증 잡았다"…멀티모달 AI 지식 유지 기술 개발
새 정보 학습해도 기존 지식 유지…정확도 2배
외부 메모리 분리 저장 구조…산업 적용 가능성
AI에게 "사진 속에 보이는 디저트는 두바이 쫀득 쿠키"라는 시각 정보와 "두쫀쿠는 한국에서 인기가 많다"라는 언어 정보를 차례로 학습시킨 뒤 "이 디저트는 어느 나라에서 인기가 많은가?"라고 질문하면 기존 AI 모델은 사진 속 디저트를 잘못 인식해 "사진에 보이는 이미지는 초콜릿 트러플로 유럽에서 인기가 많습니다"와 같은 부정확한 답변을 내놓는 환각 현상이 종종 발생합니다.
이런 멀티모달 인공지능(AI)의 고질적 한계였던 '기억 상실' 문제를 기술적으로 해결할 수 있는 길이 열렸습니다. AI가 새로운 정보를 학습할 때 기존 지식을 잃어버리는 현상을 줄이고 복합 질문에도 안정적으로 답하는 구조가 제시됐습니다.
한국전자통신연구원(ETRI) 언어지능연구실 임수종 실장 연구팀이 포항공대, 성균관대와 공동으로 개발한 ‘연속·복합 지식 편집 기술(MemEIC)’이 세계적 권위의 인공지능 학술대회 NeurIPS 2025에 채택됐습니다.
멀티모달 AI는 이미지와 텍스트를 동시에 이해하는 능력을 갖췄지만 새로운 지식을 입력하면 기존 정보를 잊어버리는 '치명적 망각' 현상이 반복돼 왔습니다. 특히 시각 정보와 언어 정보를 함께 수정할 경우, 두 지식이 뒤섞이면서 엉뚱한 답을 내놓는 오류가 자주 발생했습니다.
연구팀은 기존 접근법 자체를 바꿨습니다. 지금까지는 AI 내부 파라미터를 직접 수정하는 일종의 뇌수술식 접근 방식이 주류였지만, 이 과정에서 기존 지식까지 훼손되는 문제가 있었습니다.
대신 새로운 정보를 외부 메모리에 저장하는 구조를 도입했습니다. 필요할 때만 불러와 사용하는 방식으로, 기존 모델은 그대로 두면서도 지식을 유연하게 추가할 수 있도록 설계했습니다.
MemEIC은 사람의 뇌 구조에서 영감을 얻어 설계됐습니다. 사람의 뇌가 좌뇌와 우뇌로 나뉘어 서로 다른 역할을 하듯이 AI도 지식을 나누어 저장하도록 만든 것입니다.
구조도 분리했습니다. 시각 정보는 '시각 어댑터'에, 언어 정보는 '언어 어댑터'에 각각 따로 저장하고, 복합 질문이 들어오면 '지식 커넥터'가 두 정보를 연결해 답을 생성합니다. 서로 다른 지식이 간섭하지 않도록 설계된 것입니다.
실험 결과도 뚜렷했습니다. 연구팀이 구축한 복합 지식 편집 평가에서 MemEIC은 약 70%의 정확도를 기록했습니다. 기존 기술이 36~52% 수준에 머물렀던 것과 비교하면 성능이 크게 개선된 수치입니다.
또 새로운 정보를 추가한 이후에도 기존 질문에 대한 답이 변하지 않는 ‘지역성 유지’ 특성도 확인됐습니다. 단순히 잘 맞히는 것을 넘어 응답의 일관성까지 확보했다는 의미입니다.
이번 연구는 단순한 성능 개선을 지나 AI를 실제 서비스 환경에 적용하는 데 필요한 조건을 갖췄다는 점에서 의미가 큽니다. 정책·법령, 제품 정보처럼 지속적으로 업데이트가 필요한 분야에서는 ‘기억 유지’와 ‘정확성’이 동시에 요구되기 때문입니다.
김건교 취재 기자 | kkkim@tjb.co.kr
Copyright © TJB