글·사진 단서 엮어 추리하는 AI…고려대, 추론 능력 높이는 학습기술 개발[과학을읽다]

텍스트·이미지 넘나드는 연쇄 추론 성능 최대 2배 향상
과학논문 분석·AI 비서 등 활용 기대…CVPR 2026 발표

생성형 인공지능(AI)이 사람처럼 글과 사진 속 단서를 연결해 단계적으로 추론하는 기술이 국내 연구진에 의해 개발됐다. 단순히 문장이나 이미지를 각각 이해하는 수준을 넘어 여러 정보를 종합해 결론을 도출하는 능력을 크게 높여 과학 논문 분석과 AI 비서, 복합 문서 검색 등에 활용될 것으로 기대된다.

고려대는 서홍석 컴퓨터학과 교수 연구팀이 텍스트와 이미지를 함께 활용하는 AI의 연쇄 추론 능력을 향상시키는 학습·평가 체계 'CRIT(Cross-modal Multi-hop Reasoning over Interleaved Image-Text)'를 개발했다고 6일 밝혔다.

연구 논문 이미지. 텍스트와 이미지에 흩어진 단서를 단계적으로 연결해 정답을 도출하는 과정을 보여주는 이미지. 노트북의 색상을 묻는 예시를 통해 교차모달 멀티홉 추론 구조와 근거 기반 답변 생성을 설명한다. 연구팀 제공

기존 AI는 글이나 이미지를 각각 이해하는 데는 뛰어나지만 서로 다른 형태의 정보를 연결해 여러 단계를 거쳐 추론하는 문제에서는 한계를 보여 왔다. 일부 평가 방식도 특정 정보만으로 정답을 맞힐 수 있어 실제 추론 능력을 제대로 검증하지 못한다는 지적이 있었다.

텍스트·이미지 함께 이해…복합 추론 능력 강화

연구팀은 이러한 문제를 해결하기 위해 텍스트와 이미지를 함께 활용해야만 답을 찾을 수 있는 문제를 자동으로 생성하는 CRIT를 개발했다. 자연 이미지와 영상, 과학논문 등 다양한 자료에서 글과 시각 정보를 함께 분석하고 여러 단계를 거쳐 결론에 도달하도록 설계한 것이 특징이다.

특히 내용 속 개체와 속성, 개체 간 관계를 그래프 형태로 구조화한 뒤 이를 기반으로 질문과 정답을 생성하는 방식을 적용해 문제의 일관성과 신뢰성을 높였다. 이를 통해 AI가 실제로 여러 정보를 통합해 단계적으로 추론하는지를 보다 정밀하게 평가할 수 있도록 했다.

연구팀이 CRIT를 활용해 AI를 학습시킨 결과 일상 영상과 이미지 분석은 물론 과학 논문과 도표 해석 등 다양한 분야에서 추론 성능이 기존보다 최대 두 배 향상됐다. 연구진은 최신 AI 모델도 복합 추론 과제에서는 전반적으로 낮은 성능을 보인다는 점을 고려하면 의미 있는 결과라고 설명했다.

연구팀 사진. (왼쪽부터) 서홍석 고려대 컴퓨터학과 교수(교신저자), 성준영(4학년, 제1저자), 김민준(4학년, 공저자), 유승우(4학년, 공저자), 안수민 석박통합과정(공저자). 고려대 제공

또 CRIT로 학습한 모델은 특정 데이터셋에만 최적화되는 것이 아니라 다양한 환경에서 복합 정보 이해와 추론 능력이 전반적으로 향상되는 것으로 나타났다.

연구팀은 이번 기술이 과학 문헌 분석과 교육 콘텐츠 이해, 복합 문서 검색, 시각·언어 기반 AI 비서 등 다양한 분야에서 활용될 수 있을 것으로 기대했다.

이번 연구는 AI 분야 최고 권위 국제학술대회인 'CVPR 2026'에서 발표됐으며, 학부생들이 제1저자와 공저자로 참여해 의미를 더했다.

김종화 기자 justin@asiae.co.kr