GIST, '데이터 주석 작업' 부담 획기적 경감 기술 개발

AI학과 이규빈 교수, 반지도·능동 학습 결합
기존 방식 보다 46% 수준 줄어

광주과학기술원(GIST·지스트)은 AI학과 이규빈 교수 연구팀이 AI 학습에 필요한 이미지에서 물체의 위치와 영역을 표시해 정답 데이터를 만드는 '데이터 주석 작업'의 부담을 크게 줄일 수 있는 기술을 개발했다고 8일 밝혔다.

GIST AI학과 이규빈 교수 연구팀 단체사진. GIST 제공

이 기술은 AI가 스스로 학습할 수 있는 데이터의 범위를 넓히고, AI가 비교적 확실하게 판단할 수 있는 결과는 자동으로 처리하는 한편 판단이 어려운 결과에 사람의 검토를 집중하는 방식이다. 이를 통해 사람이 모든 데이터를 일일이 확인하고 수정해야 하는 기존 방식보다 적은 시간과 노력으로 AI 학습용 데이터를 구축할 수 있다.

AI가 자율주행이나 수중 탐사 로봇과 같은 실제 환경에서 활용되려면 다양한 상황을 담은 많은 이미지 데이터가 필요하다. 특히 이미지 속 물체를 정확하게 인식하도록 AI를 학습시키려면 사람이 이미지에 직접 '정답'을 표시해 주어야 한다. 이러한 작업을 데이터 주석(data annotation)이라고 한다.

예를 들어 한 장의 도로 사진에 자동차가 여러 대 있다면, 각 자동차가 어디에 있는지를 하나씩 구분해 표시해야 한다. 연구팀이 주목한 '인스턴스 분할(instance segmentation)'은 여기서 한 단계 더 나아가, 이미지 속 각 물체의 영역을 픽셀 단위로 구분해 표시하는 작업이다. 이미지 한 장을 처리하는 데도 상당한 시간과 노력이 필요한 이유다.

이러한 부담을 줄이기 위해 기존에는 '능동학습(active learning)' 방법이 활용돼 왔다. AI가 학습하기에 유용하거나 어려운 이미지를 골라 사람에게 주석을 요청하는 방식이다. 그러나 이 방식은 사람이 이미 주석을 완료한 데이터 중심으로 AI를 학습하기 때문에, 아직 주석되지 않은 많은 이미지가 충분히 활용되지 못하는 한계가 있다.

또한 AI가 스스로 얼마나 정확하게 판단하고 있는지를 나타내는 신뢰도와 실제 정확도가 항상 일치하는 것도 아니다. 특히 데이터에 특정 종류의 물체가 지나치게 많거나 적은 경우에는 이러한 차이가 커질 수 있다.

연구팀은 이러한 한계를 해결하기 위해 '반지도학습(semi-supervised learning)'과 능동학습을 결합하고, AI의 판단 신뢰도를 데이터 특성에 맞게 보정하는 새로운 데이터 주석 시스템을 개발했다. 연구팀이 개발한 방식은 크게 세 단계로 이해할 수 있다.

먼저 사람이 주석하지 않은 이미지까지 AI 학습에 활용한다. 다음으로 AI가 학습하기 어렵거나 새로운 정보를 얻는 데 도움이 되는 이미지를 선별해 사람에게 주석을 요청한다. 마지막으로 AI가 생성한 예측 결과를 신뢰도에 따라 구분해, 신뢰도가 높은 결과는 사람의 확인 없이 자동으로 받아들이고, 판단이 애매한 결과만 사람이 직접 검토하도록 한다.

연구팀이 개발한 AI 학습용 데이터 주석 시스템의 작동 과정. GIST 제공

특히 연구팀은 단순히 AI가 제시하는 신뢰도를 그대로 사용하는 대신, 이미지에 등장하는 물체의 종류와 빈도 등을 고려해 신뢰도를 보정했다. 자주 등장하는 물체와 드물게 등장하는 물체는 AI가 같은 수준의 신뢰도를 보이더라도 실제 정확도가 다를 수 있기 때문이다.

연구팀은 제안한 시스템의 효과를 확인하기 위해 자율주행 연구 등에 활용되는 실제 도로 환경 이미지 데이터세트 '시티스케이프스(Cityscapes)'로 실험을 진행했다. 데이터 주석 경험이 있는 참가자 5명이 150장의 도시 도로 이미지를 대상으로 5회에 걸쳐 주석 작업을 수행했으며 ▲사람이 직접 주석하는 방식 ▲기존 방식(능동학습과 AI 보조 주석을 결합) ▲연구팀이 개발한 방식의 성능을 비교했다. 그 결과 연구팀의 방식을 사용했을 때 사람이 데이터 주석에 들인 시간이 기존 방식보다 46.3%, 직접 주석하는 방식보다 68.4% 줄었다.

동시에 AI의 이미지 인식 성능도 높아졌다. 최종 단계에서 연구팀의 방식은 '마스크 평균정밀도(mask AP)' 30.3을 기록해 기존 방식의 28.5보다 1.8포인트, 직접 주석 방식의 25.8보다 4.5포인트 높은 성능을 보였다.

이규빈 교수는 "AI가 처리할 수 있는 데이터는 AI가 맡도록 하고, 사람은 꼭 판단해야 하는 부분에만 집중할 수 있도록 한 것이 이번 연구의 핵심"이라며 "자율주행이나 수중 탐사 로봇처럼 새로운 환경에 맞는 학습 데이터를 지속적으로 구축해야 하는 분야에서 데이터 구축에 필요한 시간과 부담을 줄이는 데 도움이 될 것으로 기대한다"고 말했다.

AI학과 이규빈 교수가 지도하고 김종원 박사과정생이 제1저자로 참여한 이번 연구는 과학기술정보통신부·정보통신기획평가원(IITP) '사람중심 인공지능 핵심원천기술개발' 사업의 지원을 받았다. 연구 결과는 정보 시스템 분야 국제학술지 'Intelligent Systems with Applications'에 2026년 7월 15일 온라인으로 게재됐다.

호남취재본부 민찬기 기자 coldair@asiae.co.kr