단국대 최종무 교수팀,AI 활용해 빅데이터 처리 지연 최대 50배 개선

데이터베이스 분야 세계적 학술대회 ‘VLDB 2026’ 정규논문 2편 게재…학습형 인덱스·강화학습 활용해 대규모 데이터 검색·처리 성능 향상

왼쪽부터 최종무 교수, 유시환 교수(모바일시스템공학과), 대학원 인공지능융합학과 신호진 및 GuangxunZhao 박사과정

AI와 클라우드 서비스의 확산으로 처리해야 할 데이터가 급증하면서 데이터베이스의 처리 속도가 떨어지는 이른바 '데이터 병목' 문제가 중요해지고 있는 가운데 단국대 최종무 교수(소프트웨어학과) 연구팀이 데이터 병목을 인공지능(AI)이 미리 감지하고 스스로 조절하도록 해 대용량 데이터의 검색 효율을 높이고 처리 지연을 크게 줄이는 기술을 개발했다.

 연구 성과는 데이터베이스·데이터 관리 분야의 세계적 국제학술대회인 「VLDB(Very Large Data Bases) 2026」에 정규논문 2편으로 게재됐다.

 연구팀이 개발한 기술은 AI를 활용해 대규모 데이터 환경에서 발생하는 '검색 효율 저하'와 '쓰기 지연'이라는 두 가지 문제를 개선한 것이 핵심이다. AI가 데이터의 분포를 학습해 필요한 데이터를 보다 효율적으로 찾아내고, 데이터 처리량이 급증할 때는 시스템 상태를 분석해 지연이 발생하기 전에 처리량을 선제적으로 조절하는 방식이다.

 연구팀은 논문 「Rethinking Learned Index and LSM-tree Integration」에서 머신러닝 기반의 '학습형 인덱스(Learned Index)'를 활용해 데이터 검색 효율을 높였다.

 기존 데이터베이스가 정해진 자료구조를 이용해 데이터 위치를 찾는 것과 달리, 학습형 인덱스는 AI가 데이터의 분포와 위치 특성을 학습해 필요한 데이터의 위치를 예측하고 효율적으로 검색하는 방식이다.

 연구팀은 이를 대용량 데이터를 저장·관리하는 'Key-Value Store'에 적용해 검색 과정에 필요한 연산과 메모리 사용량을 크게 줄였다. 또한 데이터 특성에 따라 학습형 인덱스의 핵심 설정값과 저장 단위 크기를 유연하게 조절해 데이터 읽기와 쓰기 성능을 동시에 향상시켰다.

 두 번째 논문 「How Much Can RocksDB Chew? Achieving Near-Zero Write Stalls with Sustainable RocksDB」에서는 글로벌 IT 기업들이 대규모 데이터 관리에 활용하는 'RocksDB'의 쓰기 지연 문제를 개선했다. 대규모 데이터베이스는 데이터가 지속적으로 쌓이면 내부 데이터를 정리하고 재배치하는 작업이 증가하며 '쓰기 지연(Write Stall)' 현상이 발생할 수 있다.

 연구팀이 개발한 'S-RocksDB(Sustainable RocksDB)'는 강화 학습을 활용해 AI가 데이터베이스 내부 상태를 학습하고, 지연 발생 전에 데이터 처리량을 선제적으로 조절하도록 했다.

 실험 결과 기존 RocksDB에서는 1분 동안 최대 약 50초에 달했던 쓰기 지연이 S-RocksDB에서는 1초 이내로 줄었다. 쓰기 지연 시간을 최대 50배가량 개선한 것으로, 대규모 클라우드 서비스와 AI·빅데이터 플랫폼 등에서 활용 가능성이 높을 것으로 기대된다.

 용인=김형운 기자 hwkim@kihoilbo.co.kr