양자컴 활용해 ‘AI 학습 비용’ 5분의 1로 줄였다

울산과기원, 강인한 강화학습에 양자컴 ‘중첩’ 원리 적용
새 학습기법 ‘QRIM’ 개발… 1만번 계산을 1백번으로 줄여

챗GPT가 그린 일러스트.

양자컴퓨터를 활용해 인공지능(AI) 학습 비용을 최대 5분의 1 수준으로 줄일 수 있는 기술이 개발됐다.

울산과학기술원(UNIST)은 윤성환 인공지능대학원 교수 연구팀이 김중헌 고려대 전기전자공학부 교수 연구팀과 함께 양자 알고리즘으로 '강인한 강화학습'의 계산 비용을 획기적으로 줄이는 AI 학습 기법 'QRIM'을 개발했다고 6일 밝혔다. AI 학습 방법 중 하나인 강화학습은 AI가 시행착오를 거치며 스스로 행동 전략을 찾아간다는 점에서 인간 학습 방식과 유사하다. 하지만 실제 환경이 학습한 상황과 조금만 달라져도 성능이 급격히 떨어지는 한계가 있다.

가령, 맑은 날의 도로만 학습한 자율주행차는 비나 눈이 내려 노면이 미끄러워지면 제대로 대응하지 못한다.

이를 보완하는 것이 '강인한 강화학습'이다. 학습 과정에서 발생할 수 있는 최악의 상황을 미리 찾아내고, AI가 이를 대비해 훈련시키는 방식이다.

문제는 이런 최악의 상황에 대한 모든 경우의 수를 하나씩 확인해야 하는데, 환경 변화 가능성이 많아질수록 계산 비용이 폭증한다는 점이다. 이 때문에 강인한 강화학습을 실제 현장에 적용하는 데 걸림돌이 되고 있다.연구팀은 강인한 강화학습의 병목을 유발하는 '최악의 환경 탐색'을 양자컴퓨터의 중첩 원리를 적용해 해결했다. 여러 상태를 동시에 표현할 수 있는 중첩 특성을 통해 다수의 후보 환경을 한꺼번에 계산해 빠르게 결과를 도출하도록 구현한 것이다.

예를 들어 1만 개의 시나리오를 검토한다고 가정했을 때 기존에는 1만 번 계산해야 하지만, QRIM은 100번의 계산만으로 같은 결과를 얻을 수 있다.

실제 실험에서 QRIM은 기존 방식 대비 약 20∼30% 수준의 계산량만으로 학습을 수행했다.

또 IBM의 127큐비트 양자컴퓨터에서 QRIM을 작동시켜 검증한 결과, 정상 작동했고 양자 하드웨어 잡음이 존재하는 환경에서도 안정적인 학습 성능을 보였다.

제1 저자인 이현규 박사는 "기존 강화학습 알고리즘은 그대로 두고 상황 탐색 부분만 양자 모듈로 교체하면 다양한 강화학습 분야에 폭넓게 적용할 수 있을 것"이라고 말했다.

윤 교수는 "양자컴퓨팅이 기존 AI의 한계를 어떻게 보완할 수 있는지를 구체적으로 보여준 사례"라며 "환경 변화에 대한 적응이 필수적인 로보틱스, 자율주행 등에 활용할 수 있을 것"이라고 기대했다.

연구 결과는 오는 11일부터 서울 코엑스에서 열리는 세계 3대 AI 학회인 국제머신러닝학회(ICML) 2026에 정식 논문으로 채택됐다.

이준기 기자 bongchu@dt.co.kr