숭실대 권민혜 교수팀, 심층강화학습 기반 자율주행 및 안정성 평가 기술 개발

숭실대 권민혜 교수팀, 심층강화학습 기반 자율주행 및 안정성평가 기술 개발.<숭실대 제공>

숭실대학교(총장 장범식) 전자정보공학부 권민혜 교수 연구팀이 심층 강화학습 기반의 자율주행 및 안정성 평가 기술을 개발했다고 1일 밝혔다.

자율주행연구가 가속화됨에 따라 인간 주행 차량과 자율주행 차량이 공존하는 도로에서의 자율주행 차량의 안정적인 주행을 위한 연구가 활발히 진행되고 있다. 하지만 인간 주행 차량이 자율주행 차량과 혼재된 환경에서 자율주행 차량의 의사결정에 따른 안정성 평가 기술에 대한 연구는 아직 부족하다. 특히 지역적·시간적 특성에 따라 인간 주행 차량 행동의 불확실성 정도는 매우 다양한데, 다양한 도로 환경에서 자율주행 차량의 안정성 평가는 자율주행차 상용화를 위해 필수적으로 선행돼야 한다.

권 교수팀이 제안한 심층강화학습 방식은 기존의 방식과 달리 개별 차량의 부분 관측 정보만을 이용하는 부분관찰 마르코프 의사결정 모델(partially observable Markov decision process model)을 기반으로 학습이 이뤄진다. 이는 실제 도로에서 자율주행 차량이 도로 전체가 아닌 주변의 정보만 얻을 수 있다는 점을 반영한 것으로, 해당 기술의 시장 활용 가능성이 매우 크다. 또한 안정성 평가를 위해 필수적인 도로를 구성하는 일반 차량의 주행 정책을 미국 LA에서 수집된 실제 주행 데이터셋을 이용해 모방 학습(imitation learning) 방식으로 학습하였다는 점에서 기존 연구들보다 현실적이라고 할 수 있다.

이와 함께 권 교수팀이 제안한 안정성 평가는 자율주행 차량의 주행 안정성과 함께 자율주행 차량이 도로에 투입되었을 때 전체 교통 트래픽의 안정성을 평가하기 때문에 미시적·거시적인 부분의 안정성을 모두 평가할 수 있다. 연구팀은 일반 차량의 주행 불안정성이 증가함에 따라 자율주행 차량 및 도로 전체의 불안정성이 어떻게 변화하는지에 대해 이론적 및 실험적으로 분석했다. 또한, 학습된 자율주행 차량의 경우 제안된 심층강화학습 기반 자율주행 기술이 기존의 제어 이론 기반 자율주행 차량과 비교하여 불안정한 도로 환경에 잘 대응하는 안정적인 주행을 하는 것을 확인했다.

본 연구를 진행한 이동수 석사과정은 "자율주행과 같은 미션 크리티컬(mission-critical) 기술의 경우 개발 과정에서 안정성 분석이 선행되어야만 하는 필수불가결한 요소인데, 관련 기술개발에 기여했다는 점에서 의미가 있다"라고 소감을 밝혔다.

한편 본 기술은 숭실대 이동수 석사과정생이 제1 저자, 권민혜 교수가 교신저자로 SCIE급 저널 <IEEE Transactions on Vehicular Technology>에 'Stability Analysis in Mixed-autonomous Traffic with Reinforcement Learning'이라는 제목으로 10월 19일 게재됐다. <IEEE Transactions on Vehicular Technology>는 1967년부터 발행되어 온 상위 10%대의 최상위 저널이다. 김성준기자 illust76@dt.co.kr