GIST, 자율주행차 인식 오류 해결 알고리즘 개발…“AI 안전성 개선 기대”

의미론적 계층 구조 기반 적대적 공격 기법 개요.

광주과학기술원(GIST·총장 임기철)은 김승준 AI융합학과 교수팀이 자율주행차에 활용되는 시각 인식 시스템의 보안 취약점을 진단할 수 있는 새로운 '적대적 공격' 알고리즘을 개발했다고 1일 밝혔다.

자율주행차는 도로 위 보행자, 차량, 차선, 신호등 등 다양한 객체를 실시간으로 정확하게 인식해야 안전하게 주행할 수 있다. 이를 가능하게 하는 핵심 기술이 바로 의미 분할 모델이다.

적대적 공격은 A딥러닝 기반 모델이 잘못된 판단을 내리도록 의도적으로 입력 데이터를 교묘히 조작하는 기법을 말한다. 전혀 다른 사물로 잘못 인식할 수 있어 보안 및 신뢰성 측면에서 큰 위협이 된다. 자율주행차가 도로 상황을 인식할 때 차선·보행자·차량·신호등 등 각각의 객체를 픽셀 단위로 정확히 구분해 안전한 주행을 가능케 하는 기술이 의미 분할 모델이다.

연구팀은 의미 분할 모델의 구조적 특성에 주목해 기존의 공격 방식보다 훨씬 정밀하게 취약점을 드러낼 수 있는 새로운 공격 기법을 고안했다. 보행자·차선·신호등처럼 서로 다른 객체들이 계층적으로 구분되는 구조를 반영해 실제 주행 상황에서 더 위협적인 오류 시나리오를 구현했다.

실험 결과, 새로 개발한 기법은 주·야간 주행 환경에서 자율주행차의 시각 인식 모델을 기존보다 3.4배 이상 교란시키는 등 월등히 높은 공격 성공률을 보였다. 신호등·보행자·차선 등 핵심 객체의 인식률을 95.3%에서 3.23%로 급감시켜 의미 분할 모델의 취약성을 실증했다.

김승준 AI융합학과 교수(오른쪽)와 김광빈 박사과정생.

이번 연구는 단순히 강력한 공격 기법을 제시한 데 그치지 않고, 모델이 특히 취약한 의미 단위 계층을 규명했다는 점에서 의미가 크다. 향후 더 안전하고 신뢰성 높은 자율주행 인식 시스템을 설계하는 데 중요한 기초 자료로 활용될 수 있다. 자율주행 분야를 넘어 지능형 교통 시스템(ITS), 스마트시티 보안, 로봇, 국방 등 다양한 AI 응용 분야의 안전성을 높이는 데 기여할 것으로 기대하고 있다.

김승준 교수는 “이번 연구는 자율주행차의 시각 인식 시스템이 가진 근본적인 취약점을 체계적으로 분석할 수 있는 도구를 제공한다”며, “이론적으로 가장 취약한 시나리오를 사전에 분석·진단하여 더욱 견고한 방어 전략을 수립하고, 궁극적으로 자율주행차의 안전성과 신뢰성을 크게 향상시킬 수 있을 것”이라고 말했다.

김영준 기자 kyj85@etnews.com