UNIST, 에이전틱 AI 보안 원천 기술 개발한다…정부 110억원 지원

과기정통부 AI 스타 펠로우십 선정
성대·시큐레이어·S2W·라온데이터 협력
계층 간 안전 공동 설계로 방어 실효성↑

문현곤(오른쪽부터)·위성일·박민경·박새롬·나형호 울산과학기술원(UNIST) 교수. 사진 제공=UNIST

울산과학기술원(UNIST)이 에이전틱 인공지능(AI)를 안전하게 쓸 보안 원천 기술을 개발한다. 연구진은 외부 공격을 받은 AI가 사용자의 정보를 유출하거나 허가 받지 않은 작업을 수행하지 않도록 단계별 방어 장치를 고안한다는 계획이다.

UNIST는 과학기술정보통신부와 정보통신기획평가원(IITP)이 지원하는 2026년도 AI 최고급 신진 연구자 지원 사업 ‘AI 스타 펠로우십’ 학제 연계형 과제에 에이전틱 AI 보안 기술 개발 사업이 선정됐다고 18일 밝혔다. AI 스타 펠로우십은 세계 최고 수준의 AI 연구를 이끌 신진 연구자를 키우기 위해 정부가 지난해 시작한 사업이다.

이번 선정에 따라 UNIST는 성균관대와 컨소시엄을 구성해 2031년 12월까지 5년 6개월 동안 연구를 수행하며 총 110억 원의 정부 지원금을 받게 된다. 연구책임자는 문현곤 UNIST 컴퓨터공학과 교수가 맡는다. 이외 UNIST에서는 위성일·박민경·박새롬·나형호 교수가, 성균관대에서는 박은일·황성재·김형식 교수가 참여한다. AI·보안 전문 기업 시큐레이어, S2W, 라온데이터도 함께한다.

연구팀은 모델·인터페이스·실행 환경의 안전 장치를 함께 설계하는 ‘계층 간 안전 공동 설계’로 에이전틱 AI에 대한 공격을 방어할 계획이다. 외부 공격이 에이전틱 AI가 쓰는 거대 언어 모델(LLM)의 판단을 왜곡하면 실제 실행 단계까지 피해가 번질 수 있는데 위험한 입력을 탐지하거나 실행 환경을 분리하는 등 각 계층에 따로 적용하는 방어 기법만으로는 여러 단계를 거치는 공격을 효과적으로 막기 어렵기 때문이다.

연구팀은 공통 안전 기준과 계층별 역할을 정해 한 계층이 뚫려도 다음 계층에서 공격을 막도로 할 예정이다. 각 계층의 핵심 난제를 해결할 3개의 프로젝트를 추진하고 개발한 기술은 협력 기업의 실제 서비스에서 검증한다.

문 교수는 “에이전틱 AI는 모델 하나만 안전해서는 안 되고 입력이 들어오는 경로와 실행 환경까지 함께 지켜야 한다”며 “이번 사업으로 세 계층을 아우르는 핵심 보안 기술을 개발하고 에이전틱 AI를 안전하게 활용하는 데 기여할 인재를 양성하겠다”고 말했다.

조윤진 기자 jo@sedaily.com