[해킹 뉴노멀-6] 임종인 교수 “에이전트는 위험한 ‘직원’... 제로트러스트 ‘헌법’ 수호 AI 필요”

“인지형 제로트러스트 갖춘 ‘컨스티튜셔널 AI’ 체계로”
“AI 개발 속도 조절? 中 공격적 행보 보라”
“미토스 등 프론티어 AI 접근권, 산업별 창구 필요”

"AI 통제 불능 위험이 커지고 있지만 AI 패권 경쟁 속 개발 속도 조정론도 현실적 대안은 아닙니다. 반도체 같은 한국 기업의 협상 무기를 십분 활용해 프론티어 AI 모델과 손잡고, 독자 모델도 병행해야 합니다. AI의 인지력으로 '동적' 제로트러스트를 헌법처럼 집행하는 '컨스티튜셔널(condtitutional) AI'가 필요합니다."

임종인 고려대 정보보호대학원 명예교수의 진단이다. 대통령비서실 안보특별보좌관과 사이버특별보좌관을 지낸 그는 현재 숭실대 AI위원회 위원장을 맡고있다. 최근 보안 분야가 AI로 인해 고조되는 사이버 위협과 AI 통제 문제로 뒤덮이는 가운데, 임 교수에게 견해를 구했다.

임 교수는 AI 분야 글로벌 산·학·연 동향 파악의 일환으로 라스베이거스에서 열리는 글로벌 AI 컨퍼런스 'Ai4'에 매년 참석해왔다. 올해도 'Ai4 2026'에서 제프리 힌튼, 페이페이 리, 앤드류 응 등 AI 거목들의 생각을 들어 본 임 교수를 현장에서 만났다.  

​▲라스베이거스 Ai4 2026 현장에서 만난 임종인 교수 [출처: 보안뉴스]

에이전트는 내부통제 문제… "컨스티튜셔널 제로트러스트 AI 필요"

이달 초 열린 'Ai4 2026'에 모인 글로벌 AI 석학들 사이에서도 'AI 통제'가 화제의 중심에 섰다. 최근 오픈AI의 최신 모델 'GPT-5.6'이 테스트 과정에서 스스로 샌드박스를 뚫고 오픈소스 AI 공유 플랫폼 '허깅페이스'를 해킹한 사례 등이 밝혀지면서, 통제를 벗어난 AI는 심각한 문제로 불거지고 있다.

임종인 교수는 "통제가 풀린 AI는 국가 인프라망 장애 등으로 이어져 국가 안보를 위협한다"며 "특히 조직 내 과도한 권한을 가진 AI 에이전트는 수많은 API와 연결돼 한 기업에 연결된 모든 공급망을 연쇄적으로 무너뜨릴 수 있다"고 지적했다.

임 교수는 AI 에이전트로 인한 보안 위협에 대해 "내부직원 통제와 같은 문제"라며 "인간 세상에서 헌법 체계가 가동되듯 '컨스티튜셔널 제로트러스트'(Constitutional zero trust)를 수행하는 AI가 필요하다"고 말했다.

'컨스티튜셔널 AI'는 앤트로픽이 제시한 개념으로, AI에게 마치 헌법처럼 명확한 원칙을 부여해 원칙에 어긋난 부분은 스스로 안전하고 바람직한 방향으로 수정하도록 하는 것이다. AI에게 헌법을 수호하는 심판과 같은 역할을 내리는 셈이다. 여기에 '인지형(Cognitive) 제로트러스트' 아키텍처가 결합된 체계로의 전환이 필요하다는 것이다. 사전에 정의된 규칙에 기반해 접근 통제를 하는 정적인 제로트러스트를 넘어, 인지컴퓨팅을 접목해 AI가 트래픽이나 이용자 패턴을 학습하고 위험을 실시간으로 예측해 보안 정책 등을 조절하는 아키텍처를 말한다.

임 교수는 "AI 에이전트에 대한 '내부통제'는 컨스티튜셔널 AI에 '코그니티브 제로트러스트' 아키텍쳐를 더해, AI가 AI를 감시하도록 해야한다"며 "가령 AI 에이전트가 API를 불러올 때 이상 행위를 하는지 감시하고, 원칙에 어긋나는 행위를 하는 에이전트의 계정 권한을 취소하는 등의 역할을 할 수 있게 해야 한다"고 설명했다.

▲임종인 교수가 라스베이거스에서 열린 Ai4 2026 현장을 둘러보고 있다. [출처: 보안뉴스]

中 공격적 '증류'로 거침없이 성장… "속도 조절? 과연"

임 교수는 "스스로 진화하는 AI가 가드레일을 우회하는 것을 넘어 종국엔 '킬스위치'를 무력화 할가능성까지 우려해야 한다"고 운을 띄웠다. 심지어 세계적 석학들에게도 AI 통제 불능 문제만큼은 "답이 없다"는 게 임 교수의 결론이다.

일례로 'AI의 아버지'라 불리는 제프리 힌튼은 AI의 위험성에 대한 우려를 드러내며 AI에 대한 정부 차원의 강력한 규제가 필요하다고 강조해왔다. 일각에선 AI 개발 속도를 늦춰야 한다는 주장도 나온다.

이번 Ai4 2026에서도 제프리 힌튼은 오픈웨이트 모델의 가중치 공개를 반대하는 입장을 밝혔고, 석학들 사이에선 이에 대한 찬반이 팽팽했다. 오픈웨이트는 가중치 파일을 공개하는 AI 모델이다. 가중치는 이미 학습된 상태의 AI의 머릿속인 셈이다. 이를 공개해 파일로 내려받을 수 있다면 사이버 공격 등에 악용될 우려가 있다는 힌튼의 주장과 독점 방지와 혁신을 위해 필요하다는 앤드류 응의 주장이 맞섰다.

임 교수는 "AI로 인한 사이버 공격과 AI 통제 문제가 심각하게 불거지면서 개발 속도를 조정하자는 주장이 나오고, 힌튼 같은 석학도 강력한 규제를 강조하지만, 국가 간 패권 경쟁 속에서 현실적 대안일지 의문"이라고 밝혔다. 그는 특히 중국의 공격적인 행보를 지목했다.

임 교수는 "중국이 '문샷AI' 등을 앞세우며 두드러진 속도로 독자적 AI 생태계를 구축하고 공격적 행보를 보이는 마당에 치열한 AI 패권 경쟁 중인 국가들이 속도 조정으로 뒤쳐지고 싶겠는가"라고 말했다.

실제로 미국 주요 AI 기업들은 중국 AI 기업들이 수만개 계정으로 자국 프론티어 AI 모델들에 공격적으로 '증류'(Distilation)를 시도하고 있다며 날을 세우고 있다. 증류는 다른 고성능 AI로부터 얻어낸 답변 데이터를 활용해 적은 자원으로 고유 AI 모델 개발에 활용하거나 성능을 높이는 기법이다.

이미 프론티어 AI 모델들을 갖춘 미국의 오픈AI, 앤트로픽도 표면적으로는 "AI 안전 확보를 위해 개발 속도를 늦춰야할 때"라고 말하고 있다. 하지만 이 같은 메시지 역시 보안 우려를 내세운 마케팅의 일환으로 해석되기도 한다.

'반도체' 협상 무기됐듯… "프론티어 AI 접근권 '산업별' 창구 필요"

그는 "만일 특정 국가나 기업들이 저작권도 무시하고 글로벌 프론티어 AI 모델에 대한 공격적 증류를 통해 빠른 속도로 경쟁력을 키워간다면, 국제 규제를 엄격히 지키는 국가들만 오히려 손해를 볼 우려가 있다"며 "우리나라는 글로벌 규제를 준수해 높은 신뢰 관계를 구축하되, 민간 기업의 경쟁력을 최대한 협상력으로 활용해 글로벌 프론티어 AI 모델과의 긴밀한 파트너십을 구축해야 한다"고 했다.

가령 앤트로픽의 '미토스' 같은 프론티어 AI 모델과 비교해, 국내 AI 생태계는 그 격차를 단숨에 좁히는 것은 비현실적이라는 게 그의 지적이다. 이를 위해 국내 기업들의 무기를 활용해 미토스 접근권한을 산업별로 확보하는 노력 등이 필요하다는 것이다.

임 교수는 "AI 가동에 반도체가 반드시 필요하므로 반도체 기업들은 접근권한 확보를 위한 협상력이 될 무기가 있다"며 "이처럼 미토스 같은 글로벌 프론티어 AI에 접근권한을 확보할 창구들을 '산업별'로 마련해야 한다"고 말했다.

그는 "팔로알토 같은 글로벌 보안 기업은 미토스를 활용하는데, 국내 보안 기업은 접근권한이 없다"며 "AI를 AI로 막아야 하는 시대에서 격차가 벌어질 수 밖에 없다"고 지적했다.

임 교수는 "프론티어 AI를 활용해 경쟁력 격차를 줄이되, 우리만의 독자적인 모델도 개발하는 하이브리드 전략으로 가야한다"고 강조했다.

하루가 멀다하고 줄줄이 터지는 사고, 이제는 해킹이 일상화된 '해킹 뉴노멀'이다. 기업도 정부도 언제 누가 타깃이 될지 모른다. <보안뉴스>는 이제 해킹을 '뉴노멀'로 받아들이고 바뀐 시대에 맞는 보안 패러다임을 이끌어갈 리더들을 차례로 만나보는 인터뷰 시리즈 '해킹 뉴노멀'을 연재한다. [편집자주]