비드래프트, 공개 AI 모델서 인과 누설 확인… 보안 AI 사업 참여 추진

엔비디아 Nemotron-H·자이프라 Zamba2에서 인과 결함 실증
순전파 2회로 결함 층 특정, 192건 전부 탐지

비드래프트 제공

자기회귀 AI 모델이 원칙적으로 볼 수 없어야 할 미래 토큰의 정보를 앞선 계산에 사용하는 현상, 이른바 ‘인과 누설(Causal Leakage)’이 실제 공개 AI 모델에서 확인됐다. AI 딥테크 기업 비드래프트(VIDRAFT, 대표 김민식)가 지난 24일 arXiv에 공개한 논문 ‘The Mask Is Not the Model: Auditing Prefix Invariance in Attention, State-Space, and Hybrid Sequence Models’를 통해서다. 연구진이 새로 제시한 진단 방법을 엔비디아(NVIDIA)의 Nemotron-H-8B와 자이프라(Zyphra)의 Zamba2-1.2B에 적용한 결과, 두 모델의 PyTorch 실행 경로에서 인과 누설 현상이 발견됐다.

기존 AI 안전성 검사는 주로 어텐션의 causal mask가 정상인지를 확인하는 데 의존해왔다. 하지만 최근 모델은 어텐션뿐 아니라 상태공간모델(SSM), 순환연산, 합성곱, 청크 스캔 등을 결합한 하이브리드 구조로 진화하면서, 마스크가 정상이어도 다른 계산 경로를 통해 미래 정보가 유입될 여지가 생겼다는 게 연구진의 문제의식이다.

새 진단법은 마지막 위치만 다른 두 입력을 각각 한 번씩 순전파한 뒤, 각 층의 앞부분 내부 표현이 변하는지를 비교하는 방식으로 작동한다. 정상적인 자기회귀 모델이라면 미래 위치를 바꿔도 이전 위치의 표현은 변하지 않아야 하며, 학습이나 그래디언트 계산 없이 순전파 두 번만으로 인과성이 최초로 깨지는 층을 특정할 수 있다. 다양한 유형의 인과 결함 192건을 인위적으로 주입한 실험에서 기존 마스크 점검은 이를 탐지하지 못했지만, 이 방법은 192건 전부를 정확한 층 단위로 짚어냈다.

연구진은 오픈소스 라이브러리 transformers 5.7.0의 청크 스캔 구현을 코드 수준에서 비교해 입력 청크 축과 출력 청크 축을 다르게 처리하는 차이를 먼저 발견했고, 이어 실제 모델 검사에서 Zamba2-1.2B는 선언된 청크 크기 256부터, Nemotron-H-8B는 128부터 누설이 시작되는 것을 확인했다. 반면 Bamba-9B, Falcon-H1, Granite-4.0-H, Mamba2, RecurrentGemma 등 비교 모델에서는 동일한 문제가 나타나지 않아, 코드 분석으로 예측한 경계와 실제 누설 시작점이 정확히 일치했다.

비드래프트 제공

인과 누설이 문제가 되는 이유는 단순 오류가 아니라 성능 지표 자체를 왜곡할 수 있어서다. 미래 정보가 현재 예측에 유입되면 다음 토큰을 맞히는 일이 쉬워져 학습 손실과 혼란도(PPL)가 오히려 좋아질 수 있다. 비드래프트 측은 성능을 평가하는 숫자 자체가 구조적 결함으로 좋아 보일 수 있다며, 인과 결함은 좋은 벤치마크 점수로도 뒤집을 수 없다고 강조했다.

비드래프트는 이 연구 성과를 곧바로 자사 AI 안전성 진단 시스템 ‘AX-RAY’로 연결했다. AX-RAY는 모델의 벤치마크 점수 확인에 그치지 않고, 실제 실행 코드와 모델 구조가 의도한 대로 작동하는지, 구조적으로 위험한 경로나 비정상적인 인과 의존성이 있는지를 계측하는 것을 목표로 한다. 관련 기술은 논문 공개 전 국내 특허 출원과 심사 청구를 마쳤다.

비드래프트는 현재 정부 공모 사업인 ‘사이버 보안 특화 인공지능 파운데이션 모델 개발’ 컨소시엄에 참여하며 AX-RAY를 핵심 안전성 검증 기술로 제시하고 있다. 기업이나 공공기관이 외부 파운데이션 모델을 도입할 때 가중치뿐 아니라 실제 구현 코드와 실행 환경까지 함께 사용한다는 점에서 이 같은 구조적 검증이 필요하다는 설명이다.

김민식 대표는 “보안 파운데이션 모델은 단순히 성능이 좋은 모델을 만드는 것으로 끝나서는 안 된다”며 “모델이 실제 실행환경에서 원래 설계된 인과구조를 지키는지, 구조적으로 숨겨진 결함이 없는지를 검증할 수 있어야 한다”고 말했다. 이어 “이번 논문은 AX-RAY가 단순한 정책 체크리스트나 정성적 레드팀 도구가 아니라 실제 코드와 실행 결과를 통해 AI의 구조적 안전성을 계측할 수 있다는 기술적 근거를 제시한 것”이라며 “논문에서 발견한 문제를 진단 기술로 만들고, 그 기술을 국가 보안 AI 검증에 적용하는 것이 비드래프트가 추진하는 연구-제품-사업 연결 구조”라고 설명했다.

한편 비드래프트는 전 국민 대상 AI 서비스 구축 사업 ‘모두의 AI’에서도 이스트소프트 컨소시엄에 참여해 AI 모델 성능 최적화와 경량화를 담당하고 있다.

박영서 기자 pys@dt.co.kr