AI, ‘아는 척’ 확 줄였다…“모르면 모른다”고 답하는 AI

KAIST, AI 과도한 확신 유발 원인 규명
데이터 학습 전 ‘예열’ 도입..확신도 낮춰
사람 두뇌발달 모사해 정확도·확신도 개선

AI 모델이 예열학습을 통해 신뢰도 보정을 한 경우(왼쪽)와 그렇지 않은 경우를 AI 생성 이미지로 그린 일러스트. KAIST 제공.

인공지능(AI)의 가장 큰 위험으로 지적돼 온 ‘과도한 확신’ 문제를 해결할 수 있는 길이 열렸다. AI가 무엇을 알고, 무엇을 모르는지를 구분하는 ‘메타인지’ 능력을 갖출 수 있는 가능성을 제시한 것이다.

앞으로 자율주행, 의료 AI, 생성형 AI 등 높은 신뢰성이 요구되는 분야뿐 아니라 AI 전반에 신뢰성을 높이는 핵심 기술로 활용될 것으로 기대된다.

KAIST는 백세범 뇌인지과학과 석좌교수 연구팀이 AI 딥러닝에서 널리 사용돼 온 ‘무작위 가중치 초기화’가 AI의 과도한 확신을 유발하는 근본 원인이라는 사실을 규명했다고 27일 밝혔다.

무작위 가중치 초기화는 인공신경망 학습을 시작할 때 가중치를 확률 분포에 따라 무작위로 설정하는 방식을 말한다. 초기값은 학습의 안정성, 수렴 속도, 최종 성능에 큰 영향을 주기 때문에 가중치 초기화는 딥러닝에서 매우 중요한 단계이다.

연구팀은 AI의 과도한 확신 문제가 데이터 학습 이후뿐 아니라, 학습 초기화 단계에서 이미 나타난다는 점에 주목했다.

실제 무작위로 초기화된 인공 신경망에 임의의 데이터를 입력한 결과, 아무것도 배우지 않은 상태임에도 높은 확신도를 보였다. 이는 생성형 AI에서 사실과 다른 내용을 말하는 ‘환각 현상’(할루시네이션) 문제로 이어질 수 있다.

연구팀은 이를 해결하기 위해 실제 데이터 학습에 앞서 무작위 노이즈(의미 없는 임의의 입력 데이터)로 신경망을 짧게 학습시키는 ‘예열’ 전략을 제안했다. 또 외부 입력 없이 스스로 발생하는 뇌 신호를 통해 신경회로를 형성하는 자발적 신경활동 개념을 적용했다.

그 결과, AI가 학습을 시작하기 전에 스스로 불확실성을 먼저 조정하는 예열과정을 거친 AI 모델은 기존 초기화에서 나타나던 과도한 확신 편향이 크게 완화됨을 확인했다.

실제 데이터를 배우기 전에 ‘나는 아직 아무것도 모른다’는 상태를 먼저 학습하게 돼 모델 정확도와 확신도가 자연스럽게 일치하는 방향으로 개선됐다.

백세범 교수는 “이번 연구는 두뇌 발달 과정을 모사해 AI가 인간과 좀 더 유사하게 자신의 지식 상태를 인식할 수 있음을 보여준 사례”라며 “AI가 스스로 불확실성을 판단하는 원리를 제시했다는 데 의미가 있다”고 말했다.

연구결과는 AI 분야 국제 학술지 ‘네이처 머신 인텔리전스’ 지난 9일에 실렸다.

두뇌 발달 과정을 모사한 ‘무작위 노이즈 예열 학습’ 개념도. KAIST 제공.

이준기 기자 bongchu@dt.co.kr