‘AI의 근거 없는 자신감’ 백지 상태부터 틀렸다…KAIST, 오만함 꺾는 비결 찾다

학습 전 무작위 설정 '과도한 확신' 원인…생물학적 뇌 모사한 '노이즈 예열'로 정밀도 확보
백세범 교수팀, '네이처 머신 인텔리전스' 게재…자율주행·의료 등 안전성 대전환 기대

인공지능 모델이 예열학습을 통해 신뢰도 보정을 한 경우와 그렇지 않은 경우(AI 생성 이미지). 사진=KAIST 제공

[충청투데이 조정민 기자] 인공지능(AI) 플랫폼 확산으로 다방면에서 활용도가 높아지고 있지만, 여전히 AI 환각(Hallucination) 현상은 해결해야 할 과제다.

특히 AI의 당당한 오답, 즉 환각은 단순한 오류를 넘어 자율주행이나 의료 현장에서 자칫 큰 사고를 유발할 수 있는 치명적 결함이다.

그동안 학계에선 학습 데이터 부족이나 모델의 복잡성에서 그 원인을 찾았지만, 최근 국내 연구진이 AI의 근거 없는 자신감이 학습 시간 전인 초기 설정 단계부터 잉태된다는 사실을 밝혀내 주목을 받고 있다.

27일 KAIST에 따르면 뇌인지과학과 백세범 석좌교수 연구팀이 딥러닝 모델의 고질적 문제인 '과도한 확신(Overconfidence)'의 근원이 기존 인공신경망의 표준인 '무작위 가중치 초기화'에 있음을 규명했다.

아무것도 배우지 않은 빈 두뇌의 AI가 무작위로 설정된 초기값 탓에 특정 데이터에 비해 비정상적으로 높은 확신도를 갖는다는 얘기다.

다시 말해 백지상태의 아이가 근거 없이 특정 선택지가 정답이라고 고집을 부리는 것과 유사한 현상이다.

연구팀은 문제 해결을 위해 생물학적 뇌의 발달 과정에 주목했다.

인공신경망 모델에서 응답에 대한 정확도와 확신도를 비교하는 신뢰성 테스트. 사진=KAIST 재공

사람의 뇌는 출생 전 외부 자극이 없는 상태에서도 스스로 신호를 주고받는 '자발적 신경 활동'을 통해 기초적인 회로를 형성한다.

연구팀은 이를 모사한 '노이즈 예열(Warm-up) 학습' 전략을 도입했다. 실제 데이터를 주입하기 전 의미 없는 무작위 노이즈를 짧게 학습시켜 AI가 자신의 지식 상태를 0(제로)으로 맞추는 일종의 영점 조절 과정을 거치게 한 것이다.

실험 결과, 예열 과정을 거친 AI는 학습하지 않은 생소한 데이터를 접했을 때 확신도를 낮추고 스스로 '모른다'고 판단하는 메타 인지 능력이 현저히 향상됐다.

기존 모델이 정답 여부와 상관없이 높은 확신도를 갖고 오답을 냈던 것과 매우 대조적이다.

연구팀이 제시한 모델은 학습 데이터 범위를 벗어난 분포 밖 데이터를 탐지하는 성능 강화로 이어지기도 했다.

이번 연구는 AI의 성능 지표를 단순히 '정확도'에만 두지 않고, 자신의 판단에 대한 '신뢰성'을 확보하는 원리를 제시했다는 점에서 의미가 크다.

백세범 교수는 "AI 인간과 좀 더 유사하게 자신의 지식 상태를 인식할 수 있음을 보여준 사례"라며 "이번 기술이 자율주행과 의료, 생성형 AI 등 고도의 신뢰가 필요한 AI 서비스의 안전핀 역할을 하게 될 것"이라고 설명했다.

이번 연구는 국제 학술지 '네이처 머신 인텔리전스'에 게재됐고, 학계에서 주목할 논문으로도 소개됐다.

KAIST 백세범 석좌교수, (상단)KAIST 천정환 석사.사진=KAIST 제공

조정민 기자 jeongmin@cctoday.co.kr