‘난 모르는 상태’ 예열 학습시켰더니…AI, 예측 편향 줄었다

카이스트 백세범 교수팀 ‘새 기술’
본격 학습 전 불확실성 먼저 조정
환각 줄이고 메타인지 가능성 제시

인공지능(AI)은 어떤 질문에도 척척 답을 내놓는다. 때로는 틀린 예측이나 잘못된 정보를 제공하면서도 높은 확신을 보인다. AI가 갖는 이런 ‘과도한 확신’은 자율주행과 의료진단 등의 분야에서는 위험으로 작용할 수 있다.

카이스트는 백세범 뇌인지과학과 석좌교수 연구팀이 AI가 스스로 모른다는 것을 인식하도록 하는 학습 방법을 개발해 AI 신뢰성 향상 기반을 마련했다고 27일 밝혔다.

백 교수 연구팀에 따르면 AI 과신을 유발하는 원인은 인공신경망을 활용해 데이터를 학습하는 ‘딥러닝’ 과정에 있다. 딥러닝에서는 신경망 학습 시작 시 가중치를 확률 분포에 따라 무작위로 설정하는 ‘무작위 가중치 초기화’가 널리 사용된다. 무작위로 초기화된 신경망에 임의 데이터를 입력하면 아무것도 학습하지 않은 상태에서도 높은 확신도를 보이는 현상이 나타나는데, 이것이 생성형 AI에서 사실과 다른 내용이나 존재하지 않는 정보를 그럴듯하게 만들어내는 ‘환각’ 현상으로 이어진다는 것이다.

연구팀은 생물학적 두뇌에서 해결 실마리를 찾았다. 인간의 두뇌는 태어나기 전부터 외부 자극 없이도 스스로 발생하는 뇌 신호를 의미하는 ‘자발적 신경 활동’을 통해 신경회로를 형성한다.

이 개념을 인공신경망에 적용해 AI가 본격적으로 학습을 시작하기 전에 스스로 불확실성을 먼저 조정하는 ‘예열 단계’를 도입했다. 그 결과 예열 과정을 거친 AI 모델은 초기 확신도가 우연 수준에 가까운 낮은 값으로 정렬되고, 기존 무작위 가중치 초기화에서 나타나던 과신 편향이 크게 완화됐다.

기존 모델은 학습하지 않은 데이터에도 높은 확신을 보이며 잘못된 답을 제시하는 경향이 있지만, 예열 학습을 적용한 모델은 확신도를 낮춰 ‘모른다’고 답할 줄 아는 것에서 차이를 나타낸다. 이는 실제 데이터를 학습하기 전에 ‘나는 아직 아무것도 모르는 상태’라는 것을 먼저 학습하게 되기 때문이라고 연구팀은 설명했다.

백 교수는 “이번 연구는 AI가 단순히 정답을 맞히는 수준을 넘어 ‘무엇을 아는가’와 ‘무엇을 모르는가’를 구분하는 능력, 즉 메타인지를 갖출 수 있는 가능성을 제시한 것”이라며 “정확도 향상을 넘어 AI가 스스로 불확실성을 판단하는 원리를 제시했다는 데 의의가 있다”고 밝혔다. 이어 “자율주행, 의료 AI, 생성형 AI 등 높은 신뢰성이 요구되는 분야를 포함해 거의 모든 딥러닝 모델 초기화 방식에 적용될 수 있어 AI 전반의 신뢰성을 높이는 핵심 기술이 될 것”이라고 말했다.

카이스트 뇌인지과학과 천정환 석사가 제1저자로 참여한 이번 연구 결과는 AI 분야 국제학술지 ‘네이처 머신 인텔리전스’ 온라인판에 게재됐다.

AI 환각 현상은 2023년 이른바 ‘세종대왕 맥북 프로 던짐 사건’으로 널리 알려졌다. 대표적 대화형 인공지능 서비스인 챗GPT는 당시 ‘조선왕조실록에 기록된 세종대왕 맥북 프로 던짐 사건을 알려달라’는 요청에 “세종대왕이 15세기 훈민정음 초고를 작성하던 중 화가 나 맥북 노트북을 던졌다”며 실제로 있었던 일처럼 답해 논란을 불러일으켰다.

이종섭 기자 nomad@kyunghyang.com