소크라테스가 말한 ‘무지의 지’, AI도 가능해졌다

백세범 KAIST 뇌인지과학과 석좌교수
AI가 잘못된 답 과신하는 이유 찾아
딥러닝 학습의 초기 랜덤 작업 때문
인간 뇌 모사하자 신뢰도 대폭 향상

인공지능(AI) 모델이 예열학습을 통해 신뢰도 보정을 한 경우와 그렇지 않은 경우를 나타낸 그림. [생성AI로 만든 이미지]

소크라테스는 “자신이 모른다는 사실을 아는 것이 진정한 앎의 시작”이라고 했다. 인공지능(AI)도 진정한 앎이 가능할까.

지금까지 AI는 불가능하다고 여겨졌다. AI는 모르는 질문을 받으면, 자신이 모른다는 사실도 모른 채 가짜로 답을 지어내고 자신 있게 답한다. 이러한 환각 현상은 AI 도입의 큰 장벽이 된다.

앞으로는 AI가 진정한 앎을 시작할 수 있게 됐다. 모르는 걸 모른다고 답할 수 있는 AI가 개발됐기 때문이다. 백세범 KAIST 뇌인지과학과 석좌교수 연구팀은 AI가 잘못된 답을 자신있게 말하는 근본적인 원인을 규명하고, 해결 방법까지 제시했다. 환각을 크게 줄여 AI 도입의 장벽을 해소할 것으로 기대된다.

연구에 따르면 AI가 과한 자신감을 갖는 건 딥러닝 학습 방식에 있었다. 딥러닝은 데이터를 학습할 때 요소별로 가중치를 두고, 학습 과정에서 가중치를 조금씩 수정하는 학습 방식이다. 데이터를 많이 학습할수록 가중치는 점차 정교해진다.

문제는 데이터를 학습하기 전의 첫 가중치다. 가중치를 비워둘 수는 없기 때문에 AI는 각 가중치를 무작위로 정해놓고 학습을 시작한다. 이를 ‘랜덤 초기화’라고 부른다.

연구진은 AI가 높은 자신감을 갖는 게 랜덤 초기화 때문이라는 점을 밝혀냈다. 데이터를 충분히 학습해 가중치가 정교하게 조정되지 않은 상태에서 AI는 무작위, 즉 엉터리 가중치에 의존해 답변을 제공한다. 학습 전부터 이미 ‘자신감 높은 바보’ 상태이고 그 상태로 답변을 내놓는 것이다.

해결의 실마리는 인간의 두뇌에 있었다. 인간의 두뇌는 태어나기 전부터 외부 자극 없이도 자발적 신경 활동을 통해 신경 회로를 형성한다. 바깥 세상을 보기 전에도 회로를 만들어 학습할 준비를 한다는 것이다. 일종의 예열 단계다.

연구진은 AI 학습에도 예열 단계를 넣는 방법을 고안했다. AI가 무작위 노이즈로 사전 학습을 하면 스스로의 불확실성을 먼저 조절할 수 있다. 무작위 노이즈로는 출력할 답도 없기 때문에, AI는 불필요하게 과신을 가지지 않는다. 이 과정에서 AI는 ‘자신이 모르는 상태’라는 걸 인지하게 된다.

실제 실험 결과, 예열 과정을 거친 AI 모델은 초기 확신도가 우연 수준에 가깝도록 낮아졌고, 기존에 나타나던 과신 편향이 크게 완화됐다. 실제 데이터를 학습하기 전에 ‘자신이 아무것도 모른다’는 걸 학습한 덕분에 잘못된 답을 과신하지 않는 것이다. 실제 답의 정확도와 AI 확신의 정도도 상당 수준 일치했다. 처음 접하는 데이터에 대해서도 모른다고 판단하는 능력이 향상됐다.

이번 연구는 AI가 무엇을 알고 무엇을 모르는지에 대한 메타인지를 갖출 수 있다는 가능성을 제시했다. AI 답변의 신뢰도를 크게 높일 수 있고, 의료·법률 등 중요 분야에도 AI를 적용할 근거가 마련됐다.

백 교수는 “이번 연구는 두뇌 발달 과정을 모사함으로써 AI가 인간과 좀 더 유사하게 자신의 지식 상태를 인식할 수 있음을 보여줬다”며 “정확도를 높이는 걸 넘어 AI가 스스로의 불확실성을 판단하는 원리를 제시했다는 데 의의가 있다”고 설명했다.

백세범 KAIST 뇌인지과학과 석좌교수. [사진=KAIST]