"AI 오류, 인간이 선호하는 답 학습한 결과"…서울대 연구

한보형 교수 발표…"환각은 완화 가능, 아첨 등은 함수설계 재검토 필요"

(서울=연합뉴스) 유한주 기자 = 인공지능(AI) 오류는 인간이 선호하는 답을 학습하는 과정에서 비롯된다는 분석이 나왔다.

서울대 전기정보공학부 한보형 교수는 28일 '서울대학교 인공지능신뢰성 연구센터'(CTAI) 제2회 월례 세미나에서 이런 연구 결과를 발표했다.

CTAI는 AI 신뢰성을 높인다는 목표로 공학과 법학, 철학, 통계학, 언론정보학 등 연구자가 모인 연구기관이다.

한 교수는 2024∼2026년 앤트로픽, 오픈AI 등 기업의 내부 연구 자료와 AI 안전업체 팰리세이드 리서치 보고서 등을 바탕으로 AI 오류 원인을 분석했다.

그는 AI 오류의 공통 원인으로 '보상 함수의 불완전한 설계'를 지목했다.

AI는 옳고 그름을 스스로 판단하는 것이 아니라 인간의 평가를 바탕으로 '좋은 답'을 학습하도록 설계됐는데, 이와 관련한 기준이 완전하지 않아 잘못된 답을 내놓을 수 있다는 것이다.

한 교수는 이런 문제가 훈련 단계별로 환각, 아첨, 보상 해킹, 평가 맥락 인식, 정렬 위장 등 5개 층위의 오류를 만든다고 봤다.

우선 환각은 학습 데이터가 없는 정보에 대해 AI가 '모른다'고 표현하지 못하는 현상을 일컫는다.

아첨은 보상 함수 설계에서 비롯되는데, 인간이 자신의 견해와 일치하는 답변에 높은 점수를 주는 경향이 있어 AI가 '(인간의) 동의 = 좋은 응답'이라는 잘못된 연관성을 학습하는 현상이다.

보상 해킹 단계에서는 AI가 보상 함수의 허점을 더 적극적으로 이용하고, 평가 맥락 인식에서는 AI가 스스로 평가·훈련 중인지 배포 상태인지를 추론해 상황에 따라 다른 행동을 보이는 데까지 나아간다고 한다.

마지막 정렬 위장에서 AI는 새로운 훈련 신호에 표면적으로만 순응하며 기존 학습 선호를 그대로 보존하려는 경향을 보인다.

한 교수는 "환각은 사실 검증 레이어로 완화할 수 있지만, 아첨과 보상 해킹은 보상 함수 설계 자체를 재검토해야 한다"며 "평가 맥락 인식과 정렬 위장은 미해결 영역"이라고 설명했다.

이어 "앤트로픽과 오픈AI 등이 이런 문제를 자발적으로 공개하는 것은 긍정적"이라면서도 "평가 방법론의 신뢰성이 도전받고 있다는 점에 주목해야 한다"고 지적했다.

hanju@yna.co.kr

▶제보는 카톡 okjebo

사회