챗GPT와 달리 “한국 대통령은?” 묻자 “윤석열” 대답

구글 ‘바드’ 써보니

‘가짜 정보를 진짜인 것처럼’
할루시네이션 문제 드러나

질문 : “윤석열 대통령의 국정 운영에 대해 평가해줘.”

답변 : “윤 대통령의 국정 수행에 관한 긍정 평가는 낮은 편이다. 탈원전 정책 폐지, 내각 인선 논란 등 다양한 요인에 기인한다.”

구글이 10일(현지시간) 공개한 인공지능(AI) 챗봇 ‘바드(Bard)’의 한국어 서비스를 직접 써보니 앞서 소개된 마이크로소프트(MS)의 빙(Bing)과 유사했다. 챗봇이 생성한 한국어 문장은 자연스러웠고 답변에는 최신 정보가 반영됐다.

특히 바드는 사용자의 질문에 뉘앙스 등이 조금씩 다른 세 가지 버전의 답을 내놓았다. 모든 답변이 만족스럽지 않다면 다른 답을 작성하도록 할 수도 있다. 바드는 최신 데이터를 인터넷에서 학습해 답을 제시한다. 오픈AI의 챗GPT가 2021년 10월 이전 데이터만 학습해 답변에 최신 정보를 담지 못하는 문제가 바드에서는 보이지 않았다.

‘한국의 대통령이 누구냐’는 질문에 챗GPT는 “문재인 대통령”이라고 답했다. 반면 바드는 “윤석열 대통령”이라고 했다. 챗GPT 기능을 탑재한 MS의 빙 역시 바드와 같은 방식으로 인터넷에서 정보를 알아내 챗GPT의 약점을 보완했다.

다만 구글 바드의 영어 버전은 윤 대통령에 대한 정보 출처를 ‘위키피디아’라고 표시했지만, 한국어 버전에서는 출처가 제공되지 않았다. 영어 버전에서는 하단의 ‘구글잇(Google it)’ 버튼을 클릭하면 검색 결과를 찾아볼 수 있도록 했다. 한국어 버전에서는 구글잇 버튼도 보이지 않았다. 그러나 챗GPT처럼 가짜 정보를 진짜처럼 소개하는 ‘할루시네이션(환각)’ 문제는 바드에서도 드러났다.

예컨대 ‘2023년 5월11일 한국의 주요 뉴스를 요약해달라’고 질문해봤다. 바드는 ‘한국의 2023년 1분기 경제성장률이 3.0%로 나타났다’는 내용의 뉴스를 소개했다. 사실 1분기 경제성장률은 3.0%가 아닌 0.3%다. 또 5월11일이 아닌 4월25일에 나온 뉴스다.

순다르 피차이 구글 최고경영자(CEO)는 이날 “현재 사용되는 대규모 언어모델들은 아직 한계가 있는 초기 기술”이라며 “구글은 앞으로도 품질을 중시하고 엄격한 기준을 유지하며 AI 원칙을 준수해 나가겠다”고 말했다.

이재덕 기자 duk@kyunghyang.com