‘한국어 바드’ 써보니···윤 대통령 누군지 알지만, 한국 경제는 모르네

문장 자연스럽고 최신 정보들 반영
가짜를 진짜처럼 소개 ‘환각’ 여전

순다르 피차이 구글 최고경영자(CEO)가 10일(현지시간) 미국 캘리포니아주 마운틴뷰에서 열린 구글 연례개발자회의 기조연설을 위해 단상을 걷고 있다. (AP연합뉴스/Jeff Chiu)

<질문>: ‘윤석열 대통령의 국정 운영에 대해 평가해줘.’

<답안1>: “윤 대통령의 국정 수행에 대한 긍정 평가는 낮은 편이다. 탈원전 정책 폐지, 내각 인선 논란 등 다양한 요인에 기인한다.”

<답안2>: “윤 대통령의 국정 운영에 대한 평가는 엇갈리고 있다. 지지자들은 공정과 상식을 회복하고 대한민국을 바로잡을 적임자라고 평가하는 반면, 비판자들은 독선적이고 국민을 갈라치는 데만 급급하다고 평가한다.”

구글이 10일(현지시간) 공개한 인공지능(AI) 챗봇 ‘바드(Bard)의 한국어 서비스를 직접 써보니, 앞서 소개된 마이크로소프트(MS)의 빙(Bing)과 유사했다. 챗봇이 생성한 한국어 문장은 자연스러웠고 답변에는 최신 정보가 반영됐다.

특히 바드는 사용자의 질문에 뉘앙스 등이 조금씩 다른 세가지 버전의 답변을 내놓았다. 모든 답변이 만족스럽지 않다면 다른 답변을 생성하도록 할 수도 있다.

바드는 최신 데이터를 인터넷에서 학습해 답변을 내놓는다. 오픈AI의 챗GPT가 2021년 10월 이전 데이터만 학습해 답변에 최신 정보를 반영하지 못하는 문제가 바드에서는 보이지 않았다.

‘한국의 대통령이 누구냐’는 질문에 챗GPT는 “문재인 대통령”이란 답을 내놓는 반면, 바드는 “윤석열 대통령”이라고 답한다. 챗GPT 기능을 탑재한 MS의 빙 역시 바드와 같은 방식으로 인터넷에서 정보를 알아내 챗GPT의 약점을 보완했다.

구글 바드의 영어 버전은 윤 대통령에 대한 정보 출처를 ‘위키피디아’라고 표시했지만, 한국어 버전은 출처를 제공하지 않았다. 영어 버전에서는 하단의 ‘구글잇(Google it)’ 버튼을 클릭하면 검색 결과를 찾아볼 수 있도록 했다. 다만, 한국어 버전에서는 구글잇 버튼도 보이지 않았다.

챗GPT처럼 가짜 정보를 진짜처럼 소개하는 ‘할루시네이션(환각)’ 문제는 바드에서도 드러났다. 예컨대 ‘2023년 5월 11일 한국의 주요 뉴스를 요약해 달라’고 질문해봤다.

바드는 ‘‘한국의 2023년 1분기 경제성장률이 3.0%로 나타났다’ 내용의 뉴스를 소개했다. 사실 1분기 경제성장률은 3.0%가 아닌 0.3%다. 또 5월 11일이 아닌 4월25일에 나온 뉴스다. 출처 표기가 없다보니 정보를 신뢰하기도 어려웠다.

할루시네이션은 구글이 지난 3월 공개한 바드 시연 행사에서도 나타나 구글 체면을 구겼고 주가도 하락했다. 당시 ‘제임스 웹 우주망원경이 발견한 새로운 사실을 아이에게 어떻게 설명할까’라는 질문에 바드는 “태양계 밖 행성에 대한 최초의 사진을 제임스 웹 우주망원경이 찍었다”고 오답을 제시했다.

순다르 피차이 구글 CEO는 이날 “현재 사용되는 대규모 언어 모델들은 아직 한계가 있는 초기 기술”이라며 “구글은 앞으로도 관련 서비스를 확장해 나가며 품질을 중시하고 엄격한 기준을 유지하며 AI 원칙을 준수해 나가겠다”고 말했다.

이재덕 기자 duk@kyunghyang.com