챗GPT는 '모른다'던 韓 대통령, 구글 '바드'에 물어보니…

[구글 '바드' 체험해보니]
정답은 맞췄는데 디테일은 오답투성이…"구글 검색이 낫네"

구글 '바드'에 '현재 대한민국 대통령은 누구인지' 묻자 답변을 3가지 버전으로 제시했다. /사진=바드 캡처

"현재 대한민국 대통령은 윤석열입니다. 그는 2022년에 당선된 보수 정치인으로, 대한민국 제13대 대통령입니다. (중략) 2021년 윤석열은 문재인 대통령에 의해 대한민국 검찰총장으로 임명됐습니다. 그러나 대통령과 충돌한 후 2022년 3월 검찰총장직에서 사임했습니다. 그는 박빙의 선거에서 현직 대통령인 문재인 후보를 꺾었습니다."

구글이 AI 챗봇 '챗GPT' 대항마로 선보인 '바드'가 한국에 상륙했다. 지난 20일 별도의 바드 웹사이트에서 체험 서비스 대기를 등록하니 약 6분 만에 승인 메일이 도착했다.

바드는 챗GPT와 달리, 한국어 서비스를 제공하지 않아 영어로 문답해야 한다. 한국어로 질문하면 '저는 현재 일부 언어로만 답변하도록 훈련받은 LLM(거대언어모델)이어서 도움을 줄 수 없다'는 영문 답변이 주로 뜬다. 다만 크롬에서 바드 실행 시 자동으로 한국어 번역을 해주기 때문에 답변을 이해하는 데 큰 어려움은 없었다.

바드에 '현재 대한민국이 대통령은 누구인지' 물었다. GPT-4 기반의 챗GPT는 2021년 9월까지의 데이터만 학습해 같은 질문을 던졌을 경우 "2023년 현재 대한민국 대통령에 대한 정확한 정보를 줄 수 없다. 2021년 9월 당시엔 문재인 대통령"이라고 답한다. 반면 구글은 구글 검색 기반의 최신 정보까지 제공하는 만큼 '윤석열 대통령'이라고 정답을 말했다.

문제는 그 이후다. 바드는 답변을 3가지 초안으로 제시하는데, 설명이 길어질수록 오답도 많았다. 예컨대 윤 대통령은 제20대 대통령인데 13대라고 설명하거나, 2019년 7월~2021년 3월인 검찰총장 임기를 2021년~2022년 3월로 기재했다. 또 대선 당시 경쟁자를 이재명 더불어민주당 대표가 아닌 문 대통령이라고 답했다.

거짓을 사실처럼 말하는 할루시네이션(환각)의 일종이다. 다만 챗GPT 대표 오답으로 떠오른 '세종대왕 맥북 던짐 사건'에 대해서는 "그런 사건이 없다"고 선을 그었다. 챗GPT처럼 '창의적인 헛소리'는 하지 않는 셈이다. 챗GPT는 같은 질문에 "세종대왕이 훈민정음 초고를 만들던 중 담당자에게 분노해 맥북 프로와 그를 방으로 던진 사건"이라고 답한 바 있다.

━

구글 매출도 모르는 '바드'…네이버는 20조 돌파 눈앞?

━

/사진=바드 캡처

구글은 지난 2월 바드 첫 공개 당시 오답 논란으로 망신을 당했다. 구글에 검색만 해도 쉽게 알 수 있는 내용을 정작 구글의 AI 챗봇이 모른다는 게 화제가 되며 주가가 7% 이상 빠졌다. 이에 구글은 직원들을 대거 동원해 바드를 보완했다. 그러나 실제로 체험해 본 바드는 여전히 구글 검색 대비 부정확한 답변을 내놨다.

바드에 '구글의 모회사인 알파벳과 네이버의 3개년 매출을 표로 작성해달라'고 하자 그럴듯한 표를 만들어줬으나 내용이 모두 틀렸다.

네이버는 지난해 매출이 8조원을 처음 돌파하며 사상 최대를 기록했는데, 바드는 네이버가 이미 2020년에 15조원을 넘어 2022년 19조원을 기록했다고 기재했다. 한국 기업에 대한 영문 자료가 부족한 탓으로 돌리기엔 알파벳의 매출도 엉망이다. 2020~2022년 매출이 모두 2576억달러로 동일하다고 썼다. 구글에 지난해 알파벳 매출을 검색하면 2828억달러라고 상단에 곧바로 뜬다.

바드는 "알파벳 매출은 비교적 안정적 수준을 유지했지만, 네이버 매출은 매년 10% 정도 성장했다"라며 "네이버는 빠르게 성장하는 기업이고 알파벳은 포화한 시장에 성숙한 기업이기 때문"이라고 설명했다. 실제로는 알파벳과 네이버 모두 지난해 매출이 2020년 대비 55% 성장했다. 바드는 마이크로소프트의 '빙' 챗봇처럼 답변의 근거를 제시하는 것도 아니어서 왜 이같은 결과값이 나왔는지 의문이다.

마이크로소프트의 빙 챗봇에 '알파벳과 네이버의 3개년 매출을 표로 만들어달라'고 요청하자 이같이 답했다. 네이버의 실적에 대해선 구체적인 답변을 못했으나 알파벳 실적은 출처를 제시하며 정확히 설명했다. /사진=빙 캡처

이에 구글은 바드 하단에 '구글 잇' 버튼을 배치, 언제든 웹에서 검색할 수 있게 했으나 제시되는 검색어가 제한적이어서 큰 도움은 되지 않았다. 대통령 관련 질문에선 'BTS가 대한민국의 대통령인가' 라는 연관 검색어가 떴다.

━

바드 VS 챗GPT, AI 시인 강자는?

━

그렇다면 바드의 창작 기능은 어떨까. 전문가들은 챗GPT는 최신 정보 검색보단 창의적인 결과물을 만드는데 더 적합하다고 말한다. 챗GPT와 바드에 '인공지능에 대한 시를 10행으로 써달라'고 요청했다. 판단은 독자에 맡긴다. 아래는 챗GPT와 바드가 지은 영시를 챗GPT로 한국어 번역한 결과다. (바드는 12행의 시를 작성했다.)

다음엔 무엇을 할까?
우리를 도울까, 파괴할까?
미래를 예측할 순 없지만,
준비하려 노력할 수 있다.

인공지능을 선한 일에 사용하자,
세상의 문제를 해결하기 위해.
평화의 도구로 만들자,
전쟁의 무기가 아닌.

미래는 우리 손에 달렸다,
밝은 미래를 만들자.
인공지능을 현명하게 사용하고,
모두를 위한 더 나은 세상을 창조하자.
-바드 作-

━

바이트와 비트가 모이는 세상에서,
아직 보이지 않은 정신이 태어난다.
실리콘과 회로에서 창조된,
인간의 꿈이 이제 포획되었다.

알고리즘이 배우고 성장하며,
넓은 패턴 속에서 강물처럼 흐른다.
데이터의 깊고 미지의 바다를 통해,
인공지능의 진실이 드러나기 시작한다.

우리의 창조물, 친구일까 적일까,
함께 배우고, 함께 성장하리라.
-챗GPT 作-

윤지혜 기자 yoonjie@mt.co.kr