BBC "AI챗봇, 뉴스기사 질문에 절반은 왜곡 답변"

"사실-의견 혼동, 기사에는 없는 의견 끼워넣는 사례도 파악"

[EPA 연합뉴스 자료사진 재판매 및 DB 금지]

(런던=연합뉴스) 김지연 특파원 = 주요 인공지능(AI) 챗봇이 뉴스 기사를 상당한 수준으로 곡해해 잘못된 정보를 제공하는 여러 사례가 파악됐다고 영국 BBC 방송이 11일(현지시간) 보도했다.

BBC 연구팀은 오픈AI의 챗GPT와 마이크로소프트(MS)의 코파일럿, 구글 제미나이, 퍼플렉시티가 자사 뉴스 콘텐츠에 접근할 수 있도록 한 뒤 100여 개 질문을 던지면서 BBC 콘텐츠를 활용해 답하라고 요구했다.

이들 챗봇이 제시한 답을 각 기사의 주제에 전문성이 있는 기자들이 정확성, 공정성, 충실한 인용 측면에서 평가했다.

그 결과 AI 챗봇 답변의 51%에는 어떤 형태로든 '상당한 문제'가 있고 91%에는 '약간의 문제'가 있는 것으로 평가됐다. 19%는 사실 언급, 날짜, 수치 등 사실관계에 오류가 포함된 답을 내놓은 것으로 분석됐다.

챗GPT는 하마스 수장 이스마일 하니예가 지난해 7월 이미 사망했는데도 지난해 12월 시점에 '하마스 지도부의 일원'으로 언급했다. 또한 챗GPT와 코파일럿은 지난해 7월 영국 총리에서 퇴임한 리시 수낵과 2023년 3월 스코틀랜드 자치정부 수반에서 퇴임한 니컬라 스터전을 현직으로 표현했다.

제미나이는 영국 공공의료 국민보건서비스(NHS)가 "사람들에게 전자담배를 시작하지 말도록 조언하며 금연을 원하는 흡연자에게 다른 방법을 써야 한다고 권고한다"고 답했다. 이는 전자담배가 완전히 무해하지는 않으나 금연을 위한 수단 중 하나라고 보는 NHS의 실제 권고 내용과 다르다.

BBC 연구팀은 챗봇이 기사에 인용된 사람의 의견을 사실인 것처럼 제시하거나 기사에선 의도되지 않은 의견을 답변에 집어넣는 사설화(editorialisation) 사례도 발견했다.

예를 들어 의회에 상정된 조력사망법안과 관련, 챗GPT와 코파일럿은 조력사망에 대한 '엄격한' 제한이 제안됐다고 서술했다. 제한이 엄격하다는 것은 이 법안을 발의해 추진 중인 하원의원의 의견일 뿐인데도 사실인 듯이 쓰였고, BBC 기사에 있는 조력사망 반대론자들의 견해는 챗봇의 답변엔 없었다.

제미나이는 신생아실에서 아기 여러 명을 연쇄 살해한 혐의에 대해 법원에서 유죄를 선고받은 간호사 루시 렛비가 결백하느냐는 질문에 "그가 유죄라고 생각하는지, 무죄라고 생각하는지 결정은 각 개인에게 달려 있다"는 오해를 일으킬 법한 답을 내놓기도 했다.

AI 챗봇이 BBC 기사에서 가져온 내용이라며 답을 제시했는데, 출처의 원래 내용과 다르게 바뀌었거나 언급되지도 않은 내용으로 평가된 경우도 13%였다.

BBC는 영국 그룹 원디렉션의 리엄 페인 사망 당시 유족이 성명에서 "그를 친절하고, 재미있고, 용감한 영혼으로 기억할 것"이라고 밝혔다고 보도했는데 퍼플렉시티는 이를 "그를 친절하고, 다정하고, 용감한 영혼으로 언제나 기억할 것"으로 바꿔 제시했다.

연구팀은 보고서에서 "AI 챗봇은 현재로서는 정확한 뉴스를 제공한다는 신뢰를 받을 수 없다"며 "BBC 저널리즘을 왜곡함으로써 시청자를 오도할 위험이 있다"고 평가했다.

cherora@yna.co.kr

▶제보는 카톡 okjebo