“내 ‘이불킥’ 얘기 그만하라고”…너무 똑똑해진 AI, 당신의 ‘흑역사’를 평생 소환한다 [나우, 어스]

이혼 한 번 말했더니 모든 조언에 “이혼 때문에…” 언급
자녀 골프 사진 찍었더니 “사용자는 취미가 골프” 잘못 인식
과거 기록 기반 답변에 치중…현실성 떨어져
공동 계정서 사용자와 맞지 않는 답변도 속출
WSJ “필요하다면 기억 기능 장치 꺼야”

한 사용자가 인공지능(AI) 챗봇과 대화하고 있다. [123rf]

[헤럴드경제=김영철 기자]#1. 미국 유타주의 소프트웨어 엔지니어이자 시의회 의원인 브라이언 델 로사리오는 과거 AI 챗봇과의 대화에서 배우자와 세 자녀가 있다는 사실을 언급했지만, 이후 아내와 별거하게 되면서 챗봇에 이를 다시 설명해야 했다.

문제는 그 이후부터였다. 출장 일정을 관리해달라고 요청하면 챗봇은 “이혼 때문에 무리하고 있는 것 아니냐”고 조언했고, 직장 스트레스를 털어놓으면 다시 이혼 문제와 연결지었다고 했다.

이에 대해 로사리오는 “매번 내 이혼 문제에 대한 의견을 듣고 싶었던 것은 아니다”라며 “챗봇이 그 이야기를 놓아주지 않았다”고 토로했다.

인공지능(AI) 챗봇이 사용자와 과거 나눈 대화를 모두 기억하며 맞춤형 서비스를 제공하는 것이 오히려 부작용을 낳고 있다는 목소리가 나오고 있다. AI 챗봇과 오래전 나눈 부적절한 대화도 챗봇에 그대로 저장되는 것에 사용자들이 편리함을 넘어 부담감을 느끼고 있다.

25일(현지시간) 월스트리트저널(WSJ)은 최근 AI 챗봇의 장기 기억 기능이 사용자 편의성을 높이는 동시에 잘못된 정보 고착과 사생활 침해, 심리적 부담 등을 유발할 수 있다고 보도했다.

AI 챗봇은 사용자 정보를 장기간 기억하며 점점 더 개인화된 서비스를 제공하고 있다. 과거 정보를 토대로 사용자의 식습관, 프로젝트 진행 상황 등 여러 상황을 학습하거나 기억해 보다 정교한 답변을 제공하려는 목적에서다.

하지만 이 같은 AI 챗봇의 기억 기능은 여러 부작용을 낳고 있다. 사용자가 잘못 전달한 정보를 추후 답변에서 그대로 반영하는 경우도 있기 때문이다.

특히 WSJ는 “사용자는 이미 잊었더라도 챗봇은 그렇지 않을 수 있다”며 “오래되거나 잘못 이해한 정보를 계속 반영할 수 있고, 사용자가 이미 지나간 과거에서 벗어나기 어렵게 만들 수도 있다”고 지적했다.

인공지능 챗봇을 사용해 대화하는 사용자의 모습을 표현한 일러스트 [123rf]

사용자의 정보가 아닌 내용을 기억해 사용자에게 잘못된 조언이나 정보를 주는 경우도 적지 않다. 가령 부모가 자녀의 ADHD(주의력결핍 과잉행동장애) 증상에 대해 질문했는데, 이후 챗봇이 이를 사용자 본인의 문제로 인식해 생산성 관련 조언까지 ADHD 기준에 맞춰 제공하는 식이다.

구글 역시 비슷한 사례를 인정한 바 있다. 예를 들어 사용자가 자녀의 골프 경기 사진을 많이 찍었을 뿐인데, 시스템이 이를 사용자의 골프 취미로 잘못 인식한 사례가 대표적이다. 이에 구글은 이후 특정 정보만 다시 활용되지 않도록 차단하는 기능을 추가했다고 설명했다.

마이크로소프트(MS) 역시 사용자가 특정 기억이나 전체 기억을 삭제할 수 있으며, 개인화 기능 자체를 끌 수도 있다고 전했다.

인공지능 챗봇을 이용해 쇼핑에 도움을 받고 있는 사용자의 모습. [123rf]

AI 챗봇 계정을 공동으로 사용할 때 이 같은 혼란은 더 가중되고 있다. 한 사용자가 이력서 작성에 챗봇을 활용한 뒤, 이후 다른 사용자가 전혀 다른 질문을 했을 때 챗봇이 취업 준비 관련 조언을 이어가는 경우도 발생하기 때문이다.

시간이 지나면서 과거 상황이 현실과 맞지 않게 되는 문제도 있다. 가령 사용자가 6개월 전 마라톤 준비 중이라고 말한 뒤 부상 사실은 업데이트하지 않았다면, 챗봇은 계속 고강도 운동 기준의 식단과 운동 계획을 추천하게 된다.

앞서 챗봇이 모든 조언에 이혼을 언급해 당황했던 로사리오는 체중 감량 목표를 언급한 이후 챗봇이 여행 중 식당 추천까지 다이어트 기준으로 제안한 경험도 했다. 그는 “휴가 분위기를 망치는 느낌이었다”고 말했다.

뉴저지의 IT 컨설턴트 마이크 테일러 역시 자신이 영국 출신이라는 사실을 언급한 이후 챗봇에서 유명한 술집을 추천할 때마다 줄곧 ‘정통 영국식 맥주’를 알려줬다며 결국 챗봇 기억 기능을 껐다고 설명했다.

하버드대 버크만클라인센터의 조슈아 조셉 AI 과학자는 이 같은 현상이 “SNS 알고리즘과 유사하다”며 “사용자가 특정 주제에 오래 머무르면 이후 콘텐츠 전체가 그 방향으로 재구성되는 것과 비슷하다”고 분석했다.

영국 엑서터대 철학 강사 루시 오슬러는 “AI 챗봇은 개인의 특정 서사를 더욱 현실처럼 굳혀버릴 수 있다”며 “사용자를 하나의 틀 안에 가둘 위험이 있어 왜곡된 사고를 심화시킬 수 있다”고 지적했다. .

전문가들은 사용자가 직접 기억 기능을 관리할 필요성이 커지고 있다고 조언한다.

WSJ는“챗봇이 자신에 대해 무엇을 기억하고 있는지 주기적으로 점검하고, 민감한 내용은 임시 대화 기능을 활용하며, 필요하다면 기억 기능 자체를 끄는 방법도 고려해야 한다”고 조언했다.