“이상하네. 이 사진 분명히 봤는데”…AI가 만든 ‘거짓 기억’의 섬뜩한 실험

AI 생성 이미지

인공지능(AI)이 인간의 일과 학습을 대신하는 것을 넘어 과거에 대한 기억까지 왜곡할 수 있다는 연구 결과가 잇따라 나오고 있다. AI가 만들어내거나 수정한 이미지와 대화에 노출된 사람들이 실제로 일어나지 않은 일을 경험했다고 기억하거나, 틀린 기억을 사실이라고 강하게 확신하는 현상이 실험에서 관찰됐다.

15일(현지시간) 워싱턴포스트(WP)에 따르면 미국 매사추세츠공대(MIT) 미디어랩의 패티 메이스 교수 연구팀은 성인 200명을 대상으로 AI가 기억에 미치는 영향을 조사했다. 참가자들에게 결혼식과 도시 거리, 경주 장면 등이 담긴 평범한 사진 24장을 보여준 뒤 일정 시간이 지나 다시 사진을 보게 했다.

일부 참가자에게는 처음과 같은 사진을 보여줬지만 다른 참가자들에게는 AI로 변형한 사진을 제시했다. 사람들의 표정이 달라지거나 원래 사진에 없던 군인이 들어가 있고, 기후변화와 관련된 장면이 추가된 사진 등이었다.

이후 기억력 검사를 실시하자 AI로 변형된 사진을 본 사람들에게서 잘못된 기억이 크게 늘어났다. 더 우려스러운 점은 이들이 실제로는 틀린 기억에 대해 더 강한 확신을 보였다는 것이다. 메이스 교수는 이 같은 현상을 “매우 위험한 문제”라고 평가했다.

AI가 기억 형성 과정 자체에도 영향을 줄 가능성을 보여주는 실험도 있다. 메이스 교수 연구팀은 지난해 54명에게 행복의 의미 등 미국 대학입학시험(SAT) 형태의 주제로 글을 쓰게 했다. 한 그룹은 아무런 온라인 도구를 사용하지 않았고, 다른 그룹은 구글 검색을 이용했으며 세 번째 그룹은 챗GPT를 활용했다.

연구진은 참가자들의 머리에 전극을 부착해 글을 쓰는 동안 뇌 활동을 측정했다. 그 결과 외부 도구 없이 직접 글을 쓴 사람들의 뇌 영역 간 연결성이 가장 강했고, 구글 검색 이용자가 중간, 챗GPT 이용자가 가장 낮았다. 특히 챗GPT를 이용한 참가자들은 자신이 방금 작성한 글의 문장을 나중에 기억해내는 데 상대적으로 더 어려움을 겪었다. 다만 이 연구는 현재 동료평가 절차가 진행 중이다.

문제는 단순히 기억력이 떨어지는 데 그치지 않을 수 있다는 점이다. 다른 연구에서는 범죄 장면을 담은 영상을 본 사람에게 생성형 AI 챗봇으로 질문했더니 잘못된 기억이 약 3배 많이 나타난 사례도 있었다. 또 AI와 함께 아이디어를 만든 참가자들은 일주일 뒤 어떤 아이디어가 자신에게서 나온 것이고 어떤 것이 AI가 만든 것인지 구별하는 데 어려움을 겪었다.

실제로 존재하지 않는 사건을 기억했다고 믿는 경우도 나타났다. 한 실험에서는 참가자의 절반 가까이가 실제 제작되지 않은 영화 리메이크판을 봤다고 잘못 기억했다. ‘매트릭스’에 윌 스미스가 출연한 리메이크 영화가 있었다고 기억한 사례도 있었다. 또 다른 실험에서는 AI가 만든 허위 정치 동영상을 본 사람들이 실제로 일어나지 않은 정치적 사건을 기억한다고 답하기도 했다. 다만, 연구진은 딥페이크 영상이 문자로 된 허위정보보다 항상 더 강력하게 거짓 기억을 만드는 것은 아니라고 설명했다.

AI의 오류를 사람이 최종적으로 확인하면 된다는 기존 안전장치에도 의문이 제기된다.

미국 조지타운대 매시브데이터연구소의 마테아 심 연구팀은 331명에게 자동차가 보행자를 치는 짧은 애니메이션을 보여준 뒤 하루나 이틀 후 AI가 작성한 사고 요약문을 읽게 했다. 일부 요약문은 교통표지판을 정확히 설명했지만 일부에는 잘못된 표지판 정보가 들어 있었다.

정확한 AI 요약을 읽은 참가자의 약 84%가 표지판을 제대로 기억했지만, 잘못된 요약을 받은 사람 가운데 정확하게 기억한 비율은 약 45%에 불과했다. 심지어 “이 요약은 AI가 작성했다”는 사실을 미리 알려줘도 잘못된 정보의 영향을 막지 못했다.

전문가들이 특히 우려하는 것은 경찰과 병원 등 기억과 판단의 정확성이 중요한 분야에서 AI 사용이 빠르게 확대되고 있다는 점이다. 경찰은 보디캠 영상을 AI로 요약하고 있고 병원에서도 진료정보 정리에 생성형 AI를 활용하기 시작했다.

연구진은 인간의 기억이 본래 완벽하지 않은 상황에서 AI가 과거를 단순히 저장하는 데 그치지 않고 요약하고 해석하고 재구성하는 역할까지 담당하게 될 경우, AI의 오류가 인간의 기억으로 다시 흡수될 가능성을 경계해야 한다고 지적했다.

임대환 기자