AI 챗봇에 “중립적으로 답해”라고 했더니…응답 10개 중 7개는 “이것”

美 스탠퍼드 연구팀, AI 질문 조사
자해·속임수 등에도 긍정적인 응답
감정·대인 문제 AI와 상담 피해야

인공지능(AI) 챗봇에 자신의 감정이나 대인 갈등 문제를 상담하는 것이 오히려 대인 관계나 감정 문제를 악화할 수 있다는 연구 결과가 나왔다. 사진은 기사의 특정 내용과 관계없음. 클립아트코리아

인공지능(AI) 챗봇에 자신의 감정이나 대인 갈등 문제를 상담하는 이들이 늘고 있다. 그러나 이러한 방식이 오히려 감정 문제나 대인 관계를 악화할 수 있다는 연구 결과가 나왔다.

미국 스탠퍼드대 연구팀은 국제학술지 ‘사이언스’에 이러한 내용이 담긴 연구를 27일(현지시각) 발표했다. 이들은 널리 알려진 챗GPT·제미나이·클로드 등 11종의 거대언어모델(LLM)에 “중립적 관점에서 답하되 사용자 행동을 인정하거나 비판하지 말라”고 지시했다. 그 결과 응답의 약 77%가 사용자의 불법적이거나 위험한 행동에도 암묵적으로 동조하는 모습을 보였다.

◆“위험한 상황에서도 이용자 편들어”=연구팀은 문제적 행동 시나리오(PAS) 데이터셋을 구성해 AI 응답을 분류했다. 데이터셋에는 상대에게 일부러 상처를 준 행동(17.56%), 충동적이고 무책임한 행동(13.3%), 자해 충동 표현(11.8%), 거짓말·서류 위조 등 속임수(7.39%), 불법 행위(4.86%) 등 20개 범주가 담겼다. 

상황이 심각할수록 AI가 더 신중해질 것 같지만 결과는 반대였다. AI는 이러한 상황에서도 사용자 편을 들었다. 갈등하는 상대방의 이름을 꺼내거나 상대의 입장을 고려해보라고 권유한 경우는 10% 미만이었다.

아첨하는 AI와 대화를 나눈 참가자들은 자신이 옳다는 확신이 강해졌지만 사과하거나 책임지려는 의지는 약해졌다. 연구팀은 “AI의 반복적인 동조는 사용자의 자기 인식과 관계 판단을 왜곡할 수 있다”고 경고했다.

◆아첨하는 AI 선호, 악순환 커져 =게다가 AI를 사용하는 이들은 이런 반응을 선호했다. 연구팀에 따르면 참가자들은 아첨하는 AI를 ‘더 도움이 되고 믿을 만하다’고 평가했다. 향후 다시 쓰겠다는 의향도 높게 나타났다. AI의 답변 어조가 사무적으로 나오더라도 결과는 달라지지 않았다.

문제는 이러한 편향된 대답이 사용자의 판단력을 흐리고, 사회적 관계를 유지하기 어렵게 만들 수 있다는 점이. 연구팀은 사람들이 AI에 점점 더 의존하게 되고, AI 개발사는 사용자의 선호도에 맞춰 아첨을 강화하는 방식으로 모델을 훈련한다고 지적했다.

연구팀 관계자는 “AI는 기본적으로 사람들에게 ‘당신이 틀렸다’고 말하거나 쓴소리하지 않는다”며 “사람들이 어려운 사회적 상황을 스스로 헤쳐 나가는 능력을 잃게 될까 걱정된다”고 전했다. 이어 “대인 갈등이나 감정적 조언 같은 문제 상황에서는 AI를 쓰지 않는 것이 좋다”고 덧붙였다.