챗GPT 답변, 사용자 불만은… ① 질문 의도 오해 ② 깊이 부족 ③ 부정확[박재혁의 데이터로 보는 세상]
전체 맥락을 이해하기 위해서는 본문 보기를 권장합니다.
최근 챗GPT 같은 생성형 인공지능(AI) 모델이 큰 인기를 끌고 있다.
챗GPT 같은 생성형 AI 모델들로부터 원하는 수준의 답변을 얻지 못할 경우 사용자들은 어떻게 대응할까? 많은 사용자는 질문을 좀 더 자세하게 작성하여 다시 물어보거나, AI 모델의 답변 중에 부정확한 부분을 짚어주는 적극적인 반응을 보였다.
흥미로운 점은, 생성형 AI 모델에 대한 지식수준에 따라 사용자들의 불만족 대응 방식이 다르다는 것이다.
이 글자크기로 변경됩니다.
(예시) 가장 빠른 뉴스가 있고 다양한 정보, 쌍방향 소통이 숨쉬는 다음뉴스를 만나보세요. 다음뉴스는 국내외 주요이슈와 실시간 속보, 문화생활 및 다양한 분야의 뉴스를 입체적으로 전달하고 있습니다.
종종 거짓된 내용으로 답변
편향된 답변은 잘 의식못해 심각
내용 구체화해 다시 물었을 때 답변 불만족 해소 비율 높아
챗GPT 같은 생성형 AI 모델을 사용할 때 질문이나 요구 사항들을 언어모델이 잘 이해할 수 있도록 작성하는 방법, 즉 ‘프롬프트 공학’은 AI를 잘 사용하기 위한 핵심 능력이다. 다양한 가이드라인과 팁이 소개되고 있지만, 기술에 익숙하지 않은 일반 사용자들은 종종 불만족스러운 상황을 경험하고, 사용을 포기하기도 한다.
이러한 문제점을 해결하기 위한 HCI 분야의 연구들이 진행되고 있다. 우리나라의 KAIST 연구팀을 중심으로, 그리고 필자도 참여한, 최근 연구(Understanding users’ dissatisfaction with chatgpt responses·김윤수 등)는 생성형 AI 모델 사용자들이 어떤 상황에서 어떤 이유로 불만족을 느끼는지, 사용자 특성에 따른 차이를 분석했다.
생성형 AI 모델 속 견해들이 우리의 생각이나 의견에 영향을 미치기도 할까? 미국, 이스라엘, 독일의 연구진이 협업한 두 번째 연구(Co-writing with opinionated language models affects users’ views·모리스 야케슈 등)는 챗GPT 같은 생성형 AI 모델이 특정한 사회문제에 대해 가진 생각이나 견해가 이를 사용한 사용자들의 생각이나 견해에 영향을 주는지를 대규모 실험을 통해 분석했다. 연구 결과는 생성형 AI 모델이 우리의 의견을 바꿀 수 있다는 것을 보여준다. 편향된 생성형 AI 모델 기반 도우미를 사용한 참여자들은 이러한 생성형 AI 모델이 지지하는 특정 입장을 본인의 글에서 더 많이 표현했고, 실험 후 설문 조사 결과에서도 참여자들의 소셜미디어에 대한 태도 자체가 생성형 AI 모델의 조작된 선호 의견에서 영향을 받았음이 발견되었다.
사람들이 생성형 AI 모델의 의견에 따르는 이유가 단순히 편리해서만은 아니었다. 일부 참가자들은 요구된 작업을 빨리 마치기 위해 생성형 AI 모델의 추천 표현을 활용했을 수도 있지만, 글 작성에 충분한 시간을 투자한 참가자들 사이에서도 이 효과는 지속되었다. 재미있는 점은 참여자 대부분이 생성형 AI 모델의 편향성에서 영향을 받았다는 것을 인식하지 못했다는 것이다. 참여자들은 자신들이 사용한 생성형 AI 모델의 편향성과 무관하게 AI 모델의 제안들이 균형 잡혀 있다고 생각하는 경향을 보였다.
챗GPT 같은 생성형 AI 모델이 급속도로 발전하면서 이러한 모델들을 바탕으로 한 응용프로그램들의 상용화도 점차 활발하게 이루어지고 있다. 이러한 상황에서 위의 연구들은, 생성형 AI 모델을 안전하고 효과적으로 활용하기 위해서는 사용자들이 단순한 사용 팁뿐만 아니라 생성형 AI 모델의 구조에 대한 기본적 지식을 습득하는 것이 중요하다는 것을 보여준다. 더불어 인공지능 기반의 언어 기술에 잠재적으로 설득될 위험성을 이해하고 이를 완화할 사회적 정치적 정책적 방법을 모색하는 것이 중요해질 것이다. 정책 차원의 방안 수립이 요구된다.
박재혁 KDI 국제정책대학원 교수
Copyright © 동아일보. 무단전재 및 재배포 금지.
- 與 소장파 반성문…“공정-상식 무너질때 침묵했고 비겁했다”
- 尹 “부처님 마음 새기며 올바른 국정”…조국과 5년만에 공식 대면
- ‘의원회관 로얄층’이라던 6층서 낙선자 쏟아진 與…방 배정 눈치싸움 시작
- ‘목격담 정치’로 변죽 울리는 한동훈…전대 출마 움직임 본격화
- 태국 경찰 “‘파타야 살인사건’ 동기는 금전문제…피의자 범죄인 인도 추진”
- “김호중, 매니저에 사고 냈다며 대신 출석 요구”… 녹취파일 확보
- 냉장고에 있는 물을 마시기가 두렵다
- ‘마음의 평화, 행복한 세상’ …불기 2568년 부처님오신날 봉축법요식 열려
- ‘월가의 아인슈타인’ 터크먼 “한국 젊은이여, 포모에 투자 말라”
- [단독]‘20대 뇌사’ 부른 음주운전자, 재범에도 반성문 35번 내고 징역 2년