천만 사진앱 ‘소다’…AI 통제 불능 비판

네이버 자회사 스노우, AI 생성 선정적 결과물에 ‘기계적 답변’

소다 어플리케이션

(☞한겨레 뉴스레터 H:730 구독하기. 검색창에 ’h:730’을 쳐보세요.)

카메라 애플리케이션(앱) ‘소다’(SODA)의 인공지능(AI) 편집 기능이 성적 불쾌감을 일으키는 사진을 생성한 사례가 발생한 것에 대해 이 앱을 만든 네이버의 자회사 스노우가 ‘인공지능 생성물을 100% 통제할 수 없다’는 입장을 내놨다. 통제할 수 없는 인공지능 서비스를 상업화한 것에 대해 무책임한 행태라는 전문가들의 지적이 나온다. 소다는 스마트폰 앱 장터인 ‘구글 플레이 스토어’에서 1000만회 이상 다운로드된 인기 카메라 앱이다.

직장인 ㄱ씨는 9일 한겨레와 온라인 메신저 대화를 통해 “앱을 사용하다 수치심을 느낄 줄 몰랐다. 너무 불쾌하고 정신적 충격이 크다”고 호소했다. 그는 지난 4일 소다 앱의 유료 서비스인 ‘인공지능 배경 확장’ 기능을 자신의 증명사진에 적용했다. 어깨 부분 중간에 잘린 증명사진을 상반신 전체가 나오는 모습으로 보정하려는 의도였는데, 실제 인공지능이 생성한 결과물에선 자신이 가슴을 양손으로 움켜쥐고 있는 듯한 모습이 나왔다. 이 이미지를 제외한 다른 나머지 결과에선 정상적인 사진이 나왔지만, ㄱ씨는 앱을 사용하다 갑자기 받은 이미지의 충격에서 벗어나기 힘들었다고 했다.

이에 대해 스노우 쪽은 “인공지능 기술이 적용된 서비스의 특성상 결과물이 예상치 못한 형태로 구현된 것”이라고 설명했다. 인공지능이 생성한 이미지를 사용자에게 최종적으로 노출하기 전 필터 기술을 통해 모욕적이거나 선정적인 이미지를 최대한 제거하고 있지만, ㄱ씨의 사례에선 이 기능이 완벽하게 작동하지 않았다고도 설명했다.

하지만 문제가 간단치 않다는 게 전문가들의 지적이다. 소다 앱에 적용된 인공지능 이미지 생성 엔진인 ‘스테이블 디퓨전’ 자체에 문제가 있다는 이유에서다. 스테이블 디퓨전은 영국 스타트업 ‘스태빌리티 에이아이(AI)’가 개발을 주도한 모델인데, 개발 단계에서 음란물을 학습 데이터에 포함시킨 것으로 알려져 있다. 김명주 서울여대 교수(정보보호학)는 “다른 인공지능 모델과 달리 스테이블 디퓨전은 그래픽 이미지를 생성하기 위한 목적으로 포르노 영상물을 학습 데이터에 포함했기 때문에 공개될 때부터 많은 우려가 제기됐다”고 말했다.

전문가들은 소다 앱의 이용자 연령을 제한하는 등의 방식으로 기업의 무책임한 상업화를 막아야 한다고 지적했다. 현재 소다 앱은 3살 이상이면 누구나 사용할 수 있다. 장여경 정보인권연구소 상임이사는 “성착취물로 연결되지 않는다고 해도 인공지능 도구로 정신적 피해를 입은 소비자들이 서비스를 출시한 기업에 대해 최소한의 주의 의무를 요구할 수 있어야 한다”며 “‘현재 기술로는 막을 수 없다’는 스노우의 태도는 무책임하다”고 꼬집었다.

스노우 관계자는 한겨레에 “인공지능을 활용하는 모든 회사가 이번과 같은 이슈를 해결하기 위해 분투하고 있다. 유사한 사례가 발생하지 않도록 필터를 더욱 강화하는 등 서비스 고도화를 노력하겠다”고 했다.

선담은 기자 sun@hani.co.kr