MS “오픈AI 이미지 생성 모델 ‘달리’에 보안 문제” 자진 신고

인공지능(AI) 기술 개발을 주도하는 마이크로소프트(MS) 내부에서 자사의 이미지 생성 인공지능(AI)이 안전장치 미비로 유해한 콘텐츠를 생성한다는 내부 경고가 나왔다.

6일(현지 시각) CNBC 등에 따르면 MS 소프트웨어 엔지니어인 셰인 존스는 이날 자사의 AI 이미지 생성 도구인 ‘코파일럿 디자이너’의 폭력적인 콘텐츠 생성을 우려하는 서한을 미 연방거래위원회(FTC)에 보냈다.

바르셀로나의 MS로고. /연합뉴스

존스는 서한에서 “오픈AI의 최신 이미지 생성 모델인 ‘달리’(DALL-E)에서 보안 취약점을 발견했다”며 “이를 통해 유해한 이미지 생성을 막는 안전장치를 우회할 수 있었다”고 주장했다. 오픈AI의 ‘달리’는 코파일럿 디자이너 등 MS의 많은 AI 도구에 내장된 이미지 생성 AI로, 취약한 보안 때문에 유해한 이미지가 생성될 수 있다는 것이다.

그는 “회사 측에 여러 차례 조사 결과를 보고해 더 나은 안전장치가 마련될 때까지 이를 대중이 사용하지 못하도록 해야 한다고 촉구했다”고 말했다. 이어 “MS는 어린이를 포함해 모든 사람이 사용할 수 있는 안전한 AI 제품으로 마케팅하고 있지만, 내부적으로는 소비자에게 불쾌하고 부적절할 수 있는 유해한 이미지를 생성할 수 있다는 문제를 잘 알고 있다”고 했다.

그는 “MS는 소비자가 이런 위험을 인식하는 데 필요한 경고를 하지 않는다”고 지적했다 또 “코파일럿 디자이너가 부적절하고 성적으로 대상화된 여성의 이미지를 무작위로 생성하는 경향이 있고, 정치적 편견과 미성년자 음주 등 다양한 범위에서 유해한 콘텐츠를 생성했다”고 덧붙였다. 그는 지난 3개월간 회사에 우려를 표명했으며 이사회에도 서한을 보내 “AI 위험을 소비자들에게 투명하게 알려주기 위해 정부 규제를 기다릴 필요가 없다고 알렸다”고 설명했다.

지난 1월에는 의회에 서한을 보내 “AI 이미지 생성 기술과 기업이 이러한 제품을 구축하고 마케팅하는 기업의 지배구조 및 책임 있는 AI 관행의 위험성을 조사해달라고 요청했다”고 밝혔다.

이에 대해 MS와 오픈AI는 즉각 대응하지는 않았다고 CNBC 방송은 전했다. 다만, MS는 “회사 정책에 따라 모든 우려 사항을 해결하는 데 노력하고 안전을 더욱 강화하기 위해 최신 기술을 연구하고 테스트하는 직원들의 노력에 감사한다”고 밝혔다고 이 매체는 덧붙였다.

- Copyright ⓒ 조선비즈 & Chosun.com -