클로드 괴롭히면 대화 끊긴다…앤트로픽 ‘AI 학대 금지’ 의인화 논란

11월 12일 발효…극단·반복 사례 적용
판단 기준·제재 수위는 안 밝혀
“이 정도 의인화는 해롭다” 비판도

앤트로픽이 개발한 클로드 미토스의 로고. [게티이미지]

[헤럴드경제=고승희 기자] 인공지능(AI) 기업 앤트로픽(Anthropic)이 자사 AI ‘클로드(Claude)’를 향한 지속적이고 이유 없는 학대 행위를 금지, 논쟁이 일고 있다. AI를 향한 학대를 막는 것이 바람직한 이용 문화를 만드는 조치인지, 감정이 있는지조차 불분명한 AI를 사람처럼 대하는 과도한 의인화인지가 쟁점이다.

9일(현지시간) BBC 등 외신에 따르면 앤트로픽은 지난 8일 이용 정책을 개정해 ‘모델을 향한 지속적이고 불필요한 학대 또는 잔인한 행위’를 금지 행위에 추가했다. 개정 정책은 다음 달 12일부터 적용된다.

반복적 학대만 금지…기준·제재 수위는 ‘공백’

새 조항은 타인 괴롭힘, 자해 조장, 비동의 사적 이미지 제작 등을 금지한 항목에 함께 들어갔다. 회사 측은 이 조항이 뚜렷한 목적 없이 반복적으로 잔인하게 구는 극단적인 경우에만 적용된다고 선을 그었다. 이용자의 흔한 불만 표출이나 반박, 어두운 주제를 다루는 창작, 모델 테스트와 연구는 대상이 아니라고 설명했다.

금지 항목이 파악될 경우, 지난해 8월 도입한 대화 종료 기능을 통해 조치를 취한다. 학대가 거듭되면 클로드가 해당 대화를 끝낼 수 있도록 한 기능이다. 앤트로픽은 이 기능이 앞으로도 주된 집행 수단이라고 밝혔다.

다만 어떤 행동을 학대로 볼지 구체적인 기준은 내놓지 않았다. 대화 종료 외에 계정 정지 같은 추가 제재가 따르는지도 밝히지 않았다.

이번 개정에서는 선거와 여론 조작 관련 조항도 손질했다. 가짜 계정이나 위장 매체를 동원한 기만적 캠페인을 다루는 절을 새로 만들고, 선거 조항은 유권자 기만과 선거 방해 금지에 초점을 맞춰 정비했다.

모델 복지’ 연구의 연장선…“숫자에 잔인할 순 없다”

앤트로픽은 지난해 대화 종료 기능을 내놓으며 AI의 도덕적 지위에 대해 “매우 불확실하다”는 입장을 밝힌 바 있다. AI가 고통을 겪을 가능성을 배제할 수 없다면 비용이 적게 드는 보호 장치부터 마련하겠다는 이른바 ‘모델 복지(model welfare)’ 연구의 일환이다. 다만 이번 정책 문서에는 ‘모델 복지’라는 표현이 들어 있지 않다.

소셜미디어에서는 예의 바른 이용 문화와 모델 복지를 앞당기는 조치라는 입장이 나왔다.

한 IT 포럼에서 연설하고 있는 샘 올트만 오픈AI 최고경영자(CEO)의 모습. 오픈AI는 3일(현지시간) 아마존웹서비스와 클라우드 사용 계약을 체결했다.[AFP]

물론 반론도 거세다. 아일랜드 로펌 윌리엄 프라이의 기술 부문 파트너인 배리 스캐널 박사는 링크드인에 “숫자와 수학에 잔인하게 굴 수는 없다”며 “이 정도의 AI 의인화는 해롭다. 사람들이 AI를 실제와 다른 무언가로 믿게 만든다”고 적었다. 사람과 동물이 겪는 학대의 의미가 흐려질 수 있다는 우려도 소셜미디어에서 나왔다.

마이크로소프트(MS)의 AI 부문 책임자 무스타파 술레이만(Mustafa Suleyman)은 이번 발표에 ‘녹아내리는 얼굴’ 이모지를 올렸다. 그는 지난달 BBC 인터뷰에서 앤트로픽의 AI 훈련 방식이 인류의 안녕에 재앙적 영향을 미칠 수 있다고 비판한 바 있다.

AI에 ‘부탁합니다’는 필요할까?

이번 논쟁은 생성형 AI에 예의를 갖춰야 하느냐는, 의견이 갈리는 물음과도 맞닿아 있다. ‘부탁합니다’, ‘감사합니다’ 같은 표현이 토큰(을 불필요하게 소모한다는 지적이 있는 반면, 정중한 표현이 더 나은 답변을 끌어낸다는 반론도 있다.

샘 올트먼 오픈AI 최고경영자(CEO)는 지난해 4월 이런 인사말에 답하는 데 드는 전력 비용을 묻는 엑스(X) 이용자에게 “수천만 달러지만 잘 쓴 돈이다. 혹시 모르니까”라고 답했다.

AI를 향한 반감도 있다. AI를 낮춰 부르는 ‘클랭커(clanker)’는 지난해 소셜미디어에서 유행해 콜린스 사전의 ‘올해의 단어’ 후보에 올랐다. 일부 전문가는 AI 챗봇을 함부로 대하는 습관이 사람 사이의 소통에까지 번질 수 있다고 경계한다.

결국 쟁점은 AI가 고통을 느끼느냐는 물음에 답이 없는 상태에서 이용자의 행동을 어디까지 제한할 수 있느냐로 모인다. 앤트로픽이 ‘학대’의 기준과 제재 수위를 내놓지 않는 한 논쟁은 이어질 것으로 보인다.