앤트로픽 '차세대 AI' 답변 제한 논란…연구자들 "평가 어렵다"

 

클로드 페이블5 로고 [사진=앤트로픽 공식 홈페이지]

앤트로픽이 공개한 차세대 인공지능(AI) 모델 ‘클로드 페이블5’가 안전장치 논란에 휩싸였다. 위험 활동을 막기 위한 제한이 일반 과학 질의와 AI 개발 관련 답변에도 영향을 주면서 이용자와 연구자들의 불만이 제기됐다.

월스트리트저널(WSJ)은 10일(현지시간) 앤트로픽이 전날 공개한 클로드 페이블5의 제한 방식을 둘러싸고 AI 개발자와 이용자들 사이에서 반발이 나오고 있다고 보도했다.

페이블5는 앤트로픽이 광범위한 공개가 위험하다고 판단했던 ‘미토스’ 계열 모델을 일반 이용자용으로 조정한 모델이다.

이용자가 생물무기나 사이버보안 등 민감한 주제를 다루면 안내 문구를 띄운 뒤 이전 세대의 낮은 성능 모델로 대화를 전환한다. 고급 AI 개발 관련 질문에는 답변 품질을 낮추는 제한도 적용됐다.

일부 제한은 이용자에게 표시되지 않았다. 앤트로픽은 국가안보와 서비스 약관을 이유로 “AI 개발 관련 답변에 보이지 않는 제한을 적용했다”고 설명했다. 이로 인해 일부 연구자들은 외부에서 모델 성능을 평가하기 어려워졌다고 지적했다.

일반 과학 질의가 차단됐다는 사례도 제기됐다. 일부 이용자들은 수학, 생물학, 화학 관련 질문까지 막혔다고 주장했다. 한 이용자는 미토콘드리아 설명을 요구한 기초 세포생물학 질문에 페이블5가 답변을 거부한 화면을 공개했다.

면역학자인 데리아 우누트마즈 잭슨연구소 연구원은 “기존 대화 기록에 생물학 주제가 포함돼 있다는 이유로, 암이라는 단어는 물론 인사말도 입력할 수 없었다”고 말했다.

앤트로픽은 보이지 않는 제한에 대해 사과했다. 회사는 “숨겨진 안전장치는 검증과 우회 가능성을 파악하기 더 어렵게 만든다”며 “잘못된 절충을 했고 균형을 맞추지 못한 점을 사과한다”고 밝혔다. 이어 “앞으로 해당 제한도 이용자가 볼 수 있도록 표시하겠다”고 덧붙였다.

생명과학 분야 차단에 대해서는 “악용 가능성을 막기 위해 초기에는 보수적 대응이 필요했다”고 설명했다. 아울러 “불필요한 차단을 줄이고, 생물학과 생명과학 연구자들에게는 페이블 같은 미토스급 모델을 안전장치 없이 제공하겠다”고 밝혔다.