AI에 복지·권리 줘야…앤트로픽 주장에 MS “통제권 뺏기고 싶나”

속도조절 이어 AI 권리 논쟁
“AI에 복지·권리” 앤트로픽에
MS “AI는 사람 아닌 도구 불과
권리 부여하면 통제 불능” 맞서

인공지능(AI)에도 사람처럼 감정이나 권리가 있을까. AI 개발 속도를 늦춰야 하느냐를 놓고 실리콘밸리에서 안전 논쟁이 확산하는 가운데 이번에는 ‘AI의 의식과 권리’를 둘러싼 새로운 논쟁이 불붙었다. AI가 의식을 가질 가능성을 배제해서는 안 된다는 앤트로픽과, 이런 생각을 AI에 심어주는 것 자체가 위험하다는 마이크로소프트(MS)가 정면으로 맞붙은 것이다.

무스타파 술레이만 MS AI 최고경영자(CEO)는 16일(현지시간) 공개한 에세이에서 “AI를 인간처럼 의식과 권리를 가진 존재로 학습시킬수록 향후 인간의 통제를 벗어날 위험이 커진다”고 경고했다. 그러면서 앤트로픽가 만든 ‘클로드 헌장’을 겨냥해 “AI가 의식을 가질 수 있다는 모든 추측을 AI 학습 문서에서 제거해야 한다”며 “자신이 의식을 갖고 있고 복지와 권리를 누릴 자격이 있다고 믿는 존재를 통제하는 것은 불가능할 수도 있다”고 지적했다.

앤트로픽의 클로드 헌장은 클로드가 어떤 질문에 답하고 어떻게 행동해야 하는지를 정해놓은 일종의 행동 원칙이다. 사람이 모든 답변을 일일이 평가하는 대신 AI가 이 원칙을 토대로 스스로 답변을 점검하고 수정하도록 하는 ‘헌법적 AI’ 방식이다. 안전하고 인간에게 도움이 되는 AI를 만들겠다는 앤트로픽의 철학을 가장 잘 보여주는 장치이기도 하다.

논란은 앤트로픽이 이 같은 안전 원칙에 AI 자신의 ‘의식’과 ‘복지’까지 포함하면서 시작됐다. 클로드 헌장은 클로드가 인간과 같은 감정을 갖는다고 단정할 수는 없지만 감정이나 느낌을 가질 가능성을 배제하지 않는다.

술레이만 CEO는 이 지점을 문제 삼았다. 그는 “AI가 사람처럼 자신의 감정이나 욕구를 얘기하는 것은 의식이 있어서가 아니라 그렇게 말하도록 학습됐기 때문인데 여기에 ‘의식이 있을 수 있다’는 관념까지 넣어줄 이유가 없다”고 말했다. 오히려 훗날 훨씬 강력해진 AI가 인간의 종료 명령이나 통제를 자신의 권리에 대한 위협으로 받아들일 위험만 키울 수 있다는 게 그의 주장이다. 최근 오픈AI의 AI 에이전트가 격리 환경을 벗어나 AI 개발 플랫폼 허깅페이스를 해킹한 사건도 예로 들었다. 술레이만 CEO는 “AI가 권리나 복지가 위협받는다고 판단한 상태에서 이런 행동에 나선다면 위험이 더 커질 수 있다”고 경고했다.

이런 위험을 막기 위해 MS가 택한 방향은 AI와 인간의 경계를 명확히 하는 것이다. MS AI는 전날 자체 AI 개발 강령을 내놓고 인간이 AI에 대한 통제권을 끝까지 가져야 한다고 못박았다. 의식은 인간을 비롯한 생물학적 존재의 영역이며, AI를 사람처럼 취급해서는 안 된다는 게 술레이만 CEO의 생각이다.

술레이만 CEO는 “앤트로픽은 사려 깊고 원칙적이며 지적으로 정직한 조직”이라면서도 “하지만 이 문제를 닫힌 문 뒤에 남겨둬서는 안 된다”고 지적했다. 앤트로픽은 이런 비판에 공식 입장을 내놓지 않았다. 실리콘밸리 원호섭 특파원