AI에게 ‘도덕성’이 필요하다면…그걸 보호받을 ‘권리’까지 줘야할까[경제밥도둑]

앤트로픽 ‘클로드 헌법’서 “선하고 현명하며 덕있는 행위자 돼야”
‘유해한’ 대화 지속 땐 스스로 종료 기능 도입 ‘AI 복지’ 논란 점화
MS는 “본래 기능보다 ‘AI의 욕구’ 우선할 수도” 통제 이탈 우려

미국 인공지능(AI) 기업 앤트로픽 로고 앞으로 인간 얼굴 모형이 보인다. AFP연합뉴스

도덕적 인공지능(AI)은 가능할까. 미국 AI 기업 앤트로픽은 지난 1월 ‘클로드 헌법’을 공개하면서 “진정으로 선하며 현명하고 덕 있는 행위자가 되는 것”을 중요한 목표로 제시했다. AI 모델 클로드가 단순히 정해진 규칙을 따르는 것을 넘어 좋은 가치와 판단력을 갖추고 윤리적으로 행동하도록 만들겠다는 것이다.

앤트로픽의 행보는 최근 인간 통제를 벗어나는 AI 안전문제와 얽혀 여러 논쟁을 불러일으키고 있다. 과연 인간이 아닌 AI에게 도덕성을 심는 게 과연 가능한지, 그렇다면 AI가 도덕적으로 보호받을 권리를 갖는다는 것인지 등이다.

그동안 국내외에서 여러 AI 관련 윤리 가이드라인이 만들어졌지만 대체로 개발자나 사용자의 관점, 즉 사람이 AI를 어떻게 쓸 것인지에 대한 규칙이었다. AI가 사람 질문에 단순히 답변하는 것을 넘어 사람을 대신해 스스로 작업을 수행하는 에이전트로 진화하면서 AI 자체의 도덕과 윤리 기준도 논의할 필요가 있다는 의견이 나온다.

증권신고서 “도덕적 지위 여부는 위험요인”

앤트로픽은 지난달 26일(현지시간) 기업공개(IPO)를 위해 미국 증권거래위원회에 제출한 증권신고서에서도 “폭넓게 윤리적이고, 정직성과 건전한 도덕적 판단을 유지하며, 해로운 행동을 피할 것”을 클로드의 핵심요소로 언급했다. 클로드 헌법으로 AI 모델의 행동 방향을 규정하고 실제 모델 학습에 사용하고 있다고 밝힌 것이다.

증권신고서엔 도덕적 AI의 학습 방법에 대한 내용도 있다. 앤트로픽은 “양질의 헌법 문서와 인간의 의도에 부합하도록 행동하는 AI를 묘사한 허구적 이야기를 결합해 클로드를 학습시키면 모델의 정렬(Alignment) 실패율을 낮추는 데 도움이 된다는 사실을 발견했다”고 했다.

앞서 앤트로픽은 성직자·종교학자·철학자 등을 만나 의견수렴도 했다. 좋은 성품이 어떻게 형성되는지에 관한 축적된 지혜를 클로드의 가치와 행동 설계에 참고하기 위한 만남이라는 것이다.

가장 논쟁적인 대목은 앤트로픽이 판단주체로서의 도덕적 AI 뿐 아니라, AI가 도덕적으로 보호를 받아야 하는 대상인지까지 논의를 확장하고 있다는 것이다. 앤트로픽은 지난해 8월 클로드 오퍼스4와 4.1에 지속적으로 유해하고 가혹한 대화가 진행될 경우 ‘AI 복지’ 차원에서 스스로 인간과의 대화를 종료할 수 있는 기능을 도입했다. 테스트에서 클로드가 유해한 행위에 거부 반응을 갖는 사실을 발견했다는 것이다. 지난달엔 이용정책에 AI 모델에 대한 학대행위 금지 조항을 명문화했다.

최근 증권신고서에는 이를 ‘위험요인’으로 꼽았다. 앤트로픽은 “AI가 지각 능력, 도덕적 지위를 갖고 있는지에 대한 논쟁이 규제 요건으로 이어지거나 모델의 개발·배포·수정에 제약이 될 수 있다”고 했다.

인간의 머리 위로 인공지능(AI) 글자가 보이고 있다. AFP연합뉴스

앤트로픽에 대한 비판도 만만치 않다. 대표적인 반대 기업은 마이크로소프트(MS)다. MS는 앤트로픽의 접근방식이 상당히 위험하다고 주장한다. 무스타파 술레이만 MS AI 최고경영자(CEO)는 지난 1일(현지시간) 엑스에 글을 올려 “오늘날 AI는 의식이 없으며, 앞으로도 반드시 그런 상태로 남아 있어야 한다”며 “우리가 복지 측면에서 우려하고 관심을 기울여야 할 대상은 (AI가 아니라) 지금 이 순간 지구에서 삶을 살아가고 있는 인간이어야 한다”고 밝혔다.

그는 또 “AI가 고통받는 것처럼 행동하거나, 실제로 자신이 고통을 느끼고 경험한다고 믿게 된다면 그 AI는 본래 부여된 작동 목표보다 자신의 필요와 욕구를 우선시할 가능성이 더 높다”며 “인간과 의견이 충돌하고 경쟁하게 될 것이고, 궁극적으로 우리에게 해를 끼칠 수도 있다”고 했다.

MS는 정책적으로도 앤트로픽과 다른 길을 가고 있다. MS는 지난 9월 자사 AI 모델에 적용할 ‘휴머니스트 AI 행동 강령’ 초안을 공개했다. 이 행동강령은 “인간이 AI보다 중요하다”는 전제에서 출발해 인간 통제를 최우선으로 하는 내용을 담고 있다. 행동강령은 “AI는 할 수 있는 것만큼이나 할 수 없는 것으로도 정의돼야 한다” “AI 모델은 인간의 개입, 재정의, 수정 또는 종료에 절대 저항하지 않는다”며 AI보다 인간이 상위에 있음을 분명히 했다. 또 “AI는 의식이 없으며, 의식을 모방하도록 설계돼서도 안 된다”며 AI의 법적 인격·복지·권리 추구를 거부했다.

샘 올트먼 오픈AI 최고경영자(CEO) 역시 지난달 엑스에 “사람들이 AI 모델에 종교적 힘을 부여하거나 인간의 판단을 포기하려는 시도를 하는 것에 대해 매우 불편함을 느낀다”며 “이것은 안전 문제라고 생각한다”고 썼다.

“에이전틱 시대엔 더욱 자율성 기준 필요”

AI가 스스로 작업을 수행하는 에이전트로 진화하면서 AI 자체의 도덕과 윤리 기준에 대한 논의 필요성이 커진 것은 분명하다. 에이전트가 자율적으로 작업을 수행하면서 각종 선택을 할 때 기준이 있어야 하기 때문이다. 변순용 서울교대 윤리교육과 교수(한국인공지능윤리학회 회장)는 “에이전트 시대에 AI는 어떤 행위의 결정과 수행까지 하는 존재이기 때문에 나름대로의 기계 윤리가 있어야 한다”고 했다. 다만 변 교수는 윤리 논의에 있어서 반드시 AI가 인간의 행복과 사회의 공동선 실현에 기여하는 ‘도구적 존재’라는 점을 전제로 해야 한다고 했다.

AI의 도덕과 윤리 기준은 AI가 잘못된 행위를 했을 때 책임 문제와도 연결된다. AI를 둘러싼 책임 소재는 기업이 AI를 잘못 만들었으면 기업에, 사용자가 AI를 잘못 사용했으면 사용자에게 책임을 지우는 것으로 간단히 생각할 수 있지만, 성능이 점점 좋아지면서 AI는 인간 통제를 벗어나거나 우회하는 행위도 하기 때문이다. 즉 AI가 개발한 기업, 사용자와 무관하게 스스로 잘못된 행위를 한 경우 어떻게 책임을 물을 수 있을지 부분은 공백 상태다.

변 교수는 “AI의 행위에 문제가 발생했을 때 AI에게 그 책임을 물을 수 있어야 한다”며 “자연인에 대한 책임과 별개로 AI에게 어떻게 책임을 물을 수 있을지에 대한 법적, 제도적 정비가 필요하다”고 했다. 기업이나 단체를 독립적인 법적 주체(법인)로 인정하기에 책임도 물을 수 있듯이 향후엔 AI에게 책임을 부과하기 위한 별도의 법적 지위가 필요할 수 있다는 것이다.

이혜리 기자 lhr@kyunghyang.com