[Interview] 롭 카츠 세일즈포스 제품 부문 부사장 | “책임감 있는 AI 고집하는 이유? 기업이 믿고 사용하게 하려고”

롭 카츠 세일즈포스 제품 부문 부사장조지타운대 경제 및 정부학, 스탠퍼드대 MBA, 전 아마존 시니어 제품 매니저 사진 세일즈포스

“사용자가 인공지능(AI)을 완전히 신뢰하지 않는다면 AI도 잠재력을 발휘할 수 없다고 본다.”

세일즈포스에서 ‘책임감 있는 AI(Respon-sible AI)와 기술’ 팀을 이끄는 롭 카츠(Rob Katz) 제품 부문 부사장은 최근 인터뷰에서 AI에 대한 사용자 신뢰가 중요한 이유를 묻자 이렇게 강조했다. 세일즈포스의 AI 솔루션 ‘에이전트포스(Agentforce)’가 인간 대신 효율이 떨어지는 업무를 대신할 수 있어도 결국 인간이 AI를 신뢰하지 않는다면 작은 업무도 믿고 맡길 수 없다는 뜻이다. 이에 세일즈포스는 일찌감치 AI 윤리 원칙을 마련하는 동시에 할루시네이션(hallucination·AI가 만든 정보에 허위 정보가 포함되는 환각 현상)을 줄이기 위한 각종 보호 장치를 마련하고 있다. 다음은 일문일답.

현재 세일즈포스에서 책임감 있는 AI와 기술 팀을 이끌고 있다. 어떤 팀인가.

“세일즈포스는 2018년부터 기술 전문가와 사회 전문가가 함께 윤리적이며 인도적인 AI 사용을 위한 원칙을 수립하고 있다. 이곳에서 단순 기술 개발을 넘어 정직성, 안정성, 정확성 등의 원칙을 수립하고 있다. 빠른 기술 발전에도 이러한 원칙을 실제 행동으로 옮기는 AI가 책임감 있는 AI라고 본다.”

왜 AI에 대한 신뢰가 중요한가.

“결국 사용자가 AI를 완전히 신뢰하지 않으면 AI가 잠재력을 최대로 발휘할 수 없기 때문이다. 현재 샌프란시스코 경찰은 교대 전, 근무 중 촬영된 보디캠 영상을 수작업으로 정리하고 있다. 신경외과 의사인 내 친구의 경우, 매주 토요일 오전 4시에 일어나 환자 기록을 직접 정리한다. 모두 비효율적인업무로 세일즈포스의 에이전트포스가 도와줄 수 있다. 문제는 사용자가 AI를 온전히 신뢰하지 않는다면 믿고 맡길 수 없다는 점이다.”

세일즈포스가 AI의 신뢰를 높이기 위해 마련한 장치는.

“대표적으로 ‘AI 사용 목적 제한 방침(AI AUP)’이 있다. 우리 AI 기술을 고객사가 어떤 방식으로 사용할 수 있는지와 사용할 수 없는지를 규정한 원칙이다. 일례로 법적 또는 중요한 결정을 할 때 AI 단독으로 결정할 수 없도록 설계했다. 대신 반드시 인간이 최종 결정을 내리도록 했다.”

이를 통해 실현하고자 하는 바는.

“AI와 인간의 협동이다. 항공사에서 AI를 고객 응대에 사용한다고 가정해 보자. 항공편 취소로 고객이 화가 났다면, AI 대신 사람과 직접 대화하고 싶어 할 것이다. 그런데 AI가 더 빠르게 문제를 해결할 수만 있다면, 고객도 AI의 효율성을 인정할 것이다. 물론 AI가 처리하기 어려운 문제도 있다. 이때는 인간이 개입해 문제를 해결하면 된다. 이처럼 AI와 인간이 유기적으로 협력할 수 있다면, AI의 잠재력을 극대화할 수 있다고 본다.”

할루시네이션을 줄이는 것도 중요할 것 같다. 어떤 보호 장치가 있나.

“에이전트포스에는 보호 장치가 여러 겹 마련돼 있다. 가령 ‘주제 가드레일(topic guardrails)’이 있다. 유통 기업의 경우 고객이 반품, 보증, 교환, 환불 같은 주제 외 질문을 던지면 ‘죄송합니다. 알 수 없습니다’라고 응답하게 설정할 수 있다. 우리는 이를 테스트하기 위해 8000개에 달하는 적대적 프롬프트(명령어)를 에이전트에 입력했는데, 모두 성공적으로 대응했다.”

AI 발전에 따른 일자리 감소를 우려하는 목소리도 있다. 이런 문제를 인식하고 있나.

“물론이다. 인간의 대규모 실직은 우리에게도 이롭지 않다. 이에 AI 관련 유료 교육 자료를 내년 말까지 무료로 제공할 방침이다. 또한 샌프란시스코를 비롯해 많은 도시에 ‘팝업 AI센터’를 열고 인간과 AI가 함께할 수 있는 환경을 조성하고자 한다.”