[ALC 2025] ‘자율 결정’하는 에이전틱 AI 시대...“AI에 헌법 윤리 학습시켜야”

2025년 5월 21일 오전 서울 중구 신라호텔에서 2025 아시안리더십콘퍼런스 개막식을 앞두고 관계자들이 막바지 점검을 하고 있다. 조선일보가 ‘혁신과 성장의 새로운 여정’을 주제로 개최하는 제16회 아시안리더십콘퍼런스(ALC)가 21~22일 이틀간 서울 신라호텔에서 열린다. /장련성 기자

“AI 개발의 핵심 원칙 중 하나는 언제나 이 기술에 책임을 질 수 있는 인간이 있어야 한다는 것입니다. 자율성을 갖춘 AI를 내보내겠다는 것 역시 인간의 결정에서 비롯되는 것입니다.”

신시아 베일리 리 스탠퍼드대 컴퓨터과학과 교수는 21일 서울 중구 신라호텔에서 열린 아시안리더십컨퍼런스(ALC) 첫날, ‘스스로 판단하는 AI: 자율성과 윤리의 균형 찾기’ 세션에서 이같이 말했다. 리 교수는 “자율 주행 자동차를 타더라도 우리는 늘 운전대 위에 손을 올려놓고 있어야 한다“며 ”운전에 집중해야 하고, (사고가 날 경우) 운전대에 손을 대고 있는 사람이 책임져야 한다“며 AI 기술의 최종 책임자는 인간이라는 것을 강조했다.

미국 서던캘리포니아대 AI 전문가 니틴 케일 교수의 진행 아래, 이번 세션은 전통적 AI에서 에이전틱 AI로의 전환이 이뤄지는 시대에 또 다시 화두에 오른 AI의 자율성과 윤리 문제를 논의하기 위해 마련됐다.

에이전틱 AI는 목표를 달성하기 위해 자율적으로 의사 결정을 내리는 AI를 의미한다. 사용자가 입력한 데이터를 기반으로 텍스트, 이미지 등 새로운 콘텐츠를 생산해내던 ‘생성형 AI’를 넘어 사용자의 명령 없이도 스스로 판단하고 결과를 도출해내는 AI로, 혁신을 이끌어갈 차세대 기술로 꼽힌다. 머라이어 밀러 서던캘리포니아대 교수는 “전통 AI가 버튼을 누르면 음료수가 나오는 자판기와 같다면, 에이전틱 AI는 고도화된 여행사와 같다”며 “2000달러로 파리 여행을 한다는 것만 입력하면 에이전틱 AI는 항공편, 숙소 등 모든 것을 알아서 결정하고 계획을 짜 줄 것”이라고 설명했다.

에이전틱 AI는 AI 판도 뿐 아니라 산업계 전반을 뒤흔들 혁신이 될 것이라는 것이 전문가들의 의견이다. 특히 과거 입력된 정보를 자율적으로 학습해 스스로를 더 발전시키는 에이전틱 AI의 특성은 고도의 정확성이 필요한 산업에서 큰 역할을 한다. 이사 네스나스 미항공우주국(NASA) JPL 로보틱스 최고기술임원은 “우주 탐사는 굉장히 어렵고 걸린 대가가 커서 정확성 측면을 매우 강조한다”며 “모든 것이 조심스러운 우주에서 에이전틱 AI는 인지, 결정, 행동 모든 단계에서 성공률을 높여준다”고 했다.

다만 자율성을 지닌 에이전틱 AI의 활용에 있어 윤리 문제에 대한 우려도 커지고 있다. 이에 대해 전문가들은 “AI가 적절한 윤리를 학습할 수 있도록 해야 한다”고 입을 모았다. 네스나스 최고기술임원은 SF 거장 아이작 아지모프의 ‘로봇 3원칙’이 AI에도 적용될 수 있다고 설명했다. ‘로봇 3원칙’은 로봇에 관한 세 가지 규칙으로, ‘로봇은 인간에게 해를 입혀서는 안 된다’ ‘첫번째 원칙에 위배되지 않는 한 로봇은 인간의 명령에 복종해야 한다’, ‘첫번째와 두번째 원칙에 위배되지 않는 한 로봇은 자기 자신을 보호해야 한다’는 등의 내용을 담고 있다.

데니스 드마이어 ‘피즈나’의 최고기술책임자는 최근 AI 기업 ‘앤트로픽’이 제시한 ‘헌법적 AI’를 개념을 제시했다. 헌법적 AI는 AI가 헌법이나 UN 인권 선언처럼 인간의 가치와 윤리를 기반으로 한 문서를 학습하도록 해 사회적 가치와 윤리적 기준을 반영하도록 설계하는 것이다. 드마이어 책임자는 “헌법적 AI는 한국의 상황과 비슷하다”며 “헌법이 있고 국민들이 그 헌법이 제대로 지켜지고 있는가를 끊임없이 감시하는 한국처럼, 그 패턴이 AI에 적용되면 답이 될 수 있다”고 했다.

조선일보 국제부가 픽한 글로벌 이슈!

뉴스레터 구독하기(https://page.stibee.com/subscriptions/275739)