AI 에이전트 통제 어떻게 할 것인가? “가드레일 설계가 핵심”...장동인 KAIST AI 대학원 교수 “개발 초기부터 거버넌스 갖춰야”

장동인 KAIST 김재철AI대학원 교수

“이제 기업의 질문은 '에이전트를 도입할 것인가'가 아닙니다. '권한·비용·보안 등의 가드레일을 어떻게 설계할 것인가'입니다. 이것이 AI 네이티브 엔터프라이즈의 핵심 과제입니다.”

장동인 KAIST 김재철AI대학원 교수는 오는 9월 16일 열리는 'AI 에이전트 가드레일 & 거버넌스 실전 세미나'에 앞서 가진 인터뷰에서 에이전트 가드레일의 시급성과 중요성을 이같이 강조했다.

장동인 교수는 “기존 AI는 답변이나 문서를 생성하고 최종 확인을 사람이 했지만, AI 에이전트는 기업 데이터와 시스템에 직접 접근해 이메일 발송, 고객 응대, 구매 및 결제까지 실행한다”며 “잘못된 판단이 단순 답변 오류에 그치지 않고 실제 운영 사고로 직결될 수 있다”고 경고했다.

특히 최근 확산하는 '바이브코딩(Vibe Coding)'이 통제 리스크를 키우고 있다고 진단했다. 장 교수는 “현업 부서가 AI 코딩 에이전트로 앱을 자율적으로 개발할 경우 보안 취약점, 데이터 불일치, 중복 개발, 불완전한 소스코드와 테스트 부족이 동시다발적으로 발생한다”며 “통제 장치 없이 도입하면 AI가 업무를 줄이기는커녕 IT 부서와 전산실의 장애 처리 부담만 가중시킬 수 있다”고 지적했다.

장 교수가 정의하는 에이전트 가드레일은 단순한 유해 답변 필터링을 넘어선다. 그는 “가드레일은 AI가 정해진 목적과 범위 안에서 안전하게 일하도록 만드는 종합 통제체계”라며 “생성 주체, 허용 권한과 행동 반경, 접근 데이터, 비용 및 품질 관리까지 포함해야 한다”고 설명했다. 여러 에이전트가 협업하는 환경에서는 역할과 책임, 업무 인계, 중단 조건이 필수적이며, 바이브코딩 앱의 경우 소스코드·보안·테스트·배포·유지보수 전 주기를 아우르는 관리가 필요하다는 것이다.

가드레일은 사후에 추가할 수 있는 기능이 아니라는 점도 분명히 했다. 장 교수는 “바이브코딩은 화면부터 빠르게 만들기 쉽지만, 그 과정에서 데이터 구조, 접근 권한, 예외 처리, 장애 복구 등이 누락되기 십상”이라며 “개발 시 넓은 권한을 줬다가 운영 직전에 줄이면 오작동이 나고, 그대로 두면 내부통제 사고로 이어진다”고 짚었다. 그러면서 “사람의 승인 조건과 즉시 중단 조건을 처음부터 설계해야 하는 것은 자동차를 다 만든 뒤 브레이크를 붙일 수 없는 것과 같다”고 비유했다.

기업이 당장 준비해야 할 실행 전략으로는 '식별과 통제 체계 구축'을 꼽았다. 에이전트와 앱의 생성 목적, 사용 모델, 데이터, 권한, 책임자를 기록·등록하는 체계를 마련하고, 업무 범위를 막연하게 잡지 말고 구체적인 조회 권한과 행동 범위로 쪼개야 한다고 조언했다.

이어 “현업이 안전하게 개발할 수 있도록 승인된 모델과 API, 코드 저장소, 보안 검사, 자동 테스트, 배포·모니터링 절차를 갖춘 공통 개발환경을 제공해야 한다”며 “결국 현업과 IT, 보안, 법무, 감사가 원팀으로 기업 차원의 운영 시스템을 구현해야 한다”고 강조했다.

실전 적용 팁으로는 위험이 적고 결과 검증이 가능한 업무부터 착수할 것을 권했다. 장 교수는 “초기에는 에이전트가 제안하고 사람이 승인하는 구조로 시작해 점진적으로 자동화 범위를 넓혀야 한다”며 “바이브코딩 역시 실험은 자유롭게 하되 배포 전 데이터·보안·코드·비용 검증을 거쳐야 하며, 범용 에이전트 하나에 과도한 권한을 몰아주거나 부서별 중복 앱을 양산하는 것은 지양해야 한다”고 말했다.

끝으로 장 교수는 “개발 진입장벽이 낮아졌다고 해서 보안, 데이터, 아키텍처, 운영의 중요성까지 낮아진 것은 결코 아니다”라며 “만드는 사람이 많아질수록 거버넌스의 필요성은 더욱 커진다”고 역설했다. 아울러 “가드레일은 AI 활용을 막는 족쇄가 아니라 더 안전하고 넓은 자율성을 부여하기 위한 안전망”이라며 “이번 세미나를 통해 에이전트의 행동부터 코드, 앱, 데이터, 운영 전 생명주기 관리 해법을 함께 모색하길 기대한다”고 전했다.

한편 장동인 교수는 9월 16일 'AI 에이전트 가드레일 & 거버넌스 실전 세미나'에서 '에이전트 가드레일 : 사람과는 다른 통제가 필요하다'라는 주제로 발표한다.

이번 행사에서는 김유신 메가존클라우드 매니저, 박종성 동원그룹 CIO, 한정우 다이닝브랜즈그룹 IT전략 매니저, 이예찬 당근 SW엔지니어 등이 가드레일과 거버넌스 측면에서 에이전트 운영 노하우에 대해 발표한다. 행사에 관한 자세한 정보는 행사 홈페이지(https://conference.etnews.com/conf_info.html?uid=521)에서 확인할 수 있다.

유은정 기자 judy6956@etnews.com