'안전한 AI 사용' 외친 美 빅테크, 제품 보안 강화 총력

[김미정의 SW키트]⑤AWS·마이크로소프트·세일즈포스, 정보 유출 최소화

(지디넷코리아=김미정 기자)밀키트는 손질된 식재료와 양념을 알맞게 담은 간편식입니다. 누구나 밀키트만 있으면 별도 과정 없이 편리하게 맛있는 식사를 할 수 있습니다. [김미정의 SW키트]도 마찬가지입니다. 누구나 매일 쏟아지는 소프트웨어(SW) 기사를 [김미정의 SW키트]로 한눈에 볼 수 있습니다. SW 분야에서 가장 주목받는 인공지능(AI), 보안, 클라우드 이야기를 맛있게 보도하겠습니다. [편집자주]

미국 빅테크가 생성형 인공지능(AI) 기능 보안성을 한층 더 강화했다. 생성형 AI가 다양한 산업에 도입되면서 환각 현상을 비롯한 데이터 유출, 신원 도용, 해킹 등 위험 사례를 최소화하기 위해서다. 

20일 미국 외신 사이버시큐리티 다이브 보도에 따르면, 연 매출 1억 달러(약 1천350억원) 이상에 해당하는 기업 경영진 다수가 "AI 애플리케이션 복잡성으로 취약점이 확대됐다"며 "사내 사이버 보안 태세가 약해졌다"고 밝혔다. 

이에 아마존웹서비스(AWS)를 비롯한 미국 빅테크는 사용자 명령어에 대한 이해도를 높여 환각 현상을 줄이고, 보안 업그레이드로 사이버 공격과 데이터 유출 차단 줄이기에 나선 분위기다. 

AWS "생성형 AI 결과에 신뢰성 점수 매긴다"

AWS는 생성형 AI 애플리케이션 관리·개발 플랫폼 '아마존베드록' 보안 기능을 맡는 가드레일을 업그레이드했다. 

아마존베드록에서 가드레일이 작동하는 과정. (사진=AWS)

생성형 AI가 사용자 프롬프트 문맥 이해도를 높여 기존보다 더 정확한 답변을 낼 수 있게 돕는 '문맥 그라운딩 체크' 기능을 새로 탑재했다.

문맥 그라운딩 체크 기능 특장점은 객관적 수치를 통한 답변 필터링이다. 아마존베드록이 생성물에 신뢰성·정확성 점수를 자체적으로 매김으로써 답변 품질을 평가하는 식이다.

점수 매기는 기준은 문맥에 따라 다르다. 다만 공통으로 답변에 핵심 참조 내용이 포함됐는지, 질의 내용과 답변이 통일성 있는지, 답변과 질문 관련성이 얼마나 높은지를 측정한다.

AWS코리아 김선수 AI·ML사업개발 매니저는 "점수 매기는 작업은 AWS 노하우를 통해 이뤄진다"고 설명했다. 이어 "답변에 AWS가 지정한 필수 출처 내용이 답변에 없으면 이를 사용자에게 제공하지 않는다"며 "답변 품질 점수가 평균보다 낮을 때도 이를 내놓지 않는다"고 강조했다.

마이크로소프트 "생성형 AI 보안도 AI로 지킨다"

마이크로소프트는 '코파일럿'과 보안 제품을 통합해 일반 솔루션뿐 아니라 AI 기반 제품 보호에 나섰다.

코파일럿 포 시큐리티 작동 과정. (사진=마이크로소프트)

가장 대표적인 AI 보안 솔루션은  '마이크로소프트 코파일럿 포 시큐리티'다. 코파일럿 포 시큐리티는 약 78조개 넘는 보안 신호와 대규모 데이터, 위협 인텔리전스를 거대언어모델(LLM)과 결합해 인사이트를 제공할 수 있다. 이를 통해 사용 조직은 생성형 AI 솔루션 외부 위협을 신속히 감지하고 대응할 수 있다.

마이크로소프트는 생성형 AI 사용 중 발생할 수 있는 정보 유출 방지 솔루션도 운영하고 있다. 프리뷰로 제공되는 '코파일럿 인 마이크로소프트 엔트라 유저 리스크 인베스티게이션'은 마이크로소프트 엔트라에 탑재됐다.

이 솔루션은 사용자 개인정보 유출을 막고, 보안 위협이 발생했을 때 빠르게 대처 가능하도록 지원한다. 특히 사용자 위험을 파악해 적절한 가이드를 제공하고, 향후 발생할 수 있는 위협을 예측해 해결법을 제시할 수 있다.

세일즈포스 "믿을 만한 데이터로만 접근"

세일즈포스도 '세일즈포스 데이터 클라우드' 내 제품서 작동하는 생성형 AI 솔루션에 데이터 보안성을 높였다.

마크 베니오프 세일즈포스 최고경영자(CEO)가 드림포스2023에서 기조연설을 하고 있다.

세일즈포스는 17일부터 19일까지 미국 샌프란시스코에서 열린 '드림포스 2024'에서 자율형 AI '에이전트 포스'에 이런 데이터 보안 기능을 적용했다. 

에이전트 포스는 사용자 요청 없이도 관련 업무를 24시간 자율적으로 수행할 수 있는 로우코드 플랫폼이다. 데이터 클라우드 내에서 작동한다. 

에이전트포스를 비롯한 데이터 클라우드 기반 솔루션은 AI를 통해 비구조화된 데이터를 자동으로 분류·라벨링한다. 실시간 데이터 관리가 일괄적으로 가능하다. 

세일즈포스는 해당 제품 내 데이터 접근 권한도 세분화할 수 있다. 대규모 데이터 환경에서도 사용자 그룹별로 적절한 권한을 부여할 수 있는 보안 정책을 갖췄다. 데이터 접근 허용자만 이를 확인할 수 있는 셈이다. 

이 외에도 기업이 스스로 암호화 키를 관리할 수도 있다. 데이터를 사용 중이거나 저장 중일때도 암호화된 상태로 데이터 보안 유지를 할 수 있다. 

마크 베니오프 세일즈포스 최고경영자(CEO)는 행사 기조연설에서 "신뢰할 수 있는 데이터 관리 방식을 에이전트포스에 제공했다"며 "새로운 혁신과 고객 증가로 데이터 클라우드 모멘텀이 치솟을 것"이라고 재차 강조했다.

김미정 기자(notyetkim@zdnet.co.kr)