보안 문제 우려에… 안전성 검증 스타트업 등장

대화 데이터 분석해 모델 검증하고
여러 AI 모델 성능 비교 기능 제공도

생성형 인공지능(AI) 서비스를 도입하는 기업들이 점점 늘고 있으나 망설임도 상존한다. 분야에 따라서 AI 답변의 정확성이 중요하기 때문이다. 정확도를 담보할 수 있는 상황까지 보류하려는 움직임도 있다. 이 때문에 최근 스타트업업계는 AI 서비스의 신뢰성을 검증할 수 있는 서비스를 내놓고 있다. 중국 딥시크의 개인정보 문제와 안전성 문제가 불거지면서 주목받고 있다.

18일 스타트업업계에 따르면 AI 안전성과 신뢰성을 중요하게 여기는 기업들이 늘면서 이를 검증할 수 있는 서비스를 갖춘 스타트업들이 등장하고 있다. 글로벌 시장조사기관 CB인사이츠 설문에서는 글로벌 기업 중 63%가 향후 1년 동안 AI 에이전트 도입을 매우 중요하게 고려하고 있는 것으로 나타났다. 이번 조사에서 글로벌 기업들은 AI에 대한 우려도 나타냈다. AI 에이전트 도입에 있어 기업 중 47%가 신뢰와 보안 문제를 우려하고 있다고 답했다.

스타트업들은 AI를 안심하고 사용하려는 기업들을 공략하기 위한 서비스를 내놓고 있다. 콕스웨이브는 최근 AI 안전성에 특화된 솔루션을 내놨다. 콕스웨이브의 ‘얼라인 AI’는 AI 에이전트 제품을 위한 분석 플랫폼이다. 생성형 AI와 사람이 나눈 대화를 분석해 서비스의 품질을 평가하고, 실시간 모니터링을 통해 오류 발생 여부를 확인할 수 있다.

얼라인 AI는 AI 안전성 개선을 위해 사용자와 AI 간의 대화 데이터를 분석해 모델을 검증한다. 평가 시스템을 구축하고 잠재적인 사고 예방을 위한 사전 관리 등 양방향 기술 고도화를 추진하고 있다. 콕스웨이브는 지난해 9월 AI 안전성 분야의 연구를 주도하는 카이스트 이기민 교수를 어드바이저로 영입해 ‘AI 모델의 취약점’ 연구에 협력을 이어가고 있다.

AI 채용 솔루션 ‘뷰인터HR’을 운영하는 제네시스랩은 AI 윤리와 신뢰성 확보에 주력하고 있다. 지난해 4월 한국정보통신기술협회(TTA)가 제시한 15개 신뢰성 요구사항을 모두 충족해 ‘AI 신뢰성 인증(CAT)’을 채용 분야 최초로 취득하기도 했다. 또 정보통신정책연구원(KISDI)과 공동으로 인공지능 자율점검표를 제작해 채용 분야의 AI 모델 개발 시 꼭 갖춰야 할 신뢰성 및 윤리 분야의 체크리스트의 기준을 만들었다.

데이터 라벨링 플랫폼을 운영하는 크라우드웍스는 지난달 AI 신뢰성 검증 솔루션인 ‘알피 이밸류에이션’을 출시했다. 데이터 라벨링은 텍스트와 이미지, 영상 등 다양한 데이터를 AI가 인식할 수 있는 형태로 변환하는 작업이다. 이 서비스는 AI 모델의 신뢰성 평가와 안전성 평가를 지원한다. 또 자동화된 솔루션으로 검증과 함께 인간 전문가의 평가도 수행한다.

셀렉트스타도 검증 솔루션인 ‘다투모 이밸’을 출시했다. AI 서비스 유형과 사용 목적에 따라 평가용 질문을 자동으로 생성해 평가하고, 여러 AI 모델의 성능을 비교하는 기능을 제공하고 있다.

한명오 기자 myungou@kmib.co.kr

GoodNews paper ⓒ 국민일보(www.kmib.co.kr), 무단전재 및 수집, 재배포 및 AI학습 이용 금지