아밀라AI "AI리스크 해결···보험 등 3대 서비스 론칭"

[음병찬 아시아 총괄 인터뷰] "AI모델 검증하고 성능도 보증해줘...한국 파트너들과 함께 성장할 것"

(지디넷코리아=방은주 기자)아밀라AI(이하 아밀라)는 2021년 캐나다 토론토에 설립된 ‘AI 리스크 관리’ 전문 스타트업이다. 딥러닝 3대 구루 중 한명인 몬트리올 대학교 요슈아 벤지오(Yoshua Bengio) 교수가 창업한 엘리먼트 AI(2020년 11월 미국 서비스나우가 인수) 임원들이 설립했다. 현재 벤지오 교수는 아밀라 초기 투자자로 자문을 맡고 있다. 아밀라는 올 초 60억원 규모 시드 투자를 받았다. 주요 서비스는 AI모델을 검증해 주는 ‘Armilla Verified’, AI 모델 성능을 보증하는 ‘Armilla Guaranteed’, AI 모델로 인한 손해에 보상해주는 보험 ‘Armilla Insured’가 있다.

최근 삼성동 한국지사에서 만난 음병찬 아밀라AI 아시아 총괄은 “생성AI가 시험 단계를 지나 우리 생활에 널리 퍼지려면 AI 모델로 인한 편견 확산, 개인정보 유출, 환각 등 다양한 AI 리스크를 잘 관리하고 헷지(hedge)할 수 있어야 한다. 한국은 빠르게 생성AI를 도입하고 있는 선도 국가다. 아밀라는 한국 기업의 생성AI 기반 혁신과 글로벌 경쟁력 강화를 돕는 파트너가 되고자 한다"고 밝혔다.

글로벌 컨설팅 회사와 카카오 AI사업부문을 거친 음 총괄은 엘리먼트 AI에 근무하면서 만난 동료들과 함께 아밀라AI 설립에 참여했다. 아밀라AI가 ‘스텔스 모드’를 벗어나 사업을 전개하기 시작한 올해 초 한국을 시작으로 아시아 지역에서 사업을 만들어가고 있다. 아래는 음 총괄과 일문일답.

-엘리먼트AI에 이어 다시 해외 AI 스타트업의 지역 총괄을 맡았다. 해외 AI 스타트업 관점에서 한국은 어떤 시장인가?

"한국 시장은 아주 흥미로운 시장이다. 새로운 기술에 대한 수용이 아주 빠르고, 시장 전체 규모 대비 신기술 투자 규모도 꽤 큰 편이다. 생성AI 관점에서 보면 ‘소버린 AI’에 대한 의식이 높고 기술 투자도 공격적으로 하고 있어, 자체 LLM을 개발하는 대기업과 스타트업들이 있는 몇 안 되는 국가들 중 하나다. 챗GPT 인지도가 세계적으로 상위권에 있고, 직접 챗GPT를 사용해 본 국민이 30%에 달할 정도로 소비자 관심도 높다. 2023년에 이어 2024년에도 생성AI 기술 기반 스타트업들이 계속 성장하고 있고, 대기업도 본격적인 생성AI 기반 혁신을 시작하고 있다. 아밀라는 한국 생성AI 산업이 본격적인 성장 단계로 진입하고 글로벌 경쟁력을 갖추는데 도움을 줄 수 있는 ‘AI 리스크’ 관리 파트너로 자리매김하고 싶다."

-‘아밀라(Armilla)’라는 회사 이름은 무슨 뜻인가. 주력 제품이나 서비스는?

"고대 로마 시절, 전장에서 큰 공훈을 세운 병사에게 수여한 금붙이 팔찌를 ‘아밀라 (Armilla)’라고 한다. 병사를 ‘위험에서 보호해 준다’는 의미가 있다고 한다. 기업과 고객 모두를 ‘AI 모델이 발생시킬 수 있는 리스크에서 보호한다’는 의미로 회사 이름을 아밀라로 했다. 현재 크게 3 종류의 서비스를 제공한다. AI 모델 검증 서비스인 ‘Armilla Verified’, AI 모델 성능을 보증하는 ‘Armilla Guaranteed’, 마지막으로 AI 모델에 대한 보험 서비스인 ‘Armilla Insured’를 제공한다."

-3대 서비스 중 ‘Armilla Verified’는 어떤 서비스인가?

"전통AI든 생성AI든 AI 기술로 만든 서비스를 테스트하고 검증하는 서비스다. 특히 생성AI의 경우 환각(hallucination), 편견(bias), 탈옥(jailbreak), 개인정보 보호(privacy), 유해 표현(toxicity), 내부 데이터 유출(data breach) 등 다양한 위험 요소가 있다. ‘Armilla Verified’는 제 3자 관점에서 기업과 함께 주의를 기울여야 할 리스크가 어떤 것인지, 리스크 수용 범위와 한도는 어느 정도인지, 표준이나 규제 등을 고려할 때 어떻게 검증할 지 등을 정리하고 테스트 및 검증해 주는 서비스다. AI 제품이나 서비스마다 목표하는 국가나 지역, 도메인, 그리고 고객사 상황과 전략에 따라 검토해야 할 리스크가 많이 달라질 수 밖에 없다.

음병찬 아밀라AI 아시아 총괄. 아밀라AI 2021년 캐나다 토론토에 설립된 AI리스크 관리 전문 스타트업이다

'Armilla Verified'의 첫 단계는 고객사와 아밀라 팀이 함께 AI 유즈케이스 및 관련 규제와 표준, 입출력 데이터 구조와 구성, 시스템 아키텍처 등을 검토하고 체크해야 할 AI 리스크와 지표를 결정하는 작업으로 시작한다. 이게 정해지면, 전통AI의 경우 150여 가지 AI 모델 및 데이터 검증 도구를 탑재한 'Armilla One'이라는 도구로, 생성AI의 경우 'Armilla Scenario Service'라는 도구로 LLM 기반 애플리케이션이 발생할 수 있는 리스크 시나리오를 생성해 정량적, 정성적 테스트를 한다. 테스트 결과에 따라 인증서를 발생하고, 고객이 원하는 경우 ‘보증’이나 ‘보험’ 조건을 산출할 수 있다."

- ‘Armilla Guaranteed’는 어떤 서비스?

"‘Armilla Guaranteed’는 특정 AI모델이 실제 환경에서 나타낼 성능과 작동 범위에 대한 보증 서비스다. 데이터로부터 학습한 패턴을 기반으로 작동하는 AI 모델 특성 상, 어떤 기준에서도 ‘100%’라는 것은 없다. 그래서 AI 서비스를 자체 개발하든 아니면 벤더 제품을 구매하든 항상 ‘신뢰성’ ‘안전성’ 문제가 생긴다. 'Armilla Guaranteed'는 AI 모델 성능 (performance), 강건성 (robustness) 등에 대한 보증 서비스를 'Armilla Verified' 서비스 결과에 준해 제공하는 서비스다. AI 제품이나 서비스를 안심하고 출시, 판매할 수 있게 도와준다."

- ‘Armilla Insured’는?

"AI 모델이 일으킨 오류와 원하지 않는 결과는 더 큰 문제로 이어질 수 있다. 예를 들면, 사업에 큰 손해를 끼친다거나, 소비자와 소송에 휘말리게 된다거나, 규제 위반으로 제재를 받게 된다거나, 기업이 공들여 쌓은 브랜드 가치를 훼손하게 될 수도 있다. 이렇게 AI모델 자체의 성능에 대한 보증을 넘어 AI 모델로 인해 발생하는 ‘손해’에 대해 보상을 해 주는 보험 상품이 ‘Armilla Insured’다. AI 모델 오작동으로 인한 제 3자 손해와 소송 리스크를 커버해주는 첫 번째 보험 상품을 현재 출시한 상태다."

-‘안전한 AI’와 ‘믿을 수 있는 AI’ 영역에 스타트업들이 많이 있고 또 대기업들도 관련 기술 개발에 열심이다. 아밀라는 어떤 차별화나 경쟁 우위를 갖고 있나?

"아밀라는 2021년 초 ‘설명 가능한 AI’ 리서치 랩으로 출발했다. 생성AI가 지금과 같은 각광을 받기 전부터 AI가 일으킬 수 있는 리스크를 어떻게 테스트하고 검증할 지 연구해 왔다. 챗GPT가 등장한 이후로 생성형 AI 시장이 급성장하면서 이 영역에 테스트나 모니터링을 위한 도구들이 속속 등장하고 있다. 궁극적으로 다양한 AI 모델을 필요에 따라 섞어 사용하는 ‘하이브리드 AI’ 시대가 올 것으로 생각한다. 아밀라가 이미 구축해 놓은 전통적 AI와 생성형 AI 모두의 테스트를 위한 기술셋, 플랫폼, 그리고 경험이 차별적인 자산이라고 생각한다.

이보다 훨씬 중요한 게 있다. AI 리스크를 종합적으로 관리할 수 있는 다각도의 상품과 서비스를 제공한다는 거다. 지금 등장하고 있는 대부분의 AI 테스트 또는 모니터링 플랫폼 스타트업은 크게 보면 AI 리스크를 ‘저감(reduction)’하는데 도움을 주는 회사다. 리스크는 줄이기도 해야하지만 남은 잔여 리스크도도 해결해야 한다. ‘100% 확실한 성능’과 ‘100% 확실한 안전성’이 불가능한 AI 특성 상, AI 모델 리스크를 제 3자에게 전이 (transfer)할 수 있느냐 하는 것은, 특히 중요도가 높고 위험성이 있는 애플리케이션 경우 매우 중요하다.

최근 일어난 ‘크라우드 스트라이크 (Crowdstrike)’ 사고를 생각해 보자. 이 사고가 발생한 배경에 AI가 얼마나 관련됐는 지는 불분명하다. 하지만 명확한 것은 이 사고로 인한 보험 손실액 규모가 최소한 10억 달러에서 15억 달러까지 될 것으로 보이는데, 이벤트 특성 때문에 보상 비율이 낮은 편이다. AI 오작동으로 어떤 사고가 일어나고 그 결과 손실이 발생했을때, AI로 인한 잔여 리스크를 적절히 제 3자에게 전이하지 않은 경우 손실을 보상할 방법이 없거나 제한적일 수 밖에 없다.

아밀라는 지난 1년간 RAII(Responsible AI Institute)와 같은 기관과 AI의 안전한 도입과 확산을 위한 정책적 교류와 연구를 해왔고, 또 '스위스 리(Swiss Re:)'나 '쵸서(Chaucer)'와 같은 글로벌 재보험사와 전략적 협업을 통해 AI 리스크를 보증하거나 손해 발생 시 보상할 수 있는 보험 상품을 개발해 왔다. 아밀라는 AI 리스크를 평가, 검증하는 것에서부터 모델 성능에 대한 보증, 문제 발생 시 보상을 위한 보험 서비스까지 제공하는, 이런 종합적인 AI서비스를 하는 곳은 현재 아밀라가 사실상 유일한 회사다."

-아밀라 서비스를 제공하는데 있어 스위스 리(Swiss Re:)나 쵸서(Chaucer) 역할은?

"보증이나 보험은 해당 리스크가 현실화됐을때 상당한 규모의 ‘보상’을 할 수 있는 능력(Capacity)이

필요하다. Swiss Re:와 Chaucer는 아밀라의 ‘AI 보증 및 보험 시장’에 대한 비전에 공감해 아밀라와 함께 약 6개월간 협업을 하면서 상품을 개발해 왔다. 그 결과가 지금 제공하고 있는 게 Armilla Guaranteed와 Armilla Insured다. 이 상품들을 제공할 때, 아밀라는 AI 리스크를 진단하는 ‘언더라이터’ 역할을, Swiss Re:나 Chaucer는 상품 개발사로서 보증 및 보험 약관 상 이행 조건이 발생했을 때 재무적 보상을 담당하는 Capacity Provider 역할을 한다.

-한국이나 해외에 어떤 고객사들이 있나?

"글로벌 뿐 아니라 한국을 포함한 아시아에서도 많은 기업과 함께 협업을 논의, 진행 중이다. 대기업뿐 아니라 AI를 기반으로 한 제품과 서비스를 시장에 빠르고 안전하게 확산하려는 스타트업들도 관심이 많다. 사명을 언급할 수 있는 기업만 예를 들면 캐나다 통신사 Telus가 있고 보험사 Aviva와는 고객사가 개발, 사용하는 AI 서비스에 대한 테스트와 검증 프로젝트를 같이 진행했다. 또, Private AI나 Lazarus AI 같은 B2B 스타트업이 고객사에 공급하는 AI 솔루션에대해 검증 및 보증 서비스를 제공,

스타트업의 경쟁력을 제고하는데도 기여하고 있다.

한국에서도 대기업 및 스타트업과 다양한 각도의 협업을 논의 중이다. 최근 가상자산 시장 및 투자정보 플랫폼인 ‘블루밍비트’가 고객에게 제공하는 ‘AI 리포트’를 대상으로 Hallucination (환각), Privacy (개인정보), Tonality(톤) 등이 어느 정도 수준인지 검증하는 프로젝트를 시작했다. 이 프로젝트를 통해 블루밍비트가 보다 더 안전하고 신뢰할 수 있는 시장 보고서를 고객에게 제공, 선도 사업자 위치를 공고히 할 수 있을 것으로 기대한다. 이 외에도 일본, 인도네시아 등 주요 아시아 시장에서 대형 금융사들과 협업을 논의 중이다.

-‘안전한 AI’와 ‘믿을 수 있는 AI’에 대한 논의가 국내외적으로 활발하다. 한국 시장 상황을 어떻게 보고 있나?

"한국은 다른 어떤 나라 못지않게 생성형 AI를 중심으로 AI 도입에 적극적인 모습을 보이고 있다. 금융, 제조를 막론하고 많은 기업이 생산성 증대를 위해 생성형 AI 기술을 테스트해 보고 있고, 삼성 SDS, LG CNS 등 전문 IT 기업과 수많은 AI 스타트업이 LLM과 플랫폼 등 기술을 개발하고 서비스를 출시하고 있다. 주로 ‘생성형 AI’를 중심으로 AI 도입을 추진 중에 있고 아직 확산 단계에 들어갔다고 보기는 어렵지만, 올해를 원년으로 내년부터는 우리 실생활에서 훨씬 다양한 생성형 AI 제품과 서비스를 체감할 수 있을 것으로 보고 있다. 다만, ‘AI 모델의 리스크’ 관리를 위한 정책, 플랫폼, 생태계에 대한 더 빠른 대응이 필요하다. 상당수 대기업에서 생성형 AI 기술의 잠재력을 PoC 등을 통해 확인했음에도 불구하고, AI 리스크 문제로 다음 단계로 이행하지 못하고 있는 경우가 많고, 또 규제 기관이 만들 AI 리스크 관리 지침을 기다리고 있다.

아밀라AI 직원들이 일하고 있는 모습.

규제 측면에서는 아무래도 미국이나 유럽이 가장 빠르게 진전하고 있는 것이 사실이다. 유럽에서 올 초 합의 제정한 EU AI Act라든가, 미국 바이든 정부의 행정명령과 보험산업의 의사결정 자동화 알고리즘에 대한 규제, 뉴욕 주의 인재 매칭 플랫폼에 대한 차별 규제 등 다양한 각도 규제가 구체적 내용과 시한을 갖고 현실화하고 있다. 우리나라도 지난 5월 ‘AI 서울 서밋’을 개최했고, 또 과기정통부, 산업부, 금감원, 개인정보보호위원회 등에서 AI 윤리라든가 AI 검증 기준 등 AI 리스크와 관련한 표준이나 가이드라인, 법제화를 준비하고 있는 것으로 알고 있다. AI 규제는 소비자들을 AI 리스크로부터 보호하는 동시에 AI를 통한 혁신을 지원하고 국내 AI사업자들의 글로벌 경쟁력을 강화하도록 돕는 방향으로 제정되기를 기대하고 있다."

-아밀라의 현재 사업 현황과 목표는 무엇인가?

"아밀라는 설립 이후 몇 년간 '스텔스 모드'에 있다 올해 초 시드 투자와 함께 사업을 본격 전개하고 있는 초기 스타트업이다. 엘리먼트AI에 있을 때부터 아시아 지역 잠재력에 공감하는 투자자, 공동창업자들과 교류하고 있다. 우선 한국, 일본 등을 아시아 전략 시장으로 보고 아밀라와 긴 호흡으로 협업해 나갈 전략적인 파트너들을 찾고 있다.

이미 미국과 캐나다는 통신사, 금융사, 대형 스타트업들에게 생성형 AI 서비스 검증, 보증 서비스를 제공하고 있고, 최근 미국 대형 보험중개사 One80 Intermediaries와 아밀라의 보증 서비스를 고객사에 제공하기 위한 파트너십을 맺기도 했다.

아시아는 한국의 대형 기업 및 선도적인 스타트업, 일본 보험사, 인도네시아 은행 등과 AI 리스크 검증과 보증을 위한 협업을 논의하고 있다. AI리스크 관리 수준을 앞당기는 것이 AI가 더 빨리 우리 곁으로 다가오게 하는데 필수적이라고 보고, 이 시장의 잠재력을 파트너들과 함께 증명하는 것이 올해의 목표다."

-전략적인 파트너를 찾고 있다고 했는데, 어떤 파트너를 의미하는 것이고 그 역할은 무엇인가?

"크게 세 방향에서 전략적 파트너를 찾고있다. 첫째는, 고객사가 생성형 AI를 잘 도입할 수 있게 AI 거버넌스 영역의 자문 및 솔루션을 제공하는 컨설팅사 또는 IT 기업이다. 아밀라의 AI 검증 및 테스트, 보증, 보험 서비스가 ‘AI 거버넌스’ 프로그램의 실질적 가치를 높여줄 수 있다고 생각한다.

둘째는, LLM 플랫폼 사업자들이다. 네이버와 통신사, MSP들이 그 대상이다. 이들 기업은 스타트업이나 일반 기업이 LLM 애플리케이션을 쉽게 만들고 활용할 수 있게 하는 여러 서비스를 제공하고 있다.  더 많은 스타트업과 기업이 만드는 AI 유즈케이스를 아밀라와 함께 체크하고 보증, 보험을 제공할 수 있다면, 이 자체만으로 LLM 플랫폼 사업자의 차별적 경쟁력이 될 것이라 생각한다. 아직 공개할 수는 없지만, 글로벌 LLM 리더 중 몇 개 사업자와 전략적 파트너십을 이미 논의중이다.

마지막로는 보험사들이다. AI 리스크 보험 시장도 지금 우리가 보는 보험 시장처럼 AI 유즈케이스의 도메인, 지역에 따라 더 세분화, 전문화하며 성장할 것이다. 자동차 보험과 선박 보험이 따로 있는 것과 같은 이치다. 아밀라는 AI 리스크 보험 시장의 선두가 되려는 보험사들과 함께 보다 다양한 산업에서 안심하고 AI 솔루션을 활용하는데 기여하는 보증 및 보험 상품을 만들기를 원한다."

-AI 리스크 때문에 고민하는 기업과 스타트업들에게 하고 싶은 말이 있다면?

"작년 10월 서울대학교 초청강연에서 앤드류 응이 “AI는 100년 전 모든 산업을 변화시켰던 ‘전기’와 같다”는 이야기를 한 적이 있다. 여러 가지로 해석할 수 있겠지만, 그 중 하나는 AI가 아주 광범위하게 쓰일 수 있는 ‘기반 기술’이라는 것이다. 현재 이슈의 중심에 있는 LLM은 ‘범용 기술’이자 ‘도구’지 최종 서비스는 아니다. 똑같이 전기를 이용하지만 ‘전등’과 ‘드릴’의 위험도는 다르다. 그런데 전력 회사가 드릴을 사용하다 발생한 사고는 책임지지 않는다. 내가 만드는 AI 서비스의 리스크는 결국 내가 가장 잘 이해하고 있어야 하고, 안전하게 활용할 수 있게 방안을 강구해야 한다. 시장 초기인 지금, AI 리스크에 대한 깊은 고민과 빠른 실행이 국내와 글로벌 시장에서 차별적 경쟁력을 만들어내는 동력이 될 것이라 확신한다."

방은주 기자(ejbang@zdnet.co.kr)