“안전하고 투명한 인공지능 모델, AI로 평가한다”

[주간경향] 인공지능(AI) 기술이 진짜와 가짜를 구분하기 어려울 정도로 정교하게 음성과 영상을 만들어내고 있다. 광고와 영화에 등장하는 가상 인플루언서, 가상 연예인이 양지의 영역에 있다면, 합성 음성을 이용한 보이스피싱 범죄, 합성 영상으로 만든 가짜뉴스가 음지에 있다. 인공지능을 이용한 음성과 영상 합성 기술의 문턱이 낮아지면서 악용 사례는 늘어날 것으로 예상된다. 이를 대비해 유럽연합과 미국을 비롯해 여러 나라에서 인공지능의 안전성·신뢰성을 보장하기 위한 규제에 나서고 있다.

인공지능의 윤리적 사용을 위한 교육과 계도가 필요하지만, 기업이 애초에 안전하고, 신뢰할 수 있도록 인공지능을 개발하도록 도울 필요도 있다. 핀란드의 AI 스타트업 ‘세이닷(Saidot)’이 하는 일이다. 이 회사는 기업의 인공지능 모델이 각국의 AI 관련 규제나 정책을 준수하는지 점검해주는 서비스를 제공한다. 향후 AI 규제가 본격화할 경우 기업의 규제 준수 관련 업무 부담을 줄일 수 있다. 기업과 공공기관이 활용하는 인공지능 모델을 공개해 투명성을 보장하는 역할도 한다.

세이닷의 창업자이자 최고경영자인 메리 하타야(Meeri Haataja)는 지난 10월 31일 주한 핀란드 대사관이 주최한 AI세미나에 앞서 주간경향과 만나, 안전하고 윤리적이고 투명한 AI를 위한 관리 도구(governance tool)를 만들어야 한다고 강조했다. 그는 핀란드 국가 AI 프로그램의 윤리 실무 그룹 의장을 맡았고, 미국 테크 기업 ‘스냅(Snap)’의 자문위원으로 활동 중이다. 창업 전에는 글로벌 컨설팅 기업 액센츄어, 핀란드의 OP 금융그룹 등에서 AI 컨설팅, 전략을 담당했다.

핀란드의 AI 스타트업 세이닷(Saidot)의 창업가이자 CEO인 메리 하타야가 지난 10월 31일 서울 용산구 숙명여자대학교 디지털휴매니티센터에서 주간경향과 인터뷰하고 있다. 서성일 선임기자

-창업의 계기를 듣고 싶다.

“세이닷을 창업한 지 이제 5년이 지났다. 그전에는 여러 대기업에서 데이터 과학자나 분석가로 오랫동안 일을 하면서 인공지능의 진화를 지켜봤다. 데이터 과학자로 일하면서 동시에 인공지능 개발 과정에서 사생활과 데이터 보호를 위한 규제 정책을 어떻게 세워야 하는가라는 부분에 대해서도 고민을 해왔다. 당시 AI 윤리라는 개념이 등장하기 시작했다. AI가 미치는 영향이 매우 큰데, 이를 정확하게 인지하지 못한 상태에서 개발했다. 이제라도 AI의 잠재적 영향력을 감안해 AI가 올바르고, 책임감 있게 개발될 수 있도록 AI 윤리가 필요하다는 공감대가 형성되는 시기였다. 현장을 경험하니 자연스레 책임감 있는 AI로 발전할 수 있도록 도와줄 수 있는 기술 플랫폼이 필요하고, 개발 후에도 지속해서 이를 올바른 방향으로 관리해야 한다는 생각이 들었다. 이렇게 두 가지가 창업의 이유였다.”

-기업과 공공에서 AI를 개발할 때 어떤 도움을 줄 수 있나.

“투명하고 신뢰할 수 있고 올바른 AI를 구축하는 일은 현장에서 굉장히 어렵게 여기는 과업이다. 관련 전문가의 수가 적고, 많은 사람이 윤리적인 AI 구축을 지루한 작업으로 보기 때문이다. 경험자가 드물고, 중요하지 않다고 여기는 일에 많은 사람이 쉽게 접근할 수 있도록 만드는 게 우리 기술 플랫폼의 핵심이다. 우리 플랫폼을 이용해 높은 품질의 AI 거버넌스를 구축하도록 하는 게 첫 번째 역할이다. 두 번째는 기업이 자신의 AI 시스템을 우리 플랫폼에 등록하면, AI 관련 정책과 부합하는지 분석해준다. 어떤 부분에서 규제 대상이 되는지, 어떤 요건을 갖춰야 하는지 한 번에 다 나온다. 여러 규제 기관의 정책을 일일이 찾아볼 필요가 없다. 특히 요즘은 AI 관련 정책이 급속하게 확장되는 상황이라 적용해야 하는 AI 정책과 규제를 이렇게 한곳에서 확인하는 시스템의 중요성이 크다. 세 번째는 협력적인 플랫폼을 제공하는 일이다. 기술적인 부분은 물론이고 개인정보 보호나 프라이버시와 같은 법적인 부분의 전문가들이 함께 있어 정책과 관련한 컨설팅을 제공해준다. 마지막으로 우리 플랫폼에 AI 시스템을 등록하면 관련 이해관계자들에게 공개된다. 예를 들어 헬싱키나 암스테르담, 스코틀랜드 정부 등 우리의 고객인 유럽의 공공기관은 ‘퍼블릭 AI 레지스트리’라고 해서 AI 정보를 공개하도록 하고 있다. AI 개발의 투명성을 갖추기 위한 목적이다. AI 시스템의 규제 준수 여부를 공개해야 할 때 우리 플랫폼이 도움을 줄 수 있다. 물론 모든 정보를 다 공개하지 않고 규제 기관이 필요로 한 정도까지 공개하는 식으로 선택할 수 있도록 유연성을 보장한다.”

-AI 규제 준수를 빠르고 효율적으로 확인할 수 있는 툴(Tool)이라고 보면 되나.

“현재 규제나 윤리의 준수 여부만이 아니라 우리가 자체적으로 갖고 있는 AI 레지스트리(데이터베이스)를 바탕으로 분석해 현재 개발되는 기업의 AI 시스템이 어떤 리스크를 갖고 있고, 이를 어떤 식으로 완화할 수 있는지, 향후 어느 부분을 중점적으로 발전시키고 개선해야 하는지 권고한다. 특히 요즘 기업은 생성형 AI(Generative AI·이용자의 요구에 따라 새로운 텍스트, 이미지, 동영상, 오디오 또는 코드를 만들어 주는 인공지능)를 기본에 깔고, AI 시스템을 개발한다. 기본이 되는 생성형 AI가 어떤 원리로 활용되는지 제대로 이해하는 게 굉장히 중요하다. 이 기본 모델 안에 혹시라도 잠재돼 있을 수 있는 위험요인이 무엇인지 파악한 상태에서 자사의 프로그램을 개발해야 한다. 기업 AI 거버넌스팀이나 규제준수팀은 우리가 전달한 기본적인 분석 결과를 바탕으로 완화 정책을 빠르게, 완성도 있게 세울 수 있다.”

-핀란드에서도 딥페이크가 논란이 된 사례가 있나.

“핀란드에선 딥페이크를 이용해 고위 정치인이 노래를 부르는 영상이 만들어졌다. 범죄라기보다는 풍자적으로 활용된 사례라고 할 수 있다. 하지만 범죄나 악의적으로 활용하면 굉장히 큰 문제가 될 수 있다. 생성형 AI의 등장으로 그 심각성이 최근 더 높아진 것 또한 사실이다. 소셜미디어를 통해 쉽게 퍼질 수 있어서 핀란드뿐만 아니라 전 세계적으로도 사이버 안보나 보안 측면에서 우려를 낳고 있다. 문제를 해결할 뚜렷한 방법이 없어서 더 큰 문제라고 보는 듯하다. 생성형 AI로 만든 아동 성범죄물이 특히 심각한 문제다.”

-보고 듣는 걸 믿을 수 없는 시대가 왔다.

“생성형 AI를 이용해 목소리와 영상을 실제처럼 만들 수 있는 상황은 우리의 소통 방식이 이대로 좋은가를 생각하게 만든다. 우리가 누군가와 전화로 이야기를 할 때 정말로 나와 이야기하는 대상이 정말 그 사람인가 확신할 수 없기 때문이다. 앞으로 흥미롭게 지켜봐야 하는 건 우리가 현재 통상적으로 쓰는 소통의 수단을 미래에도 동일하게 사용할 수 있을 것인가, 변화가 필요한 시점이 오지 않을까라는 점이다. 범죄자들 때문에 우리가 통상적으로 사용하던 소통 방식을 바꿔야 하는 건 받아들이기 어려운 거북한 일이지만, 상황이 이렇다면 충분히 고민해봐야 한다. 생성형 AI 기술의 발전 양상과 진위를 판별해내는 기술이 얼마나 빠르게 개발되는지를 같이 지켜봐야 한다는 말이다.”

핀란드의 AI 스타트업 세이닷(Saidot)의 창업가이자 CEO인 메리 하타야가 지난 10월 31일 서울 용산구 숙명여자대학교 디지털휴매니티센터에서 주간경향과 인터뷰하고 있다. 서성일 선임기자

-미국 정부는 최근 AI 개발과 사용에 관한 행정명령을 내놓았고, 챗GPT를 만든 오픈AI는 AI 위험을 줄이기 위한 자체 대응팀을 만들고 있다. 정부와 빅테크 기업의 대응을 어떻게 평가하는가.

“갑작스럽다기보다 수년 동안 필요성에 대한 공감이 쌓이고, 관련 노력을 기울인 끝에 마침내 발표된 것이라고 본다. 물론 생성형 AI 등장 이후 AI의 위험성에 대한 인식이 높아진 것도 사실이다. 생성형 AI는 다른 AI 시스템과 다르게 사회에 미치는 영향력이 압도적으로 높다. 생성형 AI를 바탕으로 수많은 기업과 기관이 자체적인 앱을 만들 수 있기 때문에 커다란 시스템적인 영향력을 갖고 있다. AI 생태계의 동학 자체를 바꾸는 상황에서 생성형 AI를 만드는 빅테크 기업이 그 위험 요소를 인지하고, 완화 정책을 개발 단계에서 함께 만들어야 한다는 압력이 커지는 건 당연한 현상이다. 생성형 AI의 영향력이 크다는 점에서 이를 책임감 있게 만드는 생태계 구축이 정부의 목표가 돼야 한다. 한편 지금의 생성형 AI는 거의 블랙박스에 가깝다. 이 모델이 어떻게 구축되는지에 대한 정보가 거의 알려져 있지 않고, 어떤 정보를 집어넣을 때 어떤 결과가 나오는지, 그 중간에 어떤 과정을 거치는지에 대한 내용도 실질적으로 알려진 것이 많지 않다. 이 중간 과정에 대한 우리의 인지도나 지식, 파악할 수 있는 기술의 성숙도가 굉장히 낮은 상황이라 정부와 빅테크 기업들이 관련 가이드라인을 만들고, 전담팀을 만들었다고 본다.”

-윤리적인 AI를 만들 수는 없나.

“윤리적인 AI란 그 AI가 보여주는 가치와 윤리가 그 시스템을 만든 사람의 가치와 윤리를 반영하고 있는 것인가로 판단해야 한다고 본다. AI 모델을 만든 사람이 어떤 사회적·문화적인 맥락에서 개발하는지에 따라서 그 사람이 적용하는 윤리가 달라진다. 결국 천편일률적으로 전 세계에 적용되는 윤리적인 AI가 있다고 하기는 어렵다. AI가 생성한 콘텐츠가 윤리적이냐 사회적으로 적절하냐의 여부도 달라진다. 결국 윤리적인 AI는 하나의 균일한 알고리즘을 만들어 모든 AI에 적용할 수 있는 문제가 아니다. 그게 윤리적인 AI 구축을 어렵게 하는 가장 큰 요인이고, 모델 자체가 굉장히 다양할 수밖에 없는 이유이기도 하다.”

-AI의 안전성 평가는 어떤 식으로 이뤄져야 하는가.

“안전성 평가는 핀란드 정부에서 굉장히 깊은 관심을 갖고 논의하는 부분이다. 아직 뚜렷한 기준을 마련하진 않았으나 기본적으로 ‘매핑’(특정 데이터와 다른 데이터를 짝짓거나 연결해 저장) 방식으로 평가하는 방안을 추진하고 있다. 예를 들면 데이터셋이 있고, 프롬프트(원하는 결과물을 얻기 위해 컴퓨터에 지시하는 명령어)를 입력하면, A라는 대답이 나오는 것이 옳다라는 전제 아래 실제 테스트를 한다. 특정 맥락에서 나와야 할 답이 제대로 나오는지 확인하는 과정이다. 기업과 기관이 활용하는 생성형 AI마다 이 테스트를 진행하면 그 성능이 다 다를 수밖에 없다. 그럴 때 내가 하고자 하는 종류의 업무에서 더 높은 성능의 답을 보여주는 생성형 AI 모델을 선택한다. 이것이 안정성 평가의 과정이 되고, 안정성 평가를 바탕으로 AI 모델에 대한 이해를 높이고 맞춤형으로 개발할 수 있는 방식이다. 또 하나 중요한 건, 생성형 AI 모델은 고정된 것이 아니라는 점이다. 개발사가 업데이트하거나 새로운 버전을 내놓으면서 계속 바뀐다. 이런 변화에 맞춰 안전성 평가를 반복해야 한다. 한 번의 평가로 끝나지 않고 생성형 AI의 전체 생애주기 동안 안전성 평가를 정기적으로 수행할 필요가 있다는 점을 꼭 인지해야 한다.”

주영재 기자 jyj@kyunghyang.com