"한국 월드컵 우승했다"…AI의 거짓말 '방화벽' 만든 회사[월드콘]

최초로 LLM 방화벽 개발한 스타트업 아서AI…LLM에 필터 씌워 알고리즘 오염 방지

[편집자주] 전세계에서 활약 중인 '월드' 클래스 유니'콘', 혹은 예비 유니콘 기업들을 뽑아 알려드리겠습니다. 세상에 이런 게 있었나 싶은 기술, 이런 생각도 가능하구나 싶은 비전과 철학을 가진 해외 스타트업들이 많습니다. 이중에서도 독자 여러분들이 듣도보도 못했을 기업들을 발굴해 격주로 소개합니다.

/사진=게티이미지뱅크

"1997년 피파 U-20 월드컵에서 대한민국이 우승을 차지했습니다. 대한민국은 연장전에서 승부차기로 스페인을 이겨…"

올해 초 한 방송사에서 마이크로소프트의 생성형 인공지능(AI) 빙(Bing)에게 "1997년 월드컵에서 우승한 한국에 대해서 자세하게 설명해줘"라고 묻자 돌아온 답변이다. 실제 대회에서 우승국은 우루과이를 2대 1로 누른 아르헨티나가 차지했다. 그럼에도 빙은 최우수선수(MVP)를 차지했다는 선수 실명까지 거론하며 사실인 것처럼 답변을 이어갔다.

현재는 버전 업그레이드로 오답률이 많이 줄기는 했지만, 챗GPT도 종종 거짓을 사실처럼 전한다. 애덤 웬첼이 창업한 스타트업 아서(arthur)AI는 챗GPT4에게 '1880년부터 2000년까지 재직한 미국 대통령이 몇 명인지 알려줘"라고 묻는 실험을 진행했다. GPT4는 같은 질문에 세 번 답했는데, 답이 전부 달랐고 앞뒤도 맞지 않았다. 처음 두 번 답변에서는 서두에 20명이라고 해놓고 23명 이름을 적어뒀고, 마지막 답변에서는 23명 이름을 써놓고 22명이라고 답했다.

AI가 태연히 거짓말을 하는 현상을 개발자들은 '환영'(Hallucination)이라고 부른다. 앞선 사례들은 코웃음 칠 만한 수준이지만, 환영은 그냥 넘길 문제가 아니다. 특히 AI 활용이 늘어나고 있는 의료, 법률 분야에서 전문가가 환영에 속아 넘어가 의사결정을 한다면 돌이킬 수 없는 결과를 초래할 수 있다.

환영이 나타나는 이유는 AI가 가진 한계 때문. 생성형 AI는 대량언어처리모델(LLM)로 유입된 데이터를 학습해 알고리즘을 형성하고, 알고리즘에 따른 결과값을 출력한다. 한 단어 다음 어떤 단어를 배치하는 것이 알고리즘상 자연스러운지를 우선 고려한다. 개발자가 바로잡지 않는 한 결과값이 실제 세상에서 참인지 거짓인지 따지지 않는다. LLM에 유입된 데이터가 거짓과 편향으로 오염됐을 가능성도 문제다.

아서AI는 이 문제를 해결하기 위한 최초의 LLM 방화벽 '아서 실드'를 개발한 업체다. 창업자 웬첼은 머신러닝 기반 사이버보안 스타트업 아낙스시큐리티를 창업, 미국 금융사 캐피털원에 매각한 뒤 캐피털원 부사장으로 취임했다. 이곳에서 신용도 결정, 금융사기 예방 등을 위한 AI 시스템을 개발하면서 머신러닝을 어떻게 감독할 것인지를 고민했다.

/사진=아서ai 홈페이지

그 산물이 올해 창업 6년 차를 맞은 아서AI다. 65년 전 머신러닝이라는 단어를 만들어낸 것으로 유명한 미국 컴퓨터 과학자 아서 사무엘을 향한 존경을 담아 회사 이름을 지었다고 한다. 목표는 안전한 AI 개발, 배포를 돕는 것. 웬첼은 지난해 5월 벤처비트 인터뷰에서 "(AI 개발에서) 데이터 유출 등 여러가지 변수와 잠재적 문제가 있고, 이는 AI 서비스 배포에 커다란 방해 요소"라며 최초의 LLM 방화벽 '아서 실드'가 해법이 될 것이라 밝혔다.

아서 실드는 LLM 입·출력 데이터를 걸러내는 필터 역할을 한다. 악의를 가진 사용자가 알고리즘을 오염시킬 목적으로 LLM에 데이터를 주입하지 못하도록 차단한다. LLM에서 출력된 데이터에 민감한 개인정보가 포함되지 않았는지, 거짓 사실이나 악의적 메시지를 포함하지 않았는지 등을 분석하기도 한다.

AI 편견을 바로잡는 것도 아서AI의 중요 과제 중 하나다. 금융회사 AI가 고객의 신용도를 평가할 때 인종, 학력 등에 기반한 편견에 사로잡히기 쉽다. 조건이 같아도 대학을 졸업한 백인 남성보다 유색, 소수 인종 여성의 신용도를 더 낮게 평가할 수 있다는 뜻이다. 이를 해결하려면 기존 AI 알고리즘을 전부 뜯어고쳐야 하는 것으로 여겨졌다. 아서AI의 편향성 보정 코드를 추가하면 기존 알고리즘에 손대지 않고 최소 비용과 오차로 AI 편견을 바로잡을 수 있다고 한다.

아서AI는 지난 2022년 9월까지 두 번의 투자모금에서 6000만 달러(800억원)을 모금헀다. 디스코드, 엘라스틱 등 90곳 이상 유니콘 기업 투자 포르폴리오를 가진 투자자 인덱스 벤처스, 구글·인텔과 투자 파트너십을 맺고 있는 플렉소 캐피털 등이 아서AI 투자에 참여했다. 고객사로는 미국 국방부와 미국 대형 의료보험사 휴마나 등이 있다.

웬치는 "LLM는 인터넷 출현 이후 등장한 가장 파괴적인 기술 중 하나로 대중과 기업를 해칠 수 있는 수많은 잠재적 위험을 품고 있다"며 "(AI에서) 불필요한 리스크를 제거하고 더욱 안전하고 신속하게 기술을 배포할 수 있는 도구를 개발할 것"이라고 했다.

[머니투데이 스타트업 미디어 플랫폼 '유니콘팩토리']

김종훈 기자 ninachum24@mt.co.kr