AI가 만든 가짜뉴스, 기업 평판에 악영향 … 검증 기술 고도화에 속도

엔비디아 GTC 무대 오른 '파일러' 오재호 대표

인공지능(AI)으로 제작한 저품질 콘텐츠인 'AI 슬롭'이 범람하면서 콘텐츠의 유해성과 신뢰성 문제가 사회적인 문제로 떠오르고 있다. 다만 많은 AI 기업이 진짜 같은 콘텐츠 생산에 초점을 맞추고 있는 반면 이를 위한 안전 기술을 개발하는 곳은 상대적으로 적다.

지난달 16~19일(현지시간) 열린 엔비디아의 연례 개발자 콘퍼런스 'GTC 2026' 무대에 오른 한국 AI 스타트업 파일러는 2021년 설립부터 콘텐츠 안전성 문제를 AI로 푸는 데 집중해온 독특한 기업이다.

오재호 파일러 대표는 GTC 2026 기간 미국 캘리포니아주 새너제이 맥에너리 컨벤션센터에서 매일경제와 만나 "AI의 긍정적인 부분은 당연히 많지만, 반대 측면에서 가져올 수 있는 부작용도 크다. 파일러는 그것을 막을 준비를 하는 기업"이라고 설명했다.

파일러는 자체 개발한 멀티모달 AI 모델을 활용해 영상 측면에서 기업들에 브랜드 안전성을 위한 솔루션을 제공하는 기업이다. 예를 들어 기업이 유튜브에 영상 광고를 진행하는 경우, 광고가 선정적인 영상이나 AI로 만든 저품질 영상과 함께 노출되지 않도록 하는 것이 대표적이다.

만약 기업 광고가 테러리즘 영상이나 AI로 만든 가짜뉴스 영상 앞뒤로 노출되게 되면, 기업이 원치 않았던 경우라 해도 기업 평판에는 심각한 손상이 발생할 수 있기 때문이다.

기존에는 사람이 모든 영상을 훑으며 광고 위치를 조율해야 했지만, 파일러는 AI를 활용해 영상들을 분석하고 판별한 다음 적합한 영상에 광고를 내보내도록 한다. 또한 기업들이 영상 플랫폼에 매일 올라오는 자사 브랜드와 관련된 영상을 모니터링하고 파악할 수 있도록 하는 데도 파일러 기술이 활용된다.

오 대표는 "사람이 생성한 영상 중에서도 문제가 되는 영상이 많고, 반대로 AI가 생성했다고 해서 모두 유해한 콘텐츠인 것은 아니다"며 "유해함의 기준을 어떻게 설정하고 구분해낼지가 기술적인 과제"라고 설명했다.

설립 초기부터 엔비디아와 협력을 이어온 파일러는 이번 GTC에서 부스와 포스터 발표, 오 대표의 세션 발표까지 진행했다. 특히 오 대표는 마지막날인 지난 19일 '신뢰할 수 있는 멀티모달 영상 인텔리전스 확장하기'라는 주제로 자사의 영상 이해 AI 기술을 소개했다. 오 대표는 "GTC에 와보니 엔비디아에서도 네모(NeMo) 팀에서도 콘텐츠 안전성을 연구하는 조직을 두고 콘텐츠 유해성을 탐지하는 기술을 연구하고 있다는 것을 알게 됐다"며 "협력할 수 있는 지점이 생길 것 같다"고 말했다.

파일러는 자사의 영상 콘텐츠 분석 기술이 광고 비즈니스 영역을 넘어 안전성이라는 더 큰 측면으로 확장될 것이라고 보고 있다.

오 대표는 "자동차 사고가 발생하기 전까진 자동차 안전벨트가 없었다"고 비유하며 "영상 분야도 위험성을 우려하는 이야기는 많지만 실제로 어떻게 대응할지 논의는 많지 않은 상황"이라며 안전성 기술의 중요성을 강조했다.

GTC 참가에 이어 파일러는 올해 본격적으로 글로벌 확장에 속도를 낼 계획이다.

[정호준 기자]