거짓말하는 AI, 악용위험 막는다…네이버, 안전대응체계 발표

[사진 = 네이버 채널테크 갈무리]

네이버가 인공지능(AI)의 잠재적 위험요인에 사전 대응할 수 있는 체계를 수립했다.

17일 네이버는 자체 기술 채널을 통해 ‘네이버 ASF(AI Safety Framework)’를 발표했다. ASF는 AI 시스템을 개발·배포하는 모든 단계에서 초래할 수 있는 위험에 대응하는 방법을 의미한다.

ASF는 AI 시스템의 통제력 상실과 악용 위험에 대응하는 데 초점을 맞췄다. 먼저 인간이 AI 시스템에 영향을 미치지 못하는 통제력 상실 위험을 완화할 수 있도록 ‘AI 위험 평가 스케일’을 통해 주기적으로 위험성을 평가·관리할 계획이다.

특히 현존하는 최고 성능의 AI 시스템을 ‘프런티어 AI’로 정의하고 3개월마다 위험 평가를 진행하기로 했다. 시스템 능력이 기존보다 6배 이상 급격하게 증가할 시에는 추가 평가가 이뤄진다.

AI 시스템의 악용 위험 가능성에 대해서는 ‘AI 위험 평가 매트릭스’를 적용해 대처할 예정이다. AI 위험 평가 매트릭스를 활용하면 AI 시스템의 사용 목적과 안전 조치의 필요성 정도에 맞춰 각기 다른 방법으로 위험을 관리할 수 있다.

예를 들어 생화학 물질 개발과 같이 특수한 목적으로 사용되는 AI 시스템은 특별한 자격이 있는 사용자에게만 제공한다. 사용 목적과 관계없이 안전 조치 필요성이 높은 AI 시스템은 추가적인 기술적·정책적 안전 조치를 통해 위험이 완화될 때까지 배포하지 않는다.

네이버는 ASF를 다양한 나라의 문화적 다양성과 지정학적 특징을 반영해 고도화시킨다는 방침이다. 한국 외 국가의 정부·기업과 소버린 AI를 공동 개발하며 특정 문화권에서 성립될 수 있는 AI 시스템의 위험을 식별하겠다는 것이다.

실제로 네이버는 지난해 세계 최고 권위를 자랑하는 자연어처리학회 중 하나인 ACL(Association for Computational Linguistics)에서 종교, 도덕 등 사회적으로 첨예한 이슈에 대해 AI가 편향적으로 발화하는 문제를 완화하기 위한 새로운 대량의 한국어 데이터셋을 제안한 연구를 발표한 바 있다.

최수연 네이버 대표이사는 “네이버 ASF를 지속적으로 개선해나갈 계획”이라며 “이를 통해 다양한 지역의 문화와 가치를 반영하는 다수의 AI 모델이 안전하게 사용될 수 있도록 적극적으로 기여할 것”이라고 강조했다.