[테크&포커스] 미해결된 AI 윤리·부작용 문제… `안전벨트` 만드는 네카오

네이버, ASF 제시… 위험 관리
통제력 상실·악용 대응안 설계
카카오, 그룹 기술윤리 소위 출범
체크리스트 개발 모니터링 강화

네이버 ASF 거버넌스. 네이버 제공

네이버의 AI Safety 기준 예시. 네이버 제공

카카오의 디지털 안전 이슈 주요지표. 카카오 제공

카카오의 AI 정책지원 TF 체계. 2023 카카오 공동체 기술윤리 보고서 갈무리

지속 가능한 인공지능(AI) 공존 시대를 열어가는 게 인류 최대 과제로 부상한 가운데 국내 대표 기술기업들이 안전성과 포용성을 키워드로 관련 활동에 박차를 가하고 있다.

토종 플랫폼인 네이버와 카카오는 국제 무대에서 AI의 안전성과 포용성 정책 사례를 공유하고 글로벌 AI 윤리규범과 표준을 수립하는데 적극적으로 참여하고 있다. 공공기여와 이용자 인권보호를 비롯한 AI 안정화 정책 모범사례를 제공하는 활동을 하면서 AI 윤리 표준화에 일조하는 것이다. 이에 따라 K-플랫폼 기업이 AI의 윤리적 활용을 선도하고, 국제 사회에서 AI 윤리 리더십을 강화할 것이라는 기대감이 커지고 있다. 특히 네이버와 카카오 등은 AI 기술이 사회적으로 수용 가능하도록 하는 연구개발(R&D)에 투자하고, 윤리적 AI를 구현하는 신기술·신서비스 개발에 힘써 국제사회의 주목을 받고 있다.

네이버는 지난 5일(현지시간) 스위스의 UN 제네바 사무소에서 '신기술에 대한 인권 기반의 접근(컨셉에서 구체적 적용으로)'을 주제로 열린 포럼에서 안전한 AI 생태계 구축 정책을 소개했다. 서울대 인공지능 정책 이니셔티브(SAPI) 및 유니버셜 라이트 그룹(URG), 주제네바 대한민국 대표부가 공동으로 개최한 행사에서 안전한 AI를 만들 추상적 원칙을 산업 실무에 적용해온 사례들을 공유하며 논의에 구체성을 더했다.

카카오 역시 지난 15~19일(현지시간) 사우디아라비아 리야드에서 열린 UN 산하 '인터넷 거버넌스 포럼(IGF)'에 참석해 전 세계 인터넷·IT 전문가에게 △공공 혁신을 위한 토종플랫폼의 노력 △그룹 차원의 기술윤리 실행 △디지털 안전 제고를 위한 활동 등을 소개했다. 카카오는 이에 앞서 지난달 25~27일(현지시간) 스위스 제네바에서 UN 산하 인권최고대표사무소 주최로 열린 제13차 'UN 기업과 인권 포럼'에도 참가해 'AI와 이용자 간 건강한 상호작용 위한 윤리'를 발표하는 시간을 가졌다. 발표자로 나선 하진화 카카오 CA협의체 ESG위원회 그룹기술윤리팀 프로젝트리더는 '카카오 AI 윤리'에 새롭게 추가된 조항을 발표하고 변화하는 기술과 사회의 흐름에 발맞추는 활동을 국제 사회와 공유해 이목을 모았다.

◇"안전한 'AI 주권' 생태계 구축"…네이버, AI 안전성 실천 체계 공개

네이버는 2021년 '네이버 AI 윤리 준칙', 2022년 'AI 윤리 자문 프로세스'에 올해 한층 더 구체화된 AI 안전성 실천 체계인 '네이버 ASF(AI Safety Framework)'를 제시했다. 네이버 ASF는 네이버가 AI 시스템을 개발하고 배포하는 과정의 모든 단계에서 AI의 잠재적 위험을 인식·평가·관리하는 대응 체계다.

네이버 ASF는 AI 시스템이 초래할 수 있는 위험을 각각 '통제력 상실 위험'과 '악용 위험'으로 정의하고, 이에 대응하는 방법을 설계한 것이 특징이다. 먼저 인간이 AI 시스템에 영향을 미치지 못하게 되는 '통제력 상실 위험'을 완화하고자 'AI 위험 평가 스케일'을 통해 AI 시스템의 위험을 주기적으로 평가하고 관리한다. 특히 현존 최고 성능의 AI 시스템을 '프런티어(frontier) AI'로 정의하고, 이 기술 수준에 해당하는 AI 시스템에 대해서는 3개월마다 위험 평가를 수행한다. 또한 시스템의 능력이 기존보다 6배 이상 급격히 증가한 경우에는 그 시점에 추가 평가가 이뤄진다.

네이버 ASF가 정의하는 AI 시스템의 또다른 잠재적 위험인 '악용'의 가능성에는 'AI 위험 평가 매트릭스'를 적용해 대응한다. AI 위험 평가 매트릭스는 AI 시스템의 사용 목적과 안전 조치의 필요성 정도에 따라 각각 다른 방법으로 위험을 관리한다. 예를 들어, 생화학 물질 개발과 같이 특수한 목적으로 사용되는 AI 시스템은 특별한 자격이 있는 사용자에게만 제공해 위험을 완화하고, 사용 목적과 관계 없이 안전 조치의 필요성이 높은 AI 시스템이라면 추가적인 기술적·정책적 안전 조치를 통해 위험이 완화될 때까지는 배포하지 않는다.

네이버는 문화적 다양성을 반영한 AI 안전성 체계를 구축하면서 네이버 ASF를 발전시켜 나간다는 계획이다. 한국 외 다른 지역의 정부 및 기업과 'AI 주권'을 공동개발하며 특정 문화권에서 성립될 수 있는 AI 시스템의 위험을 식별하고, 위험의 정도를 측정하는 벤치마크도 문화권의 특성을 반영해 고도화할 예정이다.

네이버는 실제로 한국어를 기준으로 구축한 AI 안전성 강화 학습 데이터셋을 글로벌로 확장한 경험이 있다. 네이버는 지난해 세계 최고 권위 자연어처리 학회 중 하나인 'ACL 2023'에서 종교, 도덕 등 사회적으로 첨예한 이슈에 대해 AI가 편향적으로 발화하는 문제를 완화하는 새로운 대량의 한국어 데이터셋을 제안한 연구를 발표했다. 이 연구에서는 문화권에 따라 사회적으로 민감한 문제가 달라질 수 있다는 점을 고려해 같은 종류의 데이터셋을 다른 언어 기반으로도 구축할 수 있도록 데이터 설계 프로토콜을 제안했고, 글로벌 AI 커뮤니티에 기여했다는 평가를 받았다.

네이버는 ASF 관리구조도 갖춰나가고 있다. 다양한 분야에 전문성을 보유한 구성원들과 협업하면서 네이버가 개발하는 AI 시스템의 위험을 인식·평가·관리하고 있다. 네이버의 AI 안정성 거버넌스는 △AI 시스템 위험에 대한 실무적인 논의기구인 퓨처AI센터 △AI 시스템 위험에 대한 이사회 보고사항을 판단하는 기구인 리스크관리워킹그룹 △AI 시스템 위험에 대한 최종적인 의사결정 기구인 리스크관리위원회로 구성돼 있다. 외부적으로는 서울대, 카이스트와의 AI 기술 분야 협력을 진행하고 있으며, 서울대 인공지능 정책 이니셔티브와는 AI 정책 분야의 협력을 진행하고 있다. 올해 4월, 정부기관, 생성형 AI 기업, 다양한 분야의 참가자들과 함께 '생성형 AI 레드팀 챌린지'를 진행했다. 다양한 참가자들이 탈옥, 편견·차별, 인권침해, 사이버 공격, 불법콘텐츠, 잘못된 정보, 일관성 등 7개 주제를 대상으로 잠재적 위험과 취약점을 찾았으며, 유해한 콘텐츠를 유도하거나 특정 사회적 집단에 대한 고정관념이나 편견에 근거한 부정적 응답 제공 등을 유도하며 생성형 AI 모델의 취약점을 발굴했다.

최수연 네이버 대표는 "네이버는 한국에서 '하이퍼클로바X'를 개발한 경험을 바탕으로, 문화적·지정학적 상황과 지역적 이해가 AI의 성능뿐만 아니라 안전성에도 영향을 미친다는 점을 실증했다"며 "향후 글로벌 시장에서도 네이버 ASF를 지속적으로 개선해나가면서 다양한 지역의 문화와 가치를 반영하는 지속 가능한 AI 생태계에 기여할 것"이라고 했다.

◇안녕한 디지털 세상을 위한 카카오의 책임있는 AI 프로세스

카카오는 올해 6월 기술윤리 거버넌스와 관련해 기존의 '공동체 기술윤리 위원회'를 재편해 '그룹 기술윤리 소위원회'(소위)를 출범했다. 소위의 리더는 카카오의 차세대 AI인 카나나X를 담당하는 이상호 리더가 선임됐다. 소위는 주요 그룹 계열사의 기술윤리 총괄 및 실무 담당 리더로 구성했다. 관련 전담 조직인 '그룹기술윤리팀'도 신설됐다.

카카오가 2022년 7월부터 올해 3월까지 운영한 공동체기술윤리위원회는 계열사별 기술윤리를 점검하고, 발전 방안을 모색하는 기구인 것과 달리 소위는 관련 리스크까지 선제적으로 점검하고, 대응, 관리하는 역할을 맡았다.

소위는 최근 그룹 기술윤리 자율규제의 일환으로 '안전한 AI를 위한 핵심 체크리스트'를 개발했다. '체크리스트'는 AI 기술과 서비스 개발 단계를 △계획 및 설계 △데이터 수집 및 처리 △AI 모델 개발·기획 및 구현 △운영 및 모니터링 등 4단계로 구분하고, 사회 윤리와 서비스 품질 검토에 필요한 항목들로 구성돼 있다. 카카오의 각 계열사는 서비스 출시 전 기술윤리 총괄 책임하에 '체크리스트'를 작성한 후 법무 검토와 대표 승인을 거쳐 소위에 제출해야 한다.

카카오는 2022년부터 계열사별로 쌓아 온 기술윤리 전담 조직의 실질적 기능도 강화했다. 소위는 계열사별 기술윤리 전담 조직의 효과적인 운영, 안전한 기술을 위한 리스크를 관리하고, 목표 달성에 필요한 의견을 수렴, 검토한 뒤 통합적인 가이드라인을 제공한다.

카카오는 기술의 투명성을 강화하고자 카카오를 비롯한 주요 계열사의 기술을 소개하는 '테크 에틱스'도 매월 꾸준하게 발행하고 있다. 올해부터는 운영원칙을 기반으로 실제 서비스 내에서 어떠한 조치들이 이뤄지고 있는지 시행 데이터를 공개하는 '톡안녕 보고서'도 발행한다. 올해 상반기동안 피싱예방도구로 45만4000여개의 계정을 차단했고, 일반채팅에서 15만3000여개, 오픈채팅에서 52만3000여개의 계정을 운영정책 위반으로 조치했다.

카카오는 올해 UN 기업과 인권 포럼에서 새롭게 개정된 '카카오 AI 윤리'를 소개했다. 신규 조항은 '이용자의 주체성'으로 인간이 AI에 과도하게 의존하는 것을 경계하고 신체적·정신적·사회적 안전을 위협하는 사용이 일어나지 않도록 노력한다는 내용을 담고 있다. 카카오의 'AI 윤리 원칙'은 ' 이용자의 주체성' 조항을 비롯해 '포용성', '투명성', '프라이버시', '이용자 보호'등 총 10개의 원칙으로 이뤄져 있다.

김미경기자 the13ook@dt.co.kr