NIA-AI안전연구소, AI 안전성·신뢰성 평가체계 마련한다

총 2만 건 이상 한국어 특화 벤치마크 데이터셋 구축 계획

한국지능정보사회진흥원(NIA)과 과학기술정보통신부는 인공지능(AI) 모델의 안전성 및 신뢰성 평가 기반 구축을 위한 'LLM 안전성 및 신뢰성 평가 데이터셋 구축' 사업 착수보고회를 지난 7일 NIA 서울사무소에서 개최했다고 밝혔다.

이 사업은 NIA와 과기정통부가 추진 중인 '독자 AI 파운데이션 모델 프로젝트'를 통해 구축되는 AI 모델 등에 대한 안전성과 신뢰성 성능을 평가하기 위한 기반을 마련하는 것이다. 특히 AI모델의 위험 요소에 대한 체계적이고 정량적인 검증 체계를 구축하는데 중점을 두고 있다.

NIA는 그동안 AI 허브를 통한 대규모 AI학습데이터 구축, AI바우처 사업을 통한 중소기업 AI 도입 지원, 신뢰할 수 있는 AI 실현을 위한 다양한 정책 연구 등을 수행해왔다. 이번 사업을 통해 AI모델 성능평가를 넘어 안전성과 신뢰성까지 아우르는 종합적인 AI 평가체계를 구축한다. 이로써 글로벌 AI거버넌스 논의에서 한국의 위상을 높이는 데 기여하겠다는 포부다.

특히 이번 과제에서는 사이버보안, AI 자율성, 사실 기반 정확성, 사회적 가치 편향 등 AI 안전성과 신뢰성 핵심 항목을 아우르는 총 2만 건 이상의 한국어 특화 벤치마크 데이터 세트를 구축할 계획이다. 이를 글로벌 기준에 부합하는 AI모델 평가체계로 발전시킬 예정이다.

NIA 황종성 원장은 "NIA가 그동안 AI허브를 통해 축적한 1300여종의 AI학습데이터와 평가체계 전문성을 총동원해 세계 최고 수준의 AI안전성 검증체계를 구축하겠다. 이를 통해 대한민국이 글로벌 AI신뢰성 표준을 선도하는 국가로 자리매김할 것"이라고 말했다.

김명주 인공지능안전연구소장은 "이번 사업은 단순 성능 비교를 넘어, AI가 우리 사회에서 신뢰받으며 활용될 수 있는 기준을 세우는 첫 시도"라며 "인공지능안전연구소가 공정하고 객관적인 평가체계를 만들어가며 국내외 AI 신뢰성 생태계를 선도해나가겠다"고 전했다.

팽동현 기자 dhp@dt.co.kr

김명주(왼쪽 네번째) 인공지능안전연구소장과 이소라(왼쪽 다섯 번째) 과기정통부 과장 등 참석자들이 지난 7일 한국지능정보사회진흥원 서울사무소에서 열린 ‘LLM 안전성 및 신뢰성 평가 데이터셋 구축’ 사업 착수보고회에서 기념촬영하고 있다. NIA 제공