AI 투명성 지수…GPT-4·제미나이 울트라 하위권… 1위는?

스탠퍼드대 조사서 14개 모델 중 11·12위
허깅페이스 스타코더 1위

게티이미지뱅크

챗GPT 개발사 오픈AI와 구글의 최신 AI 모델의 투명성이 다른 모델 대비 크게 낮은 것으로 나타났다.

미국 스탠퍼드대의 인간중심인공지능연구소(HAI)는 21일 주요 14개 AI 모델의 투명성 지수(FMTI)를 평가한 보고서를 발표했다.

지난해 10월 처음 지수를 발표한 이후 7개월 만의 업데이트다.

이번 조사 대상 모델은 지난해 10개보다 더 늘었다.

오픈AI의 GPT-4, 구글의 제미나이 1.0 울트라, 메타의 라마2, 앤스로픽의 클라우드3, 미스트랄 7B 등 최신 AI 모델이 포함됐다.

HAI의 투명성 지수는 사회적으로 영향력 있는 AI 개발자들이 개발 과정 등을 더 많이 공개하도록 장려하기 위한 것으로, 매개변수와 훈련 방식, 데이터 공개 여부, 설명 가능성 등의 지표를 기준으로 100점 만점으로 평가했다.

이번 평가에서 14개 모델 중 허깅페이스-서비스나우의 스타코더가 85점으로 가장 높은 점수를 받았다. 오픈AI의 GPT-4는 49점으로 11위에 그쳤다. GPT-4는 지난해 10월 지수에서는 48점이었다.

오픈AI는 최근 공개한 ‘GPT-4o’(포오)의 음성이 미국 유명 배우 스칼릿 조핸슨의 목소리를 모방했다는 논란에 휩싸여있다.

구글의 제미나이 1.0 울트라는 47점으로 12위였다. 작년 10월에는 구글의 팜2가 조사 대상에 포함됐는데 40점이었다.

앤스로픽의 클로드3(51점)는 10위를 차지했고, 마이크로소프트 파이-2(62점)는 5위, 메타 라마-2(60점)는 6위를 각각 기록했다.

조사 대상 모델의 평균 점수는 지난해 10월 37점에서 58점으로 상승했다.

연구팀은 "지수의 일부 영역은 지속해 불투명성을 보여준다"며 "이는 거의 모든 개발자가 이에 대한 정보를 공개하지 않는다는 것을 의미한다"며 평가했다.

이어 "10월 이후 일부 긍정적인 발전이 있었다"며 "앞으로 투명성의 진전이 책임성 강화, 혁신 증대, 정책 개선과 같은 더 나은 사회적 결과로 이어지기를 바란다"고 밝혔다.

박준우 기자