스탠퍼드대, 스칼렛 요한슨 논란 휩싸인 오픈AI에 “GPT-4 투명성 낮아”

파운데이션 모델 투명성 보고서 업데이트
AI개발사들 “데이터 투명성 진전 필요”

스탠퍼드대 인간중심인공지능연구소(HAI)가 21일 공개한 파운데이션 모델 투명성 인덱스. <사진=HAI>

스탠퍼드대의 인간중심 인공지능 연구소(HAI)가 주요 파운데이션모델의 투명성에 대한 보고서를 업데이트했다. 지난해 10월 처음 인덱스를 발표한 이후 첫 업데이트다.

21일(현지시간) HAI는 보고서를 통해 파운데이션 모델 투명성 지수(FMTI)를 업데이트 했다. 오픈AI, 구글, 메타, 앤스로픽, IBM, 미스트랄 등 주요 14개의 파운데이션 모델이 대상이다.

평가 결과 14개 파운데이션 모델 중 허깅페이스-서비스나우의 스타코더가 가장 높은 점수를 얻었다. 오픈AI GPT-4는 10위, 구글 제미나이는 3위를 기록했다.

오픈소스 AI모델들이 점수가 높았다. 마이크로소프트 파이-2는 5위, 메타 라마-2가 6위를 기록했다. 알레프알파의 주라식-2와 IBM 그래나이트는 폐쇄모델이지만 각각 2위와 4위로 점수가 높았다.

HAI는 “오픈소스 AI 모델 개발 프로세스가 본질적으로 폐쇄형 모델보다 더 투명하기는 하지만 학습 데이터, 컴퓨팅 또는 사용 측면에서 반드시 더 투명한 것은 아니다”고 밝혔다.

10월에 처음 발표된 FMTI는 가장 널리 사용되는 대규모 언어 모델(LLM)의 투명성을 평가하기 위해 고안되었다. 책임감을 높이고, 생성형 AI의 사회적 영향을 다루며, 개발자가 훈련 방법과 운영 방식을 더욱 투명하게 공개하도록 장려하는 것입니다.

스탠퍼드의 인간 중심 인공지능 연구 그룹인 스탠퍼드 HAI에서 만든 FMTI는 개발자가 자신의 모델에 대해 얼마나 공개하는지를 고려하는 광범위한 지표와 사람들이 시스템을 사용하는 방식에 대한 정보를 통합해서 발표한다.

HAI에 따르면 지난해 10월에 비해 주요 모델들의 투명성이 다소 개선되었다.

HAI 연구진들은 “LLM의 원동력이 되는 데이터의 투명성이나 실제 영향력 측면에서 진전이 거의 없다는 사실에 다소 실망했다”면서 “AI 개발자들은 모델 학습에 사용하는 저작권이 있는 데이터, 해당 데이터에 액세스할 수 있는 사람, AI 가드레일이 얼마나 효과적인지에 대해서는 계속해서 비밀에 부치고 있다”고 말했다.

마침 오픈AI가 배우 스칼렛 요한슨의 목소리와 유사하게 AI를 만들었다는 논란에 휩싸이면서 HAI의 이번 보고서는 더 주목을 받게됐다.

연구진은 앞으로 AI 개발자들이 미국 정부와 G7 기관이 권장하는 자발적 행동 강령에 따라, 출시하는 주요 기반 모델마다 자체 투명성 보고서를 발표할 것을 요청했다. 또한, 정책 입안자들을 위한 몇 가지 조언도 덧붙였다. 이 보고서가 정책 개입이 AI 투명성을 높이는 데 도움이 될 수 있는 부분을 설명하는 데 도움이 될 수 있다고 덧붙였다.

[실리콘밸리=이덕주 특파원]