오픈AI, AGI에 다가선 새 모델 훈련 앞두고 '안전 위원회' 구성

오픈AI ‘차세대 모델 교육 시작했다’
위원회, 親올트먼 이사회가 이끌어

오픈AI 로고./AP 연합뉴스

최근 인공지능(AI)에게 배우 스칼렛 요한슨의 목소리를 무단으로 학습시킨 의혹에 휩싸인 오픈AI가 사내 ‘안전 및 보안 위원회’를 구성했다고 28일 밝혔다. 지능이 고도로 발달한 AI가 인간에게 위협이 되지 않을 방법을 연구하고, 오픈AI의 제품이 ‘탈선’하지 않도록 안전장치를 마련한다는 것이다.

28일 오픈AI에 따르면 회사는 이사회 의장을 맡고 있는 브렛 테일러 전 세일즈포스 공동 최고경영자(CEO)가 안전 및 보안 위원회를 이끌고, 애덤 디앤젤로 쿼라 CEO, 니콜 셀리그먼 소니 엔터테인먼트 전 회장, 샘 올트먼 오픈AI CEO 등 이사진이 위원회에 포함된다고 밝혔다. 오픈AI는 이달 초 기존 사내 안전 연구 조직인 ‘수퍼얼라인먼트(초정렬)’ 팀을 해체시켰고, 이를 이끌던 일리야 수츠케버 오픈AI 전 최고과학자가 퇴사하기도 했다. 이를 두고 업계에서는 “지난해 이사회의 쿠데타 이후 올트먼의 사람으로 교체된 이사회를 중심에 둔 새로운 안전 조직을 구성했다”는 평가가 나오고 있다.

◇오픈AI, 본격 차세대 AI모델 만든다

오픈AI가 안전 및 보안 위원회를 빠르게 구성한 이유는 차세대 AI모델 훈련에 본격 돌입했기 때문이다. 오픈AI는 이날 “최근 차세대 프론티어 모델 교육을 시작했고, 이 모델은 결과적으로 범용인공지능(AGI)로 나아가는 다음 단계의 기능을 할 것으로 기대된다”고 전했다. 업계에선 이르면 올 여름 공개될 것으로 예상됐던 차세대 AI모델 GPT-5의 공개를 앞두고 안전 조치를 취하는 것이 아니냐는 분석이 나오고 있다.

AGI는 사람의 명령이 없어도 자율적으로 판단 할 수 있는 AI로, 현재 빅테크 기업들의 AI개발 경쟁의 궁극적인 목표가 되고 있다. 하지만 AGI 기술이 테러조직·해커 등의 손에 잘못 들어가게 될 경우 참사가 일어날 수도 있는데다, AGI 자체가 인간의 통제를 벗어나 문제를 일으킬 가능성도 있다. 이 때문에 AGI가 나타나기 전 인간의 선한 의지와 배치되지 않는 ‘정렬(alignment)’ 작업이 필요하다는 지적들이 나오고 있는 것이다.

이를 의식한 오픈AI는 “안전 보안 위원회의 첫 임무는 향후 90일 동안 오픈AI의 개발 과정과 보호 장치를 평가하고, (부족한 부분에 대해) 추가로 개발을 진행 하는 것”이라고 밝혔다. 그러면서 “90일 이후 안전 보안 위원회는 전체 이사회와 권고 사항을 공유할 것이고, 오픈AI는 이 같은 권고안과 일치하는 방식으로 진행되는 업데이트 상황을 모두 공유할 것”이라고 했다. 그러면서 오픈AI는 “우리는 역량과 안전성 면에서 업계 최고인 모델을 개발하고 출시하게 되어 자랑스럽지만, 이 중요한 순간에 치열한 논쟁을 환영한다”고도 했다.

◇올트먼의 편에 선 이사회, 괜찮을까

다만 일각에선 올트먼과 대척점에 있던 수츠케버와 그를 따르던 ‘AI 두머(종말론자)’들이 회사를 그만둔 상황에서, 이 같은 안전 위원회가 제대로 작동할지 우려가 된다는 지적도 나오고 있다.

수츠케버와 함께 초정렬 팀을 이끌다 최근 회사를 떠난 얀 레이케는 X에서 “인간보다 더 똑똑한 기계를 만드는 것은 본질적으로 위험한 시도”라며 “오픈AI는 인류를 대표해 엄청난 책임을 지고 있지만, 지난 수 년간 안전 문화는 빛난 제품에 밀려 뒷전이 됐다”고 비판한 바 있다. 오픈AI 간부로서 차기 AI모델의 상세한 내용을 알았을 레이케 조차 지금의 오픈AI는 안전한 AI를 만들 수 없는 환경이라고 본 것이다.

한편 CNBC에 따르면 레이케는 오픈AI의 경쟁사인 앤스로픽에 합류한 것으로 알려졌다. 그는 X에 “초정렬 임무를 계속하기 위해 앤스로픽에 합류하게 되어 기쁘다”며 “저의 새로운 팀은 확장 가능한 감독 시스템과 자동화된 정렬 연구에 전념할 것”이라고 밝혔다.