오픈AI, 작은 모델로 GPT4 감독 성공 “AGI 감시방법론 첫 발”

블로그 통해 발표

오픈AI

오픈AI(OpenAI)는 슈퍼정렬에 관한 새로운 연구 방향을 15일 발표했다. 이 연구는 딥러닝의 일반화 속성을 이용하여 ‘약한 감독자’인 인간이 더 강력한 AI 모델을 어떻게 효과적으로 제어할 수 있는지 탐구한다.

연구팀은 GPT-2 수준의 모델을 사용해 GPT-4와 유사한 수준의 감독성능을 달성하는 데 성공했다. 이는 작은 모델이 복잡하고 어려운 문제에서도 올바르게 일반화할 수 있음을 시사한다. 특히 이 방법은 미래의 초지능 AI 시스템을 안전하고 효율적으로 조정하는 데 핵심적인 역할을 할 것으로 기대된다고 회사는 밝혔다.

이번 연구는 또한 인간 피드백 강화 학습(RLHF)과 같은 현재의 정렬 방법들이 가진 한계를 극복하고자 한다. 미래의 AI 시스템은 인간이 이해하기 어려울 만큼 복잡하고 창의적인 행동을 할 수 있기 때문에, 초지능 AI의 안전한 감독과 제어는 매우 중요한 과제다. 연구팀은 이 새로운 연구 방향이 초인간 AI 모델을 경험적으로 정렬하는 데 중요한 발전이 될 것이라고 밝혔다.

오픈AI의 새로운 연구는 인간과 AI 사이의 감독 관계에 초점을 맞추고 있다. 이 연구는 ‘약한 감독자’가 강한 모델을 어떻게 제어할 수 있는지를 탐구하며, 이는 AI의 일반화 능력을 활용한 것이다. 미래에는 인간의 지능이 AI보다 낮을것이라는 전제다.

이는 미래의 초인적 AI 시스템을 정렬하는 데 중요한 단계로, 인간이 AI 시스템을 자신보다 똑똑하게 감독해야 하는 문제를 해결하는 데 도움이 될 것으로 보인다.

현재 인간 피드백 강화 학습(RLHF)과 같은 정렬 방법들은 인간 감독에 의존하고 있으며, 이는 미래의 AI 시스템에서는 한계가 있을 수 있다. 이 연구는 약한 감독자가 실질적으로 더 강한 모델을 신뢰하고 제어할 수 있는 방법을 제시했다는 평가다.

또한 오픈AI는 이 연구를 지원하기 위해 대학원생, 학자, 기타 연구자들을 위한 1,000만 달러 규모의 보조금 프로그램을 시작한다고 발표했다. 이것은 초지능 AI 시스템을 안전하게 조정하는 방법을 찾는 것이 점점 더 중요해지고 있음을 보여준다. 연구팀은 이러한 접근 방식이 미래의 AI 정렬 문제에 대한 새로운 해결책을 제시할 것으로 기대하고 있다.