인공지능 23개 모델 평가하니…‘o3’ 모든 분야 답변서 최우수

<span style="color: rgb(0, 184, 177);">곽노필의 미래창</span>
인공지능 23개 모델 평가한 결과
오픈AI ‘o3’가 모든 분야에서 1위
나머지 모델은 분야별로 성능 달라

오픈에이아이(OpenAI)의 인공지능 모델 오쓰리(o3)가 다양한 분야의 과학 질문에 답할 수 있는 최고의 인공지능으로 평가받았다. 앨런인공지능연구소 제공

챗지피티 개발업체인 오픈에이아이(OpenAI)의 인공지능 모델 오쓰리(o3)가 다양한 분야의 과학 질문에 답할 수 있는 최고의 인공지능으로 평가받았다.

미국 시애들의 앨런인공지능연구소(Ai2)가 자체 개발한 인공지능 평가 플랫폼인 사이아레나(SciArena)를 이용해 23개 거대언어모델(LLM)의 과학 질문에 답변 능력을 평가한 결과다.

연구소는 102명의 연구자가 이 플랫폼에 참여해 질문을 던진 뒤 각각의 인공지능이 제시한 답변에 대해 투표한 결과, 총 1만3천표 이상의 투표 중 오픈에이아이의 o3가 자연과학, 의료, 공학, 인문학 및 사회과학 분야 모두에서 가장 우수하다는 평가를 받았다고 밝혔다. 오픈에이아이는 지난해 9월 추론 능력에 중점을 둔 o1 모델을 출시한 데 이어 올해 성능을 개선한 o3를 내놓았다.

나머지 인공지능은 분야별로 성능에 차이를 보였다. 예컨대 중국 항저우의 딥시크(DeepSeek)가 개발한 딥시크-알원(DeepSeek-R1)은 자연과학 분야 2위, 공학 분야 4위를 차지했다. 구글의 제미나이2.5프로(Gemini-2.5-Pro)는 자연과학 분야 3위, 공학 및 의료 분야 5위를 기록했다. 클로드4 오푸스(Claude-4-Opus)는 의료 분야에서 2위에 올랐다.

연구자들이 o3에 몰표를 준 이유는 뭘까? 연구소의 아만 코핸 연구원은 네이처에 “오쓰리가 인용 문헌에 대한 자세한 정보를 제공할 뿐 아니라, 기술적으로 미묘한 부분까지 정교하게 설명하기 때문인 것으로 보인다”고 말했다.

그는 그러나 대부분의 모델은 각 회사가 독점적으로 소유하고 있는 것이어서 각 모델의 성능이 왜 다른지는 설명하기가 어렵다고 강조했다. 다만 훈련 데이터의 차이, 그리고 모델이 어떤 것에 최적화돼 있는지 등이 부분적인 이유가 될 수 있다고 덧붙였다.

“인공지능 요약본이 논문 읽기 대체할 순 없어”

사이아레나는 인공지능 모델의 성능을 평가하는 최신 플랫폼 중 하나로, 과학 분야에서 클라우드소싱 피드백, 즉 많은 사람들의 의견을 모아 평가하는 것이 특징이다. 연구자가 과학 질문을 던지면, 사이아레나가 두 개의 무작위로 선택된 모델로부터 얻은 답변을 연구자에게 제시하고, 연구자는 두 답변을 비교한 뒤 평가 투표를 한다.

사이아레나(https://sciarena.allen.ai/)는 현재 일반에 공개돼 있어 일반인들도 무료로 질문을 할 수 있고 두 모델로부터 답변을 받을 수 있다. 이용 약관에 동의하면 평가 투표에도 참여할 수 있다.

오스트레일리아 시드니대의 인공지능 연구원 조너선 쿠머펠드는 네이처에 “거대언어모델(LLM)에 과학 분야 질문을 하고 신뢰할 수 있는 답변을 받는다면, 연구자들이 자신의 분야에서 최신 연구 문헌을 따라잡는 데 큰 도움이 될 것”이라며 “이런 능력은 연구자들이 어쩌면 놓쳤을 수도 있는 다른 연구 작업을 찾아내는 데 도움이 될 것”이라고 말했다.

오스트레일리아국립대의 라훌 쇼메 연구원(인공지능)은 그러나 “거대언어모델이 인용 논문과 상충되는 내용을 제시하거나 용어를 잘못 이해하고, 질문에 정확하게 답변하지 못할 수 있다는 점도 명심해야 한다”며 “인공지능이 생성한 논문 요약을 읽는 것이 논문을 직접 읽는 것을 대체할 수는 없다”고 강조했다.

곽노필 선임기자 nopil@hani.co.kr