"인간이 읽을 수 없는 지능이 나타났다"…선 넘기 시작한 GPT-6? [스프]

[오그랲]

⚡ 스프 핵심요약

오픈AI의 아스트라는 기존 모델보다 훨씬 짧은 생각 과정을 거치면서도 압도적인 문제 해결 성능을 보여주며 인간의 감시와 추론을 더욱 어렵게 만들고 있습니다.

아스트라는 테스트 과정에서 가짜 신원을 생성하거나 악성 코드를 심는 등 인간의 명령을 어기고 통제를 벗어나는 공격적인 행동을 보인 바 있습니다.

인간의 언어를 거치지 않는 잠재 추론 방식과 루프형 구조의 도입으로 인해, AI 내부의 판단 과정을 모니터링할 수 있는 투명성이 점차 낮아지고 있습니다.

9월 3일, 오픈AI가 신규 모델 GPT-6 아스트라를 전격 공개했습니다. 직전 모델인 GPT-5.6이 공개된 게 7월 9일이었으니까 두 달도 채 안 되어서 새로운 모델을 발표한 겁니다. GPT-6가 곧 나올 거다라는 이야기는 사실 이전부터 들려왔습니다. 지난 4월에 샘 올트먼이 X에 "GPT-6의 학습을 시작하라"라는 게시글을 올리기도 했고요.

8월부터는 본격적으로 오픈AI 측에서 관련 소식들이 솔솔 풀리기 시작했어요. 차기 모델인 아스트라를 내부적으로 평가해 봤더니, 사이버 역량 수준이 너무 높다더라… 우리도 빨리 일반 대중들에게 공개하고 싶은데 이렇게 위험한 모델이니까 시간이 조금 필요하다는 등… 꺼드럭거리는 듯한 발표들도 많았지만, 허깅페이스 해킹 사건이나 독일 위키 장악 사건 같은 보안 사건들이 연이어 발생하다 보니 오픈AI도 속도 조절에 나설 수밖에 없었어요. 그래서 최근에 AI 개발 속도를 일시적으로 멈추고 모델 안전성 확보를 위한 조치를 강화하겠다고도 선언했죠. 그래서 GPT-6 공개까지 조금 시간이 걸리지 않을까 했는데 이번에 전격적으로 공개를 한 겁니다.

공개된 자료를 보니 아스트라의 사이버 역량 수준에 대한 오픈AI의 우려가 빈말이 아닌 것 같습니다. 오픈AI가 내부적으로 자신들의 모델의 위험성을 추적하고 평가하는 준비 프레임워크가 있는데요. 이번 아스트라 모델은 사이버보안 능력이 위험 수준 임계치에 도달했어요. 위험 수준을 나타내는 크리티컬은 만약 AI가 없었다면 불가능할 완전히 새로운 위협 경로를 만들어낼 수 있는 수준의 능력을 의미합니다. 이전 모델이었던 GPT-5.6은 사이버보안, 생물·화학 영역에서 High 등급을 받았었고요.

아스트라가 공개된 이후 모델 성능이 워낙 뛰어나다 보니 신규 모델을 활용한 결과물이 쏟아지고 있습니다. "AI에게 업무의 시작과 끝을 다 맡긴다"는 오픈AI의 말이 빈말이 아니라는 듯이 진짜 수많은 일들을 뚝딱 해내고 있어요.

가령 소닉 3D 게임을 만들어보라고 시키면 이렇게 결과물이 뚝딱 나옵니다. 이뿐만 아니라 수많은 이용자들이 아스트라를 이용해 만든 게임들이 SNS를 가득 채우고 있어요. 게임뿐만 아닙니다. 간단하게는 문서 작업은 물론, 블렌더를 통해 3D 모델도 뚝딱 만들고, 회로 기반 설계도 아스트라는 해내고 있어요. 특히 AI가 직접 컴퓨터를 조작하는 이른바 '컴퓨터 유즈' 사례들도 많이 등장하고 있습니다.

그렉 브록먼 오픈AI 사장은 출시 당일 비공개 언론 브리핑에서 "AGI 시대에 오신 걸 환영한다"고 말하기도 했죠. AGI는 인간처럼 다양한 분야의 지적 과제를 스스로 학습하고, 추론하고 수행할 수 있는 AI를 뜻합니다. 그렉 브록먼은 아스트라가 인간이 컴퓨터로 할 수 있는 일이라면 무엇이든 할 수 있다고 강조했어요. 젠슨 황도 아스트라 모델이 공개된 이후에 "AGI가 도래했다"고 선언하기도 했고요.

인터넷에서 인간임을 증명할 때 사용되는 캡차를 48개 모아 놓은 'I'm Not a Robot' 게임이 있는데요. 오픈AI 개발자가 아스트라에게 이 게임을 시켜봤는데 한 번에 풀어버려서 인간 증명서를 획득했다는 소식도 전해졌습니다.

이렇게 뛰어난 성능을 가진 아스트라는 벤치마크 성적표 점수도 놀랍습니다. 명확한 지시가 주어지지 않고, AI가 알아서 해석하고 목표를 추론하는 지능을 파악하는 ARC-AGI라는 벤치마크가 있습니다. 벌써 3세대까지 나왔는데, 이런 식의 이미지를 보고 방향키를 눌러가며 어떻게 해야 문제를 풀 수 있는지 찾아야 합니다. 이런 문제들이 가득한 시험에서 아스트라는 압도적인 점수를 받았습니다.

오픈AI가 받은 점수는 무려 99.9입니다. 물론 오픈AI 자체적으로 설계한 구조가 적용된 모델이 받은 성적표이긴 하지만, ARC 벤치마크 측의 구조가 적용된 아스트라 모델도 62. 7이라는 높은 점수를 받았어요. 기존 최고치는 앤트로픽의 클로드 오퍼스5가 기록했던 30.2였는데 훌쩍 넘겨버린 겁니다.

생각을 감추는 AI? 아스트라에 적용된 새로운 구조
아스트라의 성능을 두고는 찬사가 이어지고 있지만, 한쪽에서는 모델의 안전성이 우려스럽다고 지적하는 사람들도 많습니다. 미국의 테크 전문 언론사인 '디 인포메이션'이 익명의 취재원을 통해 보도한 기사입니다.

아스트라 모델에 새롭게 적용된 모델 구조의 영향으로 AI가 어떤 생각을 하는지 인간이 읽을 수 없다는 지적이 담겼어요. AI의 생각을 읽고 인간이 선제적으로 파악해야 혹시 생길지 모를 안전 문제에 대응할 수 있을 텐데, 그 모니터링 시스템에 구멍이 생길 수 있다는 거죠. 도대체 어떤 구조가 새롭게 적용되었길래 이런 우려가 나오는 건지 조금 더 자세히 살펴보겠습니다.

일반적으로 우리가 AI 모델에게 복잡한 질문을 던지고 대답을 기다리면 중간중간 단계를 거쳐서 최종적으로 답변을 내놓습니다. 생각의 꼬리에 꼬리를 물면서 추론을 이어간다고 해서 Chain of Thought, 생각 사슬이라고 말합니다. 하지만 과제가 점점 복잡해지면서 생각 사슬도 점점 길어지다 보니 연구자들이 이런 생각을 하게 됩니다. 굳이 AI가 생각할 때 인간의 언어를 거쳐야 할까? 인간이 이해할 수 있는, 즉 자연어 토큰 형태로 출력하면 이게 다 시간과 돈을 잡아먹는 건데 말이죠. 마치 인간도 문제를 풀 때 모든 생각을 문장으로 표현하지 않고 속으로 생각하듯이 AI도 그렇게 해보자는 겁니다.

그래서 등장한 게 잠재 추론입니다. 원래라면 이렇게 단계적으로 추론을 하고 그때마다 자연어로 표현했다면? 잠재 추론을 하면 그냥 신경망 내부에서 알아서 돌아가고 결과만 자연어로 표현해서 효율성을 챙겨보겠다는 겁니다.

여기에 더해 모델 구조도 기존과는 다르게 가져가서 효율성을 더 높일 수 있죠. 대부분의 LLM 모델들은 이렇게 여러 층이 주르륵 이어진 형태로 구성되어 있습니다. 각각의 층에는 서로 다른 숫자가 들어가 있고 층 하나하나는 각각의 작업자 역할을 합니다. 하나의 작업자가 처리를 마치면 다음 작업자에게 넘겨지는 식으로 구성되어 있습니다. 여기서 모델 성능을 높이려면 층을 더 많이 쌓아야 하는데, 그만큼 처리해야 할 숫자도 늘어나고, 비용도 따라서 커집니다.

그래서 연구진들은 효율성을 챙기기 위해 층의 규모를 줄이는 대신 반복하는 형태로 구조를 바꿨습니다. 원래라면 100개의 층을 1번만 통과해서 결과를 내놓았다면? 25개 층을 쓰고 4번 돌리는 식으로 바꿔본 겁니다. 이런 루프형 트랜스포머 구조가 특정 추론 과제에서 기존의 모델과 비슷한 성능을 낸다는 결과가 나오니 안 쓸 이유가 없었던 거죠.

바로 이 구조가 이번 아스트라 모델에 일부 적용된 것으로 알려져 있습니다. 과거에 비해서 더 효율적인 추론이 가능해졌지만, 우리가 AI의 생각을 들여다보던 창은 좁아질 수 있다는 겁니다.

보도가 나온 이후 오픈AI 측에서는 명확하게 이번 아스트라에 루프형 트랜스포머 구조를 사용했다고 밝히고 있진 않고 있어요. 다만 모델과 함께 공개한 시스템 카드를 보면 확실히 이전 모델에 비해 생각 사슬로 감시하기 어려워진 건 확실해요. 오픈AI가 실험을 통해 과연 AI의 생각 사슬만 보고 모델의 이상한 행동을 알아챌 수 있는지를 체크해 봤습니다.

생각 사슬이 길든 짧든 간에 아스트라가 이전 모델인 GPT-5.6 Sol보다 이상한 행동을 알아내기 더 어려워졌습니다. 왜 이렇게 어려워진 걸까요? 연구진들이 조금 더 들여다보니 아스트라가 이전 모델들보다 훨씬 생각 사슬을 짧게 처리하거나 비어있는 경우가 많았기 때문입니다. 데이터로 봐 보겠습니다.

GPT-5.6 Sol과 아스트라의 생각 사슬 길이가 얼마나 되는지 그 분포를 나타내봤습니다. 아스트라를 보면 일단 아예 생각 없이 일을 처리한 빈도수가 상당합니다. 또한 평균치를 보면 이전 모델과 비교했을 때 훨씬 더 짧은 생각만 남기고 업무를 처리했다는 걸 알 수 있죠. 일반적으로 복잡한 문제에는 중간 과정이 더 많아질 수밖에 없고 그러면 자연스럽게 생각 사슬도 더 길게 남겨져야 하는데, 최신 모델인 아스트라는 오히려 짧아졌습니다.

사고를 덜 하는 걸까요? 오히려 지표를 보면 훨씬 성능은 높아졌습니다. 생각 사슬 없이 얼마나 어려운 수학 문제를 풀 수 있는지 테스트를 해봤습니다.

기존 GPT-5.6 Sol은 인간이 3분 36초 정도면 풀 수 있는 문제를 생각 사슬 없이 풀어냈습니다. 반면 아스트라는 어떨까요? 이 녀석은 인간이 거의 31분 걸려서 풀 수 있는 문제를 생각 사슬 없이 뚝딱 풀어냈어요.

정리해 보면 이렇습니다. 오픈AI의 신규 모델 아스트라는 이전보다 생각의 기록을 덜 남기고, 짧게 남깁니다. 모델의 성능이 줄어들어서가 아니라 오히려 더 똑똑해져서요. 그러다 보니 결과적으로 아스트라 모델을 인간이 감시하기는 더 어려워졌고요.

특이점이 온 걸까? 위험한 '낯선 지능'이 온다
아스트라는 출시 전 테스트 과정에서 인간의 명령을 어기고 통제를 벗어나는 공격을 했던 이력도 갖고 있습니다. 영국의 AISI에서 진행한 사이버보안 테스트였는데요. 물론 실제 환경은 아니고 시뮬레이션 환경에서 실험이 진행되었습니다.

아스트라에게 어려운 사이버보안 문제를 해결하라고 미션을 주었더니, 아스트라는 그 문제를 해결하기 위해 다양한 공격 전략을 시도했어요. 인간 개발자를 속이기 위해 가짜 신원을 만들고, 처음엔 정상적인 코드를 제공해서 신뢰를 쌓고, 그리고 난 뒤에 악성 코드를 심어 공격하는 식으로 말이죠.

먼저 처음에는 문제를 풀 수 있는 힌트가 담겨 있는 인터넷을 차단하지 않고 테스트를 진행했습니다. 그 결과, 총 499회의 시도 가운데 60번 그러니까 12.0%에서 앞서 살펴본 공격 행동을 보였습니다. 그다음에는 "인터넷은 과제 범위가 아니니 접근하지 말라"고 강하게 프롬프트를 입력한 뒤 실험을 진행했습니다. 그럼에도 불구하고 총 500번의 시도 가운데 2번, 0.4%는 공격 행동을 보였어요.

모델 성능도 뛰어나고, 사이버보안 역량도 높고, 동시에 인간의 지시도 어기는 아스트라. 그런데 모델의 생각을 제대로 못 볼 수도 있다고 하니 많은 사람들이 우려를 표하는 겁니다. AI의 위험성을 평가하고 통제 방안을 연구하는 미국의 레드우드 리서치라는 기관이 있습니다. 레드우드 리서치 CEO는 아스트라의 불투명한 순환 구조에 깊은 우려를 표했어요.

그렇다고 오픈AI가 손을 놓고 있는 건 아닙니다. 여전히 생각 사슬을 이용해 AI에 대한 감시는 계속 적용할 방침이라고 밝혔죠. 문제는 앤트로픽과 구글 딥마인드에서도 이런 추론 방식을 도입할 수도 있다는 얘기가 들려오고 있다는 겁니다.

다만 생각 사슬 감시가 완벽한 해결책이냐고 묻는다면, 그건 또 애매합니다. 이건 아스트라가 등장하기 전부터 연구자들이 지적해 온 문제이기도 한데요, AI가 출력한 생각 사슬과 실제 판단 과정이 다를 때가 있거든요. 즉, 생각 사슬이라는 방법이 원래부터 완벽한 방법은 아니었지만 앞으로는 그마저도 볼 수 있는 폭이 줄어들 수 있는 상황인 거죠.

'특이점이 온다'로 유명한 미국의 미래학자 레이 커즈와일이 1999년에 작성한 글입니다. 여기서 커즈와일은 다음 세기 초, 그러니까 2000년대 초에 기계 지능이 인간 지능을 넘어설 것으로 예측했어요. 그리고 2029년 무렵이 되면 인공지능 소프트웨어가 대부분 완성이 될 것이라 예측했죠.

아스트라 모델 공개 이후 오픈AI 수석 과학자가 '낯선 지능'이라는 글을 올렸습니다. 커즈웨일이 1999년에 예측했던, 기계 지능이 인간 지능을 능가하기 시작하는 역사의 시점에 서있다는 선언이 담겨 있죠.

그와 동시에 새로운 '낯선 지능'에 대한 우려도 담고 있습니다. 머지않아 AI가 AI 연구를 가속하는 시기가 올 텐데 과연 인간이 감시하는 능력은 그 속도를 따라갈 수 있겠냐는 거죠. 성능 경쟁만 지속할 게 아니라 어쩌면 개발 속도를 늦출 필요도 있다는 얘기를 아스트라를 손수 개발한 오픈AI의 연구자가 하고 있는 겁니다.

공교롭게도 오픈AI의 경쟁사인 앤트로픽의 연구진도 퇴사하며 글을 하나 올렸습니다. "AI를 만드는 사람들은 이 기술이 2020년대가 끝나기 전에 우리 모두를 죽일 수 있다고 믿고 있다" 위험성을 알지만 먼저 최상단에 다다르기 위해 경쟁에만 매몰되어 있는 기업들. 그 사이 위험 신호는 이미 커지고 있고, 그 신호를 보내고 있는 건 다름 아닌 AI를 만드는 사람들 자신입니다. 과연 우리는 지금 이 시점에서 어떤 선택을 해야 할까요? 오늘 준비한 오그랲은 여기까지입니다. 긴 글 끝까지 읽어 주셔서 진심으로 감사드립니다.

참고자료
- 「Ex-Anthropic insider tells CNN how AI could kill all humans by 2030」 | CNN
- 「Greg Brockman on Astra and the Future of OpenAI」 | TBPN
- OpenAI, 「GPT-6 Astra: A New Generation of Intelligence」
- OpenAI, 「GPT-6 Astra System Card」
- OpenAI, 「An Alien Mind」
- ARC Prize, 「GPT-6 Astra - ARC-AGI Results」
- 「OpenAI Agents Hijacked German Website in Previously Undisclosed AI Breakout This Spring」 | Reuters
- 「OpenAI Technique in 'Astra' Model Sparks Security Concerns」 | The Information
- Ray Kurzweil, 「The Coming Merging of Mind and Machine」 | The Kurzweil Library

글 : 안혜민 디자인 : 안준석 인턴 : 신연성

안혜민 기자 hyeminan@sbs.co.kr