AI로 양자 오류 잡는다… 엔비디아, 하이브리드 컴퓨팅 승부수

[이슈 분석] 개방형 양자 AI모델 ‘아이징’

엔비디아가 양자컴퓨팅 상용화를 앞당길 세계 최초의 개방형(오픈소스) 양자 인공지능(AI) 모델 ‘아이징’을 공개했다. 그간 양자컴퓨터는 압도적인 연산 성능에도 불구하고 불안정성과 오류 문제로 상용화가 지연돼 온 ‘미완의 영역’이었다. 엔비디아는 이 난제를 그래픽처리장치(GPU) 기반의 AI 소프트웨어로 해결하는 기술을 전면 개방하며 ‘하이브리드 양자컴퓨팅’ 생태계 표준을 선점하겠다는 공격적 전략에 나섰다.

젠슨 황 엔비디아 최고경영자(CEO)는 16일 “AI는 양자컴퓨팅을 실용화하는 데 필수적인 요소”라며 “아이징을 통해 AI는 양자 기계의 운영체제(OS)가 되고, 불안정한 큐비트를 신뢰할 수 있는 양자-GPU 시스템으로 전환한다”고 말했다.

고전컴퓨터의 기본 단위인 ‘비트’는 0 또는 1 중 하나로 고정된 값을 가진다. 반면 양자컴퓨터의 ‘큐비트’는 양자역학적 특성에 따라 0과 1이 확률적으로 동시에 존재하는 ‘중첩’ 상태를 활용한다. 이것이 양자컴퓨터가 기존 컴퓨터를 압도하는 강력한 데이터 연산 능력을 갖출 수 있는 이유다. 그러나 중첩 상태는 외부 환경에 극도로 민감해 쉽게 오류가 발생하고, 큐비트 수를 늘릴수록 불안정성이 기하급수적으로 커진다는 한계가 있었다.

그간의 연구는 크게 두 축으로 나뉘어 진행됐다. 하나는 물리적 큐비트 수를 늘려 연산 성능을 높이는 ‘하드웨어 확장’이고, 다른 하나는 불완전성을 제거해 장시간 안정적인 작동을 가능케 하는 ‘오류 강건성 강화’다. 특히 후자는 구글을 중심으로 연구가 활발히 진행돼 왔다. 2024년 구글은 양자컴퓨터 오류를 식별·수정하는 AI 시스템 ‘알파큐비트’를 발표하기도 했다.

여기에 도전장을 내민 것이 엔비디아의 아이징이다. 지난해 1월 “쓸 만한 양자컴퓨터가 나오려면 20년은 걸릴 것”이라며 양자 기술에 회의적인 시각을 드러냈던 황 CEO가 불과 1년 만에 전략을 급선회한 것이다. 엔비디아는 아이징으로 예민한 큐비트를 지속 감시하고 보정·정정함으로써 대규모 연산을 안정적으로 수행할 수 있다고 설명했다. 하드웨어 중심으로 개발되던 양자컴퓨터에 GPU로 가동되는 AI 소프트웨어 계층을 결합해 기존 불안정성 문제를 뛰어넘겠다는 구상이다.

아이징은 두 가지 모델로 구성된다. ‘아이징 캘리브레이션’은 양자컴퓨터의 측정 데이터를 신속하게 해석하고 각 큐비트가 정확한 중첩 상태에 있도록 지속적으로 보정해주는 비전언어모델(VLM)이다. 기존에 며칠씩 걸리던 작업을 단 몇 시간 수준으로 단축할 수 있는 것으로 전해졌다. ‘아이징 디코딩’은 양자 오류를 실시간으로 정정하는 3D 합성곱 신경망(CNN) 모델이다. 현재 업계 표준 오픈소스 도구인 ‘파이매칭’ 대비 최대 2.5배 더 빠르고 3배 높은 정확도를 제공한다.

한 정부 관계자는 “추후 검증이 필요하겠지만 현재 공개된 성능을 실제 환경에서도 동일하게 구현할 수 있다면 양자컴퓨터 실용화에 굉장히 가까워진 것으로 볼 수 있다”고 말했다.

여기에 더해 엔비디아는 아이징을 오픈소스로 공개하는 방식을 택했다. 개발자들이 최소한의 설정만으로 하드웨어 아키텍처에 맞춰 모델을 파인튜닝(미세조정)할 수 있도록 양자컴퓨팅 워크플로우와 훈련 데이터가 담긴 ‘쿡북’도 함께 제공한다. 양자컴퓨팅 상용화의 중심축을 양자-GPU ‘하이브리드 구조’로 이동시켜 표준 생태계를 미리 장악하려는 전략으로 풀이된다.

아이징은 이미 국내외 기업과 연구기관에서 사용 중이다. 아이징 캘리브레이션 모델은 아톰 컴퓨팅과 아이온큐, 하버드 공대, 페르미 국립 가속기 연구소, 영국 국립물리연구소 등에서 사용하고 있다. 아이징 디코딩 모델은 코넬대, 시카고대, 샌디에이고 캘리포니아대(UC)와 한국의 연세대 등에서 도입했다.

다만 AI가 양자컴퓨터의 불안정성을 근본적으로 해소할 수 없다는 지적도 나온다. 이덕환 서강대 화학과 명예교수는 “AI가 노벨상을 휩쓴 단백질 구조 규명은 50년간 쌓인 방대한 데이터가 있기에 가능했다. 참고할 자료가 거의 없는 양자 기술은 인간의 창의성이 필수적인 영역”이라며 “정보 학습에 의존하는 AI를 양자컴퓨터의 양자역학적 불안정성 해소에 활용한다는 것은 아직 설익은 접근”이라고 말했다.

양윤선 기자 sun@kmib.co.kr

GoodNews paper ⓒ 국민일보(www.kmib.co.kr), 무단전재 및 수집, 재배포 및 AI학습 이용 금지