박우찬 세종대 교수-세종피아, 실시간 사운드트레이싱 반도체 기술 개발

세계 최초 구현…메타버스·XR·MR·게임 등에 적용
“연구 논문 시그라프 아시아 2023에서 발표 예정”

세종대학교(총장 배덕효) 컴퓨터공학과 박우찬 교수팀이 세종대 교원창업 회사인 세종피아와 공동으로 초실감 3D 음향을 위한 실시간 사운드 트레이싱하는 반도체 기술을 세계 최초로 개발했다.

실시간 사운드 트레이싱 기술을 개발한 김학도 세종피아 연구소장(왼쪽)과 박우찬 교수.

박 교수는 이번 연구 논문 '모바일 기기에 적합한 실시간 음향 전파 하드웨어 구조 및 구현'을 '시그라프 아시아 2023'에서 발표한다.

시그라프는 컴퓨터 그래픽스 분야의 가장 권위 있는 프리미엄 학회다. 국제과학기술인용색(SCI))급 학회 중 최상위에 속한다. 학술 논문 발표뿐만 아니라 관련 산업체의 기술 시연도 진행해 그래픽스 관련 최신기술을 만나볼 수 있는 곳이다. 정보기술(IT) 분야를 통틀어서도 가장 큰 학회에 속한다.

이번 연구에서 세종대 박우찬 교수팀은 세계 최초로 원천기술을 개발했고, 세종피아는 이를 기반으로 시스템 반도체 기술 개발에 성공해 현재 글로벌 IT 업체들과 사업화를 진행하고 있다. 세종피아는 박 교수팀의 기술을 기반으로 10여건의 특허 기술을 이전받아 설립된 교원창업회사다. 세계에 진출할만한 독보적인 기술력을 갖은 신산업 스타트업인 '초격차 스타트업 1000+'에 선정될 정도로 기술력을 인정받고 있다. 최근에는 박 교수팀과 공동으로 인공지능 반도체 기술도 개발 중이다.

박우찬 교수는 그래픽처리장치(GPU) 분야 국내외 권위자로서 15여년 전에 세계 최초로 실시간 레이 트레이싱 GPU )반도체 기술을 개발했다. EE Times를 비롯한 해외 유력 매체와 그래픽 전문가들로부터 '획기적인 기술'로 평가받았다. GPU 및 그래픽 관련 대표적인 글로벌 전문 시장조사업체 존페디리서치(JPR)의 존페디 대표는 “이는 믿기 힘들 정도로 대단한 기술”이라고 평가했다. 엔비디아가 실시간 레이 트레이싱 GPU를 2018년에야 출시한 것과 비교하면 박 교수의 연구 결과는 선구자적인 기술이라고 평가받을만 하다.

사운드 트레이싱 기술은 이러한 레이 트레이싱 기술을 기반으로 3D 오디오 기술을 결합한 것이다. 현실적인 공간감을 부여하는 궁극의 초실감 3D 오디오 기술이다. 메타버스, 확장현실(XR)/혼합현실(MR), 게임 분야에 적합하다.

사운드 트레이싱은 기존의 정적인 3D 오디오와는 달리 3차원 공간에서 음원과 청취자 사이에 반사, 투과, 회절 등을 거쳐서 소리가 전달되는 경로를 실시간 추적한다. 이로 인해, 음원과 청취자의 위치가 동적으로 변할 수 있고, 3차원 지형뿐만 아니라 재질 변경도 가능하기 때문에 실제 공간과 같은 동적인 3D 오디오를 실현할 수 있다. 예를 들어, 가상의 유명한 홀에서 내가 원하는 위치로 이동하면서 음악 감상이 가능하다.

이와 유사한 기술로, 애플이 내년 초에 정식 출시할 혼합현실 기기인 비전 프로(Vision Pro)에서는 공간 음향 기술을 위해 오디오 레이트레이싱(Audio raytracing)을 지원한다고 발표했다. 향후 애플 주도하에 다양한 기기에 보편적으로 지원되는 기술로 자리 잡아 큰 시장을 형성할 것으로 예상된다. 아직 발표되지 않았지만, 오디오 레이트레이싱은 반도체 기술이 아닌 소프트웨어로 구현이 되었을 것으로 예상된다.

사운트 트레이싱은 이처럼 많은 장점에도 불구하고 알고리즘이 복잡하고 대규모 계산량을 요구하기 때문에 실시간 처리가 어렵다. 현재까지 발표된 기술들은 모두 소프트웨어(SW)로 구현돼 성능과 전력 소모에 한계가 분명하다. 박우찬 교수팀은 사운드 트레이싱을 실시간 저전력으로 처리하는 시스템 반도체 기술을 세계 최초로 개발하는데 성공해 이번 학회에 발표하게 됐다. 복수 개의 음원에 대해서도 고성능 저전력 처리가 가능하며, 특히 반도체 크기가 아주 작으므로 스마트폰 등의 모바일 기기, TV, 게임콘솔 등에 장착이 가능하다.

박우찬 교수는 “이번 연구 결과는 학교 연구실과 교원창업회사와의 공동연구를 통해 세계적으로 독보적인 기술을 개발한 대표적인 산학간의 성공사례라고 볼 수 있다. 혁신적인 연구 개발을 지속적으로 수행해 세계적인 연구 결과를 배출하고 이를 기반으로 글로벌 유니콘 기업으로 성장할 수 있도록 최선의 노력을 다하겠다”고 말했다.

이번 연구는 과학기술정보통신부의 대학ICT연구센터육성지원사업 '실-가상 연계 메타버스를 위한 초실감 XR기술 연구'와 문화체육관광부의 문화기술연구개발사업' 다중 사용자 인터랙션 및 Virtual Being 지원을 위한 다목적 방송 스튜디오 플랫폼 개발'의 지원으로 이뤄졌다.

이경민 기자 kmlee@etnews.com