[2022 퀄컴서밋] X-MAS 트리 전구가 '하트'를 날린다면…스냅드래곤 '로맨틱 보케'

인지 ISP를 통한 실시간 보케 필터링…잡티 날리는 전면 카메라도 눈길

[아이뉴스24 김문기 기자] 크리스마스 트리를 수놓은 수많은 전구가 하트 모양으로 반짝인다면 어떨까.

15일(현지시간) 퀄컴은 올로왈루에서 스냅드래곤 사이트 데모 부스를 마련했다. 배경 속에서 빛나는 하트모양을 살펴볼 수 있다 [사진=김문기 기자]

퀄컴은 15일(현지시간) 미국 마우이 그랜드 와일레아 호텔에서 열린 퀄컴 스냅드래곤 테크 서밋 2022에서 차세대 스냅드래곤8 2세대에서 구현되는 ‘스냅드래곤 사이트’의 실제 사례를 소개했다.

퀄컴은 키노트 이후 개최된 ‘테크토크 : 스냅드래곤 사이트’와 올로왈루에서 ‘스냅드래곤 사이트 카메라 데모’를 통해 내년 스냅드래곤8 2세대가 장착된 스마트폰의 카메라 성능을 실제 체감할 수 있는 다양한 기능을 공개했다.

스냅드래곤 사이트는 카메라 성능을 한단계 진보시켰다. 무엇보다도 헥사곤 다이렉트 링크를 통해 인지 ISP를 세계 최초로 적용했다. 이는 헥사곤 프로세서와 인지 ISP를 물리적으로 연결하는 다리를 놨다는 의미다. 스마트폰 카메라는 주변 상황을 이해하고 현실에 잘 작응할 수 있다. 8K HDR 60 FPS 영상 촬영까지도 가능한 하이 퍼포먼스를 구현한다.

테크토크에 나선 쥬드 히프 퀄컴 부사장 겸 영상&컴퓨터 비전 제품 본부장은 “스냅드래곤8 2세대는 AV1 코덱을 최초로 지원하며, 8K 60FPS, 8K HDR 60FPS를 구현할 수 있다”라며, “프로 사이트 비디오 캡처와 모션 블러 및 사진을 제거하기 위한 이미지 센서 기술을 통해 전문가 수준으로 새로운 영상 촬영도 가능하다”고 말했다.

이어, "새로운 스냅드래곤 기반 API와 구글 안드로이드 13을 통해 다양한 카메라 기능을 사용할 수 있다”고 덧붙였다.

가령, 8개의 레이어와 의미론적 세분화가 가능한 인지(cognitive) ISP는 새로운 보케 엔진을 필터링해 보케의 강도와 모양을 변경할 수 있는 기능을 제공한다. AV1 디코드도 지원한다. 새로운 올웨이즈 센싱(always sensing) 카메라로 디코딩해 얼굴 이상을 감지하고 매우 높은 보안을 실시간 수행한다.

그는 "스냅드래곤 8 2세대의 AI 기능을 통해 기존보다 카메라 기능은 더욱 향상돼, 특히 인지 ISP를 통해 실시간으로 시멘틱 분할이 가능해진다”라며, "마치 포토샵 레이어 기능처럼 여러 부분을 분할에 하나의 이미지에 적용이 가능한 셈이다”라고 밝혔다.

피제이 제이코보위츠 퀄컴 테크날러지 제품 마케팅 선임 매니저가 15일(현지시간) 퀄컴 스냅드래곤 테크 서밋 2022에서 열린 '테크 토크 : 스냅드래곤 사이트'에서 인지ISP를 통한 필터링과 보케 효과를 시연하고 있다 [사진=김문기 기자]

퀄컴은 이를 실제 경험할 수 있도록 올로왈루에 데모 코너를 마련했다. 스냅드래곤8 2세대가 장착된 퀄컴의 레퍼런스 스마트폰이 거치됐다. 이 곳에서는 보케의 강도의 모양을 변경할 수 있는 기능을 체험할 수 있다. 특히, 이 모든 작업은 스마트폰 디스플레이에서 실시간으로 확인할 수 있다.

전면 카메라를 통해 단순 보케 강도뿐만 아니라 인식된 얼굴을 보다 매끄럽게 반영해준다. AI 엔진에서 AI 알고리즘을 실행해 실제 촬영 대상을 세분화하고 ISP와 융합해 결과물을 도출해준 것. 머리카락은 정돈되고 피부의 잡티는 사라지며 얼굴톤은 보다 밝아진다. 입고 있는 옷 역시 색감이 살아난다. 이같은 변환은 카메라가 피부와 입술의 차이를 이해하는 수준이며, 이빨의 색상까지도 따로 세분화해 디스플레이에 반영해줄 정도로 세밀하다.

보케 효과로 아웃포커싱된 배경 역시도 변환이 가능하다. 가령 크리스마스 트리를 둘러싼 전구의 불빛 모양을 하트나 다이아몬드 등으로 전환시킬 수 있다. 피사체 뒤로 빛나는 수많은 하트를 목격할 수 있다.

히프 퀄컴 부사장은 “1세대에서 하드웨어 기반의 보케 엔진을 이야기 했고, 이는 낮은 전력으로 하드웨어에서 흐릿한 모양(배경에 대한 아웃포커싱)을 완전히 생성할 수 있는 영상 촬영을 가능케 했다”라며, “스냅드래곤8 2세대에서는 이 엔진을 한단계 더 발전시켰다”고 말했다.

이어, “서로 다른 F 수치의 렌즈를 시뮬레이션 할 수 있도록 보케 엔진을 수정하는 것이 어떨까 논의했으며, F14에서 F1.4까지 내려갈 수 있음을 확인했다”라며, “이렇게 하면 더 큰 조리개를 시뮬레이트할 때 훨씬 더 크고 강렬한 괜찮은 모양을 도출해낼 수 있다는 것까지도 검증했다”고 덧붙였다.

이러한 구상은 결과적으로 재밌는 사진과 영상 결과물을 얻을 수 있는 자양분이 됐다. 표준 블러 서클을 다이아몬드나 하트로 바꿀 수 있게 된 것. 즉, 로맨틱한 크리스마스 사진과 영상을 얻을 수 있다.

15일(현지시간) 퀄컴 스냅드래곤 테크 서밋 2022에서 열린 '테크 토크 : 스냅드래곤 사이트'에서 인지ISP를 통한 필터링과 보케 효과를 시연하고 있다. 배경에서 빛나는 다이아몬드를 확인할 수 있다. [사진=김문기 기자]

히프 퀄컴 부사장은 “이같은 모든 훌륭한 기능이 모든 OEM과 앱에서 작동하기를 바라며, 카메라용 안드로이드 생태계에서 실제로 보편적으로 안착되기를 바란다”고 말했다.

/마우이(미국)=김문기 기자(moon@inews24.com)

▶네이버 채널에서 '아이뉴스24'를 구독해주세요.

▶재밌는 아이뉴스TV 영상보기▶아이뉴스24 바로가기