똑똑해지는 '이미지센서'…갤럭시로 '달' 사진 찍는 비결

스마트폰 카메라 눈 역할하는 반도체
소니·삼성전자 '이미지센서' 개발 경쟁
삼성, 2억 화소 '아이소셀 HP2'
갤럭시 S23 울트라에 탑재해 호평
촬영 환경에 맞춰 해상도 자동 조절
피사체 선명·세밀하게 디테일까지 표현

스마트폰의 카메라 성능이 고객의 구매를 결정하는 핵심 기능으로 자리 잡고 있다. 스마트폰 제조사들은 신제품 출시 때마다 역대 최고 화소, 선명한 화질 등을 마케팅 포인트로 내세우고 있다. 스마트폰 카메라의 눈 역할을 하는 ‘이미지센서’를 개발하는 팹리스(반도체 설계전문 기업)들의 경쟁도 치열해지고 있다. 일본 소니, 삼성전자 시스템LSI사업부가 경쟁의 중심에 서 있다.

○높은 화소로 담아내는 더 많은 정보

삼성전자는 스마트폰에서도 전문가 수준의 카메라 경험을 제공하기 위해 카메라와 센서 기술의 혁신을 거듭하고 있다. 그 결과 갤럭시 S23 울트라에는 삼성전자 센서 기술의 집약체인 ‘아이소셀 HP2’가 탑재됐다. 이 센서는 어댑티브 픽셀(Adaptive Pixel)이 적용된 가장 큰 사이즈의 센서다.

아이소셀 HP2에 장착된 픽셀은 2억 개에 달한다. 색과 이미지의 선명도는 높아졌다. 까다로운 환경에서도 촬영 순간의 미세한 디테일까지 기록할 수 있다. 높은 화소 외에도 향상된 픽셀 구조와 빠른 자동 초점, HDR 등의 기능을 통해 다양한 조건에서도 피사체를 선명하고 세밀하게 표현할 수 있다.

이미지센서의 화소는 사진의 디테일을 결정한다. 화소가 높을수록 사진 하나에 더 많은 정보를 담을 수 있다. 더 많은 정보를 담은 사진은 세부 표현을 풍부하게 할 수 있다.

2억 화소 이미지는 1250만 화소 이미지보다 16배 더 크다. 즉 16배 더 많은 정보와 디테일을 담고 있다는 뜻이다. 일반적으로 이미지를 잘라내거나 확대하면 픽셀 수가 줄어들어 사진이 흐릿해진다. 높은 화소의 이미지는 확대하거나 잘라내도 비교적 높은 해상도를 유지할 수 있다.

갤럭시 S23 울트라로 촬영한 2억 화소 이미지의 경우 가로와 세로 모두 반으로 잘라내도 여전히 5000만 화소가 남는다. 삼성전자 관계자는 “디테일의 풍부함과 선명함을 지켜낼 수 있다”며 “첨단 딥 러닝 알고리즘을 통해 이미지의 컬러를 보다 정확하게 구현한다”고 설명했다.

○원하는 해상도로 촬영

삼성전자는 아이소셀 HP2 이미지 센서 내 각각의 픽셀이 더 많은 빛을 흡수해 색을 풍부하게 표현할 수 있도록 픽셀 구조를 개선했다. 새롭게 설계된 픽셀 구조를 ‘듀얼 버티컬 트랜스퍼 게이트(D-VTG)’라고 이름 지었다. 이를 통해 지나치게 밝은 환경에서도 정확한 색상 표현을 가능하게 했다.

아이소셀 HP2 이미지센서가 탑재된 갤럭시 S23 울트라는 어댑티브 픽셀 기술을 통해 사용자가 원하는 최적의 화소로 촬영하도록 지원한다. ‘테트라스퀘어드 픽셀(Tetra2pixel) 기술은 사진 촬영 때 2억 개의 픽셀을 모두 활용하거나 4개씩 또는 16개씩 묶어 쓰기도 한다. 이를 바탕으로 갤럭시 S23 울트라는 2억 화소, 5000만 화소, 1200만 화소의 다양한 촬영 옵션을 제공한다. 기본 모드나 어두운 환경에서는 큰 픽셀로 많은 빛을 담는 1200만 화소 촬영으로 밝고 선명한 사진을 제공한다. 세밀한 묘사가 필요한 밝은 환경에서는 2억 화소를 모두 사용해 풍부한 디테일을 이미지에 담아낼 수 있다.

○어둠 속에서도 빛나는 나이토그래피

갤럭시 S23 울트라의 ‘나이토그래피’ 기능은 어두운 환경에서의 촬영을 획기적으로 개선했다는 평가를 받는다. 이미지센서에 저장된 데이터는 인공지능(AI) 이미지 신호처리 기술을 기반으로 밤에도 마치 눈으로 보는 것처럼 뚜렷한 색과 화질을 제공한다. 여기에 아이소셀 HP2의 테트라스퀘어드 픽셀 기술은 어두운 환경에서 인접한 16개의 픽셀을 하나로 병합, 2.4마이크로미터(㎛) 크기로 조정해 픽셀 하나가 더 많은 빛을 흡수하도록 한다. 이렇게 흡수된 빛 정보는 갤럭시 S23 울트라의 첨단 AI 기술로 최적화돼 밝고 선명한 사진으로 재탄생한다.

아이소셀 HP2는 자동 초점 기술을 높이고 빠르게 움직이는 피사체도 선명하게 포착할 수 있게 한다. 2억 개의 모든 픽셀을 자동초점에 사용하는 ‘슈퍼 QPD 자동초점’ 기술은 이전 제품과 달리 이미지센서의 모든 픽셀을 위상차 검출에 활용하는 것이 특징이다. 기존 1억8000만 화소 제품 등은 이미지센서의 3%에 해당하는 픽셀만 위상차 검출에 사용한다. 이에 따라 움직이는 물체를 빠르고 정확하게 포착할 수 있다. 인접한 4개의 픽셀 위에 올려진 마이크로 렌즈를 통해 센서가 수직과 수평 방향 모두에서 움직임을 감지하기 때문이다.

아이소셀 HP2 이미지센서를 장착한 갤럭시 S23 울트라에서는 4K(픽셀 수 가로 3840×세로 2160) 또는 8K(픽셀 수 가로 7680×세로 4320) 화질의 영화 촬영도 시도할 수 있다. 아이소셀 HP2는 8K 영상 촬영을 위해 테트라스퀘어드 픽셀 기술로 4개의 픽셀을 하나의 큰 픽셀로 결합한다. 사용자는 더 밝고 선명한 컬러와 더 넓어진 화각으로 시네마틱한 8K 영상을 촬영할 수 있다.

삼성전자 관계자는 “갤럭시S23 울트라의 이미지센서는 일상의 순간을 섬세하게 기록하는 데 최적의 기능을 2억 화소부터 나이토그래피를 위한 AI 기반 첨단 픽셀 기술 등을 갖추고 있다”며 “빠르고 정확한 자동초점과 더 넓은 화각의 8K 영상 촬영까지 경험하는 게 가능하다”고 설명했다.

삼성전자 "기술에선 日 소니 앞선다"
암 진단용 이미지센서도 개발 나서

‘아이소셀 HP2’를 개발한 삼성전자 시스템LSI사업부는 현재 이미지센서 시장 세계 2위에 올라 있다. 시장조사업체 TSR에 따르면 삼성전자의 지난해 세계 이미지센서 시장점유율(매출 기준)은 15.7%다. 1위는 일본 소니다. 점유율은 49.7%에 달한다. 갤럭시S23에 아이소셀 이미지센서를 납품한 만큼 올 1분기 점유율 격차는 좁혀졌을 것이란 전망도 나온다.

삼성전자는 이미지센서 기술에 대한 자신감을 나타내고 있다. 최근 만난 삼성전자 디바이스솔루션(DS) 부문 고위 관계자는 “이미지센서를 둘러싼 소니와의 경쟁은 여러 각도(시장점유율과 기술)로 전개되고 있다”며 “기술만 놓고 보면 확실히 세계 1위인 일본 소니를 앞선다”고 말했다.

삼성전자는 차량용 이미지센서 시장도 적극 공략할 계획이다. 이 관계자는 “세계적 자동차업체 대부분에 이미지센서를 공급하고 있다”며 “자동차용 고화소 이미지센서를 조만간 양산할 것”이라고 말했다. 그는 이어 “어디라고 밝힐 수는 없지만, 고화소 이미지센서 공급계약 단계에 있는 자동차업체들이 있다”며 “계약 후 공급하기까지 3~4년 걸릴 것”이라고 말했다.

삼성전자는 인간의 눈을 능가하는 6억 화소 이미지센서 개발을 목표로 하고 있다. 박용인 삼성전자 시스템LSI사업부장(사장)은 센서사업팀장(부사장) 시절이던 2020년 4월 ‘삼성전자가 이미지센서에 주목하는 이유’라는 기고문을 뉴스룸에 올렸다. 이 글에서 박 사장은 “사람 눈을 능가하는 6억 화소 이미지센서를 포함한 혁신을 위해 삼성전자는 계속 도전할 것”이라고 밝혔다.

박 사장은 스마트폰 카메라가 비약적으로 발전하게 된 배경으로 모바일 이미지센서 기술의 고도화를 꼽았다. 기술 개발의 여정이 쉽지 않다는 뜻도 나타냈다. 그는 “사람의 눈인 ‘5억 화소’의 카메라를 만들려면 ‘단순히 이미지센서의 픽셀 수만 늘리면 되지 않나’라고 생각할 수 있다”며 “하지만 그렇게 되면 이미지센서가 너무 커지고 두꺼워져, ‘카툭튀’를 넘어 카메라 렌즈 부분이 손잡이처럼 커질 것”이라고 설명했다. 이어 “지금의 슬림한 스마트폰 외관을 유지하면서 카메라 해상도를 높이려면 이미지센서의 픽셀은 훨씬 더 작아져야 한다”며 “픽셀이 작아질수록 빛을 받아들이는 면적이 좁아지기 때문에 크기를 줄이면서도 성능은 유지하는 것이 이미지센서 기술의 관건”이라고 강조했다.

삼성전자는 이미지센서 기술 개발을 통해 인류의 삶을 이롭게 하는 방안에 대해서도 고민 중이다. 눈에 보이지 않는 가시광선 이외의 파장 대역이 도달하는 영역을 촬영할 수 있는 센서를 연구하고 있는 게 대표적인 사례다. 만약 이미지센서가 자외선 영역을 촬영할 수 있게 되면 암 조직의 색을 다르게 촬영하는 방식으로 피부암을 진단할 수도 있다. 또한 적외선 영역을 촬영할 수 있다면 농업·산업 영역에서도 쉽게 불량품을 구분할 수 있어 생산성 향상에도 활용 가능하다. 사람 눈으로 보이지 않는 세균까지 볼 수 있는 센서를 꿈꾸고 있다.

삼성전자는 카메라센서뿐 아니라 냄새를 맡는 후각, 맛을 느끼는 미각 등 다양한 센서 개발도 준비하고 있다. 인간의 오감을 대신하고 보이지 않는 영역에도 활용되는 센서가 가까운 시일 내에 우리 일상 곳곳에 깊숙이 스며들 것으로 예상된다. 박 사장은 “인간을 이롭게 하는 센서, 사람을 살리는 반도체를 향한 삼성전자의 센서 개발은 이제 시작”이라고 강조했다.

황정수 기자/도움말=삼성전자 뉴스룸

▶ 클래식과 미술의 모든 것 '아르떼'에서 확인하세요
▶ 한국경제신문과 WSJ, 모바일한경으로 보세요