표정에서 감정 읽는 인공지능 카메라 나왔다

KAIST

KAIST 바이오및뇌공학과 정기훈·이도훈 교수 연구팀은 근적외선 기반의 라이트필드 카메라를 이용해 획득한 얼굴 표정별 거리 지도와 얼굴의 특징을 담은 입체정보를 인공지능(AI)으로 분석해 표정 인식 정확도를 한층 높였다. KAIST 제공

국내 연구진이 3차원 이미지를 만들어내는 라이트필드 카메라에 처음으로 인공지능(AI) 기술을 접목해 표정 인식 정확도를 한층 더 높이는 기술을 개발했다.

KAIST 바이오및뇌공학과 정기훈 교수와 이도헌 교수는 근적외선 기반의 라이트필드 카메라에 AI 기술을 접목해 얼굴의 감정 표현을 기존보다 더 잘 인식하는 기술을 개발했다고 7일 밝혔다.

라이트필드 카메라는 곤충의 시각 구조를 모방해 미세렌즈와 대물렌즈를 결합해 만든 카메라다. 일반 카메라는 광학렌즈를 통해 들어오는 빛 중 하나의 방향만 이미지 센서에 기록한다. 이와 비교해 라이트필드 카메라는 광학 렌즈와 이미지 센서 사이에 미세렌즈 배열을 삽입해 빛의 방향과 무관하게 피사체에서 반사된 모든 빛의 정보를 기록한다.  한 번의 촬영 후에도 초점, 심도 등을 변경하는 것이 자유로워 쉽게 3차원 영상으로 재구성할 수 있다. 

정 교수는 “보통 표정을 인식하는 장치는 2D 카메라를 사용하는데, 고개를 돌리는 등의 움직임이 있으면 정확도가 크게 떨어진다”며 “이 때문에 표정 인식을 위해 2D 카메라를 동시에 두 대를 써야 한지만, 라이트필드 카메라는 작은 크기의 한 대만 이용해도 3D 이미지를 추출할 수 있다”고 말했다.

다만 기존의 라이트필드 카메라는 실내조명에 의한 그림자와 미세렌즈 사이의 광학 크로스토크에 의해 이미지의 대비도와 3차원 재구성의 정확도가 낮아지는 한계점이 있다. 광학 크로스토크란 서로 다른 렌즈로 들어온 빛이 중첩돼 해상도가 낮아지는 현상이다.

연구팀은 라이트필드 카메라의 조명으로 강한 근적외선을 쏘는 ‘수직 공진형 표면 발광 레이저(VCSEL)’와 근적외선 대역 필터를 적용해 3차원 재구성의 정확도를 높였다. 얼굴 정면 기준 0도, 30도, 60도 각도에서 기존보다 최대 54%까지 영상 재구성 오류를 줄일 수 있었다. 

또 가시광선과 근적외선 영역을 흡수하는 광 흡수층을 미세렌즈 사이에 넣어 광학 크로스토크를 최소화했다. 이어 원시 영상의 대비도를 기존 대비 약 2.1배 정도로 향상하는 데 성공했다. 연구팀은 개발한 카메라를 통해 피험자의 다양한 감정표정을 가진 얼굴의 3차원 재구성 이미지를 조명 환경과 관계없이 고품질로 획득할 수 있었다.

획득한 3차원 얼굴 이미지는 기계학습을 통해 표정을 더욱 명확히 구분했다. 정 교수는 “얼굴 표정과 그에 담긴 감정을 알기 위해서는 눈, 코, 볼 등이 움직이는 거리를 정확히 측정하고 분석해야 한다”며 “처음으로 AI를 이용해 그 정확도를 높였다”고 말했다.

그 결과 연구팀의 개발한 라이트필트 카메라의 정확도는 평균 85% 정도로, 2차원 이미지를 이용했을 때보다 높은 정확도를 보였다.

정 교수는 "우리가 개발한 초소형 라이트필드 카메라가 정량적으로 인간의 표정과 감정을 분석하기 위한 새로운 플랫폼으로 활용될 수 있을 것으로 기대된다“며 "모바일 헬스케어, 현장 진단, 사회인지, 인간-기계 상호작용 등의 분야에서 활용될 것”이라고 설명했다.

이 연구결과는 국제학술지 `어드밴스드 인텔리전트 시스템즈' 2021년 12월 16일자에 게재됐다.

[서동준 기자 bios@donga.com]