주인의 감정변화를 알아채는 마스크

UNIST 김지윤 교수팀, 멀티모달 기반 착용형 인간 감정인식 기술 개발

[아이뉴스24 최상국 기자] 착용자의 감정을 인식할 수 있는 마스크 인터페이스 기술이 선보였다.

29일 UNIST 신소재공학과 김지윤 교수팀은 실시간으로 감정인식을 할 수 있는 ‘착용형 인간 감정인식 기술’을 발표했다.

연구팀이 개발한 '피부통합 얼굴 인터페이스(PSiFI) 시스템'은 얼굴 근육의 변형과 성대 진동을 동시에 감지하고 이 정보들을 통합해 실시간으로 감정을 인식을 할 수 있도록 시스템화한 기술이다. 사용자가 바뀌어도 몇 번의 훈련만으로 쉽게 학습이 가능하고, 착용형 기기이기 때문에 어떤 환경에서든 감정을 분석하고 적재적소에 사용할 수 있다.

연구팀은 감정을 기반으로 맞춤 서비스를 제공하는 차세대 착용형 시스템 등에 다양하게 응용될 것으로 기대했다.

멀티모달 정보 기반 개인 맞춤형 감정 인식 무선 안면 인터페이스 개념도. (a) 개인 맞춤형 무선 안면 인터페이스 제작 및 머신러닝을 통한 멀티모달 기반 감정인식 과정 모식도와 (b) 마찰대전 기반 멀티모달 센싱 작동 원리. (c) 마찰대전센서 소자 구성도 및 (d) 구성 재료별 미세구조 모습. [사진=UNIST]

감정은 한 종류의 데이터로만은 정의하기 어렵고, 다양한 데이터를 취합해 분석해야 한다. 연구팀은 얼굴 근육의 변형과 음성을 동시에 감지하는 ‘멀티모달’ 데이터를 무선으로 전송하고 인공지능을 활용해 감정 정보로 바꿨다.

개발된 시스템은 두 물체가 마찰 후 분리될 때 각각 양과 음의 전하로 분리되는 ‘마찰 대전’현상을 기반으로 제작됐다. 자가 발전 또한 가능해 추가적인 외부전원이나 복잡한 측정장치가 필요하지 않다. 말랑말랑한 고체상태를 유지하는 반경화 기법을 활용해 높은 투명도를 가진 전도체를 제작했다. 자가 발전이 가능하고 유연성과 신축성, 투명성을 모두 갖춘 시스템을 만든 것이다.

이진표 UNIST 박사후 연구원은 “복잡한 측정 장비 없이 몇 번의 학습만으로 실시간 감정인식을 구현하는게 가능하다”며 “앞으로 휴대형 감정인식 장치나 차세대 감정 기반 디지털 플랫폼 서비스 부품에 적용될 가능성을 보여줬다”고 말했다.

연구팀은 시스템을 VR 환경에도 적용해 '디지털 컨시어지'로 활용했다. 스마트홈, 개인 영화관, 스마트 오피스 등 다양한 상황을 연출했다. 상황별 개인의 감정을 파악해 음악이나 영화, 책 등을 추천해줄 수 있는 사용자 맞춤형 서비스가 가능함을 확인했다.

김지윤 교수는 “사람과 기계가 높은 수준의 상호작용을 하기 위해서는 HMI(Human-Machine Interface) 디바이스 역시 다양한 종류의 데이터들을 수집해 복잡하고 통합적인 정보를 다룰 수 있어야 한다”며 “이번 연구는 차세대 착용형 시스템을 활용해 사람이 가지고 있는 아주 복잡한 형태의 정보인 감정 역시 활용이 가능하다는 것을 보여주는 하나의 예시가 될 것”이라고 전했다.

감정인식 인터페이스 기반 VR 환경 디지털 컨시어지 데모. (a) 개인 맞춤별 감정 인식을 통한 인간-기계 상호작용 모식도 (b) 개인화된 감정 인식 인터페이스 기반 VR 응용 예시 (c) 감정인식 인터페이스 기반 VR 환경 디지털 컨시어지 데모 예시 [사진=UNIST]

이번 연구는 국제학술지인 네이처 커뮤니케이션즈 (Nature Communications)에 1월 15일 온라인 게재됐다. (논문명: Encoding of multi-modal emotional information via personalized skin-integrated wireless facial interface)

/최상국 기자(skchoi@inews24.com)