KAIST, 상황인식 기반 멀티모달 스마트 스피커시스템 개발 움직임, 조명, 소음, 이산화탄소 등 센서값 종합 분석 사용자 응답 적합시점 파악, 효율성 극대화
사용자의 정신건강 관리를 돕는 스마트 스피커. KAIST
정신건강 관리를 위해 사용자 스스로 생각이나 감정의 변화를 주기적으로 모니터링하는 것이 중요하다.
이를 위해 정신건강 자가추적 방법이 많이 활용되고 있는데, 대표적 방법으로 ESM(Experience Sampling Method)가 있다.
ESM은 사용자에게 일상생활에서 여러 시점에 짧은 설문을 요청해 감정, 생각, 행동 관련 데이터를 수집하는 방법으로, 최근 가정에서 스마트 스피커를 이용하는 방법이 활발히 연구되고 있다.
정신건강 능동관리 스마트 스피커 개발
KAIST 전산학부 이의진 교수 연구팀이 사용자 스스로 심리상태를 기록할 수 있게 지원하는 상황인식 기반 멀티모달 스마트 스피커시스템을 개발했다.
KAIST 전산학부 이의진 교수팀이 개발한 상황인식 기반 멀티모달 스마트 스피커시스템. KAIST
연구팀은 사용자 주변 상황을 실시간 파악해 최적 시점에 정신건강 관련 질문하도록 시스템을 설계함으로써 기존 무작위 질문보다 높은 응답률을 달성했다.
기존 무작위 질문은 사용자의 스트레스, 짜증 등 부정적 감정이 유발해 응답에 편향이 생길수 있기 때문이다.
이를 해결하기 위해 연구팀은 스마트 스피커에 멀티모달센서를 장착, 사용자 주변 상황 변화를 감지해 말 걸기 좋은 시점을 검출하고 정신건강 추적 설문을 능동적으로 요청하는 상황인식기반 추적기술을 개발했다.
이를 통해 스피커가 실내 움직임, 조명, 소음, 이산화탄소 등 다양한 센서값을 종합 분석, 사용자 존재 및 활동을 감지하고 응답하기 적합한 시점에 능동적으로 질문해 효율성을 극대화했다.
또 질문 입력을 사용자가 음성 또는 터치스크린 입력을 자유롭게 선택해 상황에 맞는 최적의 인터페이스를 사용토록 했다.
상황인식 기반 멀티모달 스마트 스피커 시스템 개요. KAIST
연구팀은 개발한 스피커의 사용자 경험을 평가하기 위해서 1인 가구 20세대에서 한 달 동안 실증연구를 진행, 2201개의 정신건강 응답 데이터셋을 분석해 응답시간, 활동맥락에 따른 응답패턴 및 어떤 상황에서 음성입력(VUI) 또는 터치입력(GUI)을 선호되는지 파악했다.
분석 결과 스마트 스피커가 말로 사용자에게 요청할 때 스피커 근처에서 활동을 감지한 경우 정신건강 설문 응답률에 큰 영향을 미친 것으로 나타났다.
상황 인식 ESM 스케줄링 알고리즘. KAIST
또 음성입력의 편의성에도 불구하고 참가자들은 전반적으로 음성입력보다 빠른 응답이 가능한 터치입력을 선호했다.
아울러 사용자 주변 상황을 실시간 파악해 최적 시점에 정신건강 관련 질문을 할 경우 응답률이 더 높았고, 어떤 상황에서 음성 또는 터치 인터페이스를 선호하는지도 파악했다.
이 교수는 “이번 연구를 수용전념치료 기법을 활용한 인간상담사와 같은 기능의 정신건강 관리 지원 스마트 스피커로 발전시킬 것”이라며 “일상생활 데이터를 AI모델로 학습해 사용자 정신건강 상태에 따라 라이프 스타일 패턴을 예측하는 시스템도 개발해 향후 정신질환 조기 발견 등 인공지능 에이전트의 혁신을 이끌 것으로 기대된다”고 설명했다.
한편, 이번 연구는 LG전자-KAIST 디지털 헬스케어연구센터의 지원을 받아 수행됐고, 연구결과는 인간-컴퓨터 상호작용(HCI) 분야 국제학술대회인 미국컴퓨터협회(ACM) 소속 ‘Conference on Human Factors in Computing Systems(CHI)’에서 지난 5월에 발표됐다. 이재형 기자 jh@kukinews.com
