[르포] AI에 디지털트윈 접목… 뇌졸중 재활치료 효과 높인다

한국과학기술연구원 지능·인터렉션연구센터 가보니
유병현 센터장이 이끄는 연구진
환자 집에 모니터링 시스템 설치
객관적 활동량·건강상태 등 측정
데이터 연계해 진단 신뢰도 제고

유병현 KIST 지능·인터랙션연구센터장이 이끄는 연구실의 연구원들이 '디지털트윈을 활용한 모니터링 시스템'에 대해 설명하고 있다. 사진 이미선 기자.

안면마비 환자의 상태를 파악할 수 있도록 '안면마비 자동진단 시스템'을 활용해 얼굴 사진을 촬영하는 모습. 사진 이미선 기자.

안면마비 자동진단 시스템에서 비대칭 점수 계산 및 특징 추출 방법. KIST 제공.

안면마비 자동진단 시스템에서 이미지별 마비 특징 기여도에 대한 설명. KIST 제공.

'안면마비 자동진단 시스템' 이용 과정. KIST 제공.

연구진은 프레임 간의 위치 변화를 측정해 이동거리를 추적하고, 대상의 위치를 판단할 수 있도록 했다. KIST 제공.

"AI과 결합한 디지털 트윈 기술을 이용하면 재활치료 환자들이 집에서 어떻게 생활하는지를 면밀히 알 수 있죠."

최근 서울 성북구에 위치한 연구실에서 만난 유병현 한국과학기술연구원(KIST) 지능·인터렉션연구센터장은 이같이 말했다.

재활치료도 인공지능(AI) 시대다. AI는 로봇 등 기기와 결합해 환자들의 재활운동을 돕기도 하지만, 환자의 회복 상태를 지속적으로 모니터링하는데 유용하게 쓰일 수 있다. 재활의학과 진단 시 편마비 또는 운동장애 환자의 진단보조 자료로 자가 설문을 활용하는데, 이때 주관적 데이터에 의존하다 보니 신뢰도가 낮다는 지적이 계속돼왔다.

한국과학기술연구원(KIST) 연구진은 주관적 진술에 기반한 진단 편향을 최소화하기 위해 재활환자들의 가정에 '디지털 트윈' 모니터링 시스템을 설치해 객관적인 활동량 측정할 수 있는 기술을 개발하고 있다.

디지털 트윈은 현실의 데이터를 실시간으로 수집해 이를 화면에 반영하고 마치 현실세계의 쌍둥이처럼 작동하도록 구현하는 기술을 말한다. 유병현 KIST 지능·인터렉션연구센터장이 이끄는 연구진은 '설명 가능한 AI 기반 디지털 트윈 자율운영 서비스 기술 개발' 과제를 통해 뇌졸중, 편마비 등으로 일상생활에 지장이 있는 환자를 대상으로 재택 시 건강 상태와 활동량을 자동으로 측정·분석하는 영상 모니터링 기술을 개발하고 있다.

이 연구는 2024년도 산업통상자원부 및 산업기술기획평가원(KEIT) 지원 하에 지난 2020년부터 진행되고 있다.

유 센터장은 "보통 디지털 트윈을 만들 때 사물인터넷(IoT) 기술을 이용하는데, 과거에는 거주 공간 자체만 파악하는 데 집중해왔다"며 "이번 연구에서는 집에 거주하고 있는 사람에 초점을 맞춰 3D 모델링을 통한 디지털 트윈 기술을 개발하고 있다"고 말했다.

이를 위해 KIST 내에 3D 모델링·스캐닝, 센서·데이터 수집 시스템, 행동 탐지 모형 검증 등의 시스템 구축 테스트를 할 수 있는 리빙랩을 만들었다. 여기서 영상·음성 데이터 수집 등의 디지털 트윈 기술을 활용해 기초 데이터가 만들어지면 이를 병원이나 요양 센터 등에서 모니터링을 적용할 수 있도록 했다. 이번 연구를 위해 건국대학교병원 재활의학과 이종민 교수 연구팀과 스타트업 렛시와 공조한다.

연구진은 집 안 구석구석 촬영할 수 있도록 최대 2MP(19:6 CMOS)에서 4채널 디코딩이 가능한 네트워크 비디오 레코더(NVR)를 설치했다. 그런 다음 세그멘테이션(이미지 내에서 픽셀 단위로 객체를 분류해내는 작업)과 발 위치를 활용해 관찰하려는 대상의 위치를 정확히 구분할 수 있도록 했다. 또한 프레임 간의 위치 변화를 측정해 이동 거리를 추적하게 했다.

이번 연구의 목적은 '환자 상태 추적'이므로, 동일 인물을 일관적으로 추적하기 위해 'RE-ID 인터페이스'를 적용했다. AI 알고리즘이 식별, 분석해 관찰하려는 환자의 신체만 인식할 수 있도록 한 것이다. 이와 함께 헤드마운트 디스플레이(HMD)를 이용해 3차원 가상 현실 공간으로 구현한 영상을 의료진이 확인하고 환자가 집에서 어떻게 생활하는지를 면밀히 파악할 수 있다. 실제 환자가 내원해 작성하는 문진표를 보면 집에서의 활동량을 묻는 질문에 '모르겠다'고 답한 경우도 많은데, 이번 연구를 통해 진단의 불확실성을 줄일 수 있는 것이다.

연구진은 "환자 외 화면에 등장하는 인물이 여러 명이거나, 환자가 화면 밖으로 나갔다가 다시 들어오는 경우 등으로 인해 환자를 인식하는 것이 어려운 경우도 있어 이 부분은 개선해야 할 과제"라고 말했다.

'안면마비 자동진단 시스템'도 임상에서 활용 가능한 수준의 정확도를 확보했다. 기존 안면마비 진단 도구로는 '서니브룩(Sunnybrook) 척도'가 있다. 이 진단법은 임상에서 주로 사용되는 평가로, 5가지의 표정별 점수가 부여된다.

안면마비 자동진단 시스템은 KIST의 주관 하에 건국대학교 병원과 함께 개발하고 있다. 이를 활용해 환자에게 5가지의 표정을 짓게 한 다음, 478개의 안면 특징점 검출, 표정 이미지 추출 단계를 거쳐 특징을 추출한다. 이후 AI 모델 학습을 통한 이미지별 마비 평가를 통해 환자별 상태를 확인하고 진단을 내리게 된다.

지정 링크를 입력해 들어가면 가상으로 만들어낸 사람 얼굴이 나온다. 링크만 있으면 개인이 소지한 태블릿 PC에서도 촬영이 가능하다. 안내를 따라 표정을 지을 때 안면이 움직이며 특징점 간 대칭성이 변화하는데, 시스템은 표정 변화 구간을 찾아 완전한 표정과 무표정 이미지를 추출한다. 의료진은 이 데이터를 토대로 비대칭 점수를 계산하고 특징을 추출한다.

비대칭 점수 계산은 안면의 특징점을 활용한 근육의 거리 및 넓이를 계산한 후, 좌우의 대칭성 계산을 통해 진행된다. △눈썹 상단부의 특징점(점과 직선 사이의 거리 비율) △눈꺼풀의 특징점(점과 직선 사이의 거리 비율) △입꼬리와 입술 주변부 특징점(두 선분 사이의 각 비율) △눈꺼풀과 입술 상단의 특징점(두 점 사이의 거리 비율) △입술 상단의 특징점(점과 직선 사이의 거리 비율) 등이 활용된다.

AI 모형을 통한 진단 결과에 따라 2단계 분류(중증·경증) 또는 3단계 분류(중증·중등증·경증)로 나뉘게 된다. 각각 숫자로는 123/45 또는 1/2/345로 보여준다. 숫자가 낮을수록 정도가 심한 것을 의미한다 .

세부적인 구분을 위해 연구진은 이미지별 마비 특징 기여도도 설정해놨다. 예를 들어 눈썹을 들어올리는 표정에서 눈썹 아래 중앙 거리는 빨간색으로, 눈썹 아래 양쪽 영역의 넓이는 노란색, 눈썹 앞쪽 아래 거리는 초록색, 눈 바로 위의 뒤쪽 거리는 파란색으로 나타내기로 한 다음 개인별 차이에 따라 마비 등급을 평가하는 것이다.

연구진은 "현재 세부적인 재활 프로그램이 개발되도록 서니브룩 평가 표정별 진단을 내리고 있다. 평균 정확도는 88.79%로 임상에서 활용 가능한 수준"이라며 "자가 재활까지 실행할 수 있는 로드맵을 갖고 있는데, 현재 원격 재활 모델까지는 완성된 상황"이라고 설명했다.글·사진=이미선기자

already@dt.co.kr