인간 행동 이해하는 AI가 온다…"시각장애인도 클라이밍"

장형진 英 버밍엄대 교수, EKC 2004서 연구성과 소개
사진·영상으로 사람 움직임 AI 학습..VR과 AI 접목 시도

지난달 31일(현지시간) 장형진 영국 버밍엄대 컴퓨터과학과 교수가 '한국·유럽 과학기술학술대회(EKC 2024)'에서 인간의 자세 등을 학습시킨 인공지능(AI)에 대해 소개하고 있다. 한국과학기자협회 공동취재단 제공

#. 애플의 혼합현실(MR) 헤드셋 '비전 프로'는 머리에 착용하면 실제 주변 사물과 함께 앱 화면 등이 증강현실(AR) 형태로 눈앞에 나타난다. 손가락을 움직이면 아이콘이 움직이고, 손가락 2개로 꼬집으면 아이콘을 클릭하게 된다. 눈동자 움직임을 추적해 앱을 쳐다보는 것만으로 프로그램을 실행할 수도 있다. 사용자의 시선과 손동작만으로 디지털 환경을 경험할 수 있는 것이다. 이를 위해 사람의 시각과 청각이 어떻게 작동하는지 파악하고, 이를 기계에 적용해야 한다.

지난달 31일(현지시각) 영국 코벤트리 워릭대에서 열린 '한국·유럽 과학기술학술대회(EKC 2024)' 인공지능(AI) 세션에서는 AI를 통해 인간의 행동을 각종 전자기기와 연동하는 다양한 연구들이 발표됐다.

현재 AI 열풍을 이끄는 것은 '거대언어모델(LLM)'이다. 막대한 데이터를 학습해 사람이 보기에 가장 그럴싸한 응답을 내놓는 식이다. LLM이 인간의 언어를 이해하는 AI라면, 인간의 행동 양식을 학습하고 이해하는 AI들도 활발히 연구되고 있다.

장형진 영국 버밍엄대 컴퓨터과학과 교수는 사진이나 영상을 통해 인체의 자세와 시선, 손의 동작 등을 AI에 학습시키고, 이를 응용한 연구 성과들을 소개했다. 예컨대 시각장애인이 스포츠 클라이밍을 한다면, AI가 자세를 분석해 다음으로 붙잡아야 할 블록이 어디에 있는지 음성으로 알려준다. 또한 인간의 손동작을 학습해 옷걸이에서 옷을 집어 사람에게 입혀주는 로봇도 개발됐다.

인간의 눈동자가 어느 방향을 향하고 있는지 학습한 AI에 대한 연구도 활발하다. 장 교수는 "인간의 시선을 추적하기 위해 3차원(3D) 얼굴 이미지를 AI에 학습시켰다"며 "휠체어를 탄 사람이 원하는 방향을 쳐다보는 것만으로도 이동할 수 있는 시스템도 개발했다"고 소개했다.

가상현실(VR)과 AI를 접목하기 위한 시도도 많다. 사람이 VR 환경과 상호작용하기 위해서는 시각과 청각이 모두 필요하지만, 현재는 두 요소가 따로 작동하는 경우가 많다.

김한성 영국 사우스햄튼대 박사는 "실제 공간을 완전한 3D 시각으로 재현하고, 이에 따른 청각적 요소도 이용자의 위치에 따라 제공하는 AI 시스템을 연구하고 있다"고 말했다. 사진으로는 보이지 않는 부분도 AI를 통해 추론해 360도 카메라 이미지를 생성하고, 반사와 잔향 등이 고려된 공간 음향이 이에 맞춰 재생되는 식이다.

김 박사는 "아직 인간의 시청각과 유사한 정도까지는 발전되지 못했지만, 추가 연구를 통해 VR의 완성도를 높일 수 있을 것"이라고 했다.코벤트리(영국)=한국과학기자협회 공동취재단 bongchu@dt.co.kr