[IITP 리뷰1]온디바이스 AI, 클라우드의 한계를 넘어서다

게티이미지뱅크

2023년 3월 오픈AI는 전작을 뛰어넘어 멀티모달(텍스트·이미지·음성 등) 기능을 지원하는 챗GPT4.0을 발표했다. 이는 정보통신기술(ICT) 생태계를 변화시켜 우리 일상과 산업 전반에 걸친 변화를 가속화 할 것으로 예상된다.

미래 글로벌 시장을 선점하기 위해 빅테크 기업뿐만 아니라 스타트업까지 전 산업 분야에서 생성형 인공지능(AI) 기술을 활용한 다양한 서비스를 제공하기 시작했다.

온라인 플랫폼이나 이커머스 기업은 고객에게 맞춤형 제품을 추천하고, 자율주행 자동차는 AI와 머신러닝 기술을 활용해 인간 개입 없이 목적지까지 안전하게 운전을 도와주고 있으며, 의료분야에서는 AI 기술을 활용해 진단 및 치료, 예방 등에 활용하고 있다.

그러나, 이와 같이 AI 기술을 활용해 다양한 서비스를 제공하기 위해서는 막대한 비용이 소요되기 때문에 기존 생성형 AI 서비스는 모두 클라우드를 기반으로 한다. 챗GPT와 같은 대규모 언어모델과 AI 시스템 학습·추론과정에 대량의 GPU와 시스템, 전력소모가 필요하기 때문이다.

클라우드 기반 AI 서비스는 사용자가 데이터를 전송하면 클라우드에서 이를 처리한 후 다시 사용자에게 보내는 방식으로, 데이터가 전송되는 과정에서 민감한 내용이 유출될 가능성도 있다.

또한 클라우드 기반 데이터 송수신 과정에서 이용자가 과도하게 집중되거나 데이터 양이 매우 커질 경우 데이터 병목현상 등으로 인해 서비스 품질 저하도 발생할 가능성이 있다.

따라서 대규모 클라우드 AI 서비스와 별도로 새로운 방식의 AI 서비스 공급방안이 필요하며, GPU를 보완해 줄 AI 전용반도체 개발과 함께 AI 알고리즘 경량화 노력도 탄력을 받는 상황이다.

클라우드AI에서 온디바이스AI로의 변화는 중앙집중형에서 개인분산형으로, 다시 중앙집중형에서 엣지컴퓨터의 분산형으로 진화하는 컴퓨터 역사와 유사하다.

1960년대는 컴퓨터가 크고 비쌌기 때문에 중앙집중형 컴퓨터로 정부나 기업 등 일부에서만 사용됐으며, 1990년대는 트랜지스터와 집적회로 발달로 컴퓨터 크기와 가격이 낮아져 개인형 컴퓨터가 보급됐으며, 1990년대 이후는 인터넷 발달로 컴퓨터 자원을 인터넷으로 이용할 수 있는 클라우드 컴퓨팅이 등장했다.

클라우드 컴퓨팅은 중앙 집중형 컴퓨터 시대의 장점인 고성능과 안정성을 유지하면서 개인 분산형 컴퓨터 시대의 장점인 신속성, 편리성과 경제성 등을 동시 사용이 가능한 것이다.

최근에는 데이터 처리량의 급격한 증가, 네트워크 지연 최소화, 데이터 보안 강화를 위해 엣지 컴퓨터가 주목받는 형태와 유사한 것이다.

온디바이스 AI 기술의 장점은 기기 자체에서 데이터를 처리하기 때문에 개인 정보가 클라우드로 전송되지 않아 개인 정보보호 및 보안이 강화되며, 클라우드 기반 AI에 비해 대규모 하드웨어(HW) 인프라가 불필요해 유지보수 비용이 저렴하며, 기기 자체에서 데이터를 처리하기 때문에 응답속도가 매우 빠른 장점이 있다.

온디바이스 AI기술은 아직 초기 단계에 있지만, 향후 다양한 분야에서 활용될 것으로 기대된다. 특히, 개인정보 보호 및 보안이 중요한 분야, 네트워크 환경이 열악한 분야에서 온 디바이스 AI기술이 주목받을 것으로 예상된다.

또한, 기기 자체에서 데이터를 처리하기 때문에 응답속도가 매우 빨라 이를 활용해 음성이나 문장을 실시간으로 번역하는 기능이 가능하며, 기기 자체에서 챗봇을 수행하여 더욱 빠르고 정확한 챗봇 서비스를 제공할 수도 있다.

또한 자율주행 자동차의 경우 온디바이스 AI를 적용하면 기기 자체에서 자율주행을 수행하여 더욱 빠르고 안전한 자율주행 서비스를 제공할 수도 있다.

클라우드 AI는 대용량을 처리하는 것으로서, 소규모로 처리할 수 있는 온디바이스 AI 기술은 거대 클라우드 AI보다 성능은 다소 떨어질 수 있지만, 기업들은 자체적으로 보유한 데이터를 활용하여, 기업 맞춤형 최적화된 모델을 구축할 수 있으며, 이를 통해 경쟁력을 강화할 수 있을 것으로 기대된다.

글 : 고은영 정보통신기획평가원(IITP) 연구위원

김영준 기자 kyj85@etnews.com