[AI픽] "AI도 사내에서"…KT, 국산 NPU·LLM 일체형 장비 출시

외부망 없이 데이터·AI 처리…공공·국방·금융 등 겨냥

[KT 제공. 재판매 및 DB 금지]

(서울=연합뉴스) 박형빈 기자 = KT가 국산 AI 반도체와 자체 개발한 언어모델(LLM)을 하나의 장비에 통합해 기업이 내부에서 AI를 구축·운영할 수 있도록 한 소버린 AI 장비를 출시했다고 19일 밝혔다.

KT가 선보인 'KT NPU LLM 스테이션'은 국내 AI 반도체 기업 리벨리온의 추론 특화 신경망처리장치(NPU) '아톰 맥스'에 KT의 LLM '믿음 K 2.5 프로'와 운영 API 플랫폼을 탑재한 일체형 제품이다.

AI 반도체부터 모델과 운영 플랫폼까지 국내 기술로 구성해 고객사 내부에서 데이터와 AI 연산을 처리할 수 있도록 한 것이 특징이다.

이에 망 분리 등 규제와 보안 문제로 해외 생성형 AI 도입이 어려웠던 공공·국방·제약·제조·금융 등 규제 산업의 AI 전환에 활용할 수 있다고 KT는 설명했다.

서버와 AI 모델, 플랫폼을 통합한 완제품 형태여서 별도 구축 과정 없이 설치 후 사내 문서 기반 질의응답(RAG) 등 AI 기능을 사용할 수 있다.

KT는 향후 회의록 작성과 코딩 지원, 업무 자동화 에이전트 'K-클로'(가칭) 등 자체 개발 AI 에이전트를 순차적으로 탑재하고, 에이전트 전문 개발사와 협력해 고객 맞춤형 구축 사업으로 확대할 계획이다.

또 피지컬 AI를 위한 엣지 데이터센터로 확장해 저전력·저지연 AI 인프라 구축에도 나설 예정이다.

KT AX사업본부장 이진형 상무는 "KT NPU LLM 스테이션은 KT의 AX 풀스택 역량과 국산 반도체를 결합해 소버린 AI를 실제 산업 현장에서 즉시 사용할 수 있도록 만든 것"이라며 "데이터 주권을 지키면서 AI 전환을 시작하려는 기업과 기관에 가장 현실적인 선택지가 될 것"이라고 말했다.

binzz@yna.co.kr

▶제보는 카톡 okjebo