[테크스냅] AI PC서 GPU·NPU 분산 활용…노타, LLM 추론 효율 높인다

에임인텔리전스, 10개국 문화 반영 AI 안전성 벤치마크 공개
엔닷라이트-대만 MetAI, 피지컬 AI 생태계 확장 업무협약

(서울=연합뉴스) 권하영 기자 = 국내 인공지능(AI) 스타트업들이 하드웨어 최적화부터 안전성 평가, 디지털 트윈까지 각자의 영역에서 기술 성과와 협력 소식을 잇달아 내놨다.

노타의 분리형 추론을 적용한 AI PC에서 동일한 LLM에 같은 입력을 준 실행 화면. 왼쪽 노타 분리형 추론(GPU+NPU)이 응답을 완료한 반면, 단일 NPU·단일 GPU는 아직 생성 중이다. [노타 제공. 재판매 및 DB 금지]

▲ AI 경량화 전문기업 노타는 AI PC 환경에서 그래픽처리장치(GPU)와 신경망처리장치(NPU)를 함께 활용하는 이기종 컴퓨팅 기반 대규모언어모델(LLM) 추론 최적화 기술을 구현했다고 4일 밝혔다. 노타는 인텔 루나 레이크 기반 AI PC에서 LLM 실행 과정을 입력 처리 단계와 답변 생성 단계로 나눠 각각에 적합한 연산 장치를 배치하는 '분리형 추론' 방식을 적용했다. 성능 평가 결과 단일 GPU 방식 대비 토큰당 에너지 소비 32% 절감하고 생성 처리량을 12% 높였으며, 단일 NPU 방식 대비 첫 응답 지연시간 89% 단축 효과를 거뒀다는 설명이다.

에임인텔리전스는 전 세계 각국의 법률·제도·문화적 맥락을 반영해 LLM 신뢰성을 평가하는 글로벌 벤치마크 'XL-세이프티벤치'를 공개했다. [에임인텔리전스 제공. 재판매 및 DB 금지]

▲ AI 보안 전문기업 에임인텔리전스는 전 세계 각국의 법률·제도·문화적 맥락을 반영해 LLM 신뢰성을 평가하는 글로벌 벤치마크 'XL-세이프티벤치'를 공개했다. 한국·미국·인도·프랑스·독일·UAE 등 10개국을 대상으로 5천500개 현지화 테스트 케이스를 구축해 37개 주요 LLM의 법적·문화적 맥락 이해도를 측정한다. 마이크로소프트(MS)와 KT, BMW그룹, 한국 AI안전연구소 등 10개 기관 17명이 공동 저자로 참여했으며, 논문은 아카이브에, 데이터셋은 허깅페이스에 공개됐다.

(좌)다니엘 유 MetAI 대표, (우)박진영 엔닷라이트 대표 [엔닷라이트 제공. 재판매 및 DB 금지]

▲ 3D AI 전문기업 엔닷라이트는 엔비디아가 대만 스타트업 중 최초로 직접 투자한 산업용 디지털 트윈 기업 MetAI와 글로벌 피지컬 AI 생태계 확장을 위한 업무협약(MOU)을 체결했다. 양사는 엔닷라이트의 심 레디(SimReady) 3D 데이터 생성 엔진 '트리닉스'와 MetAI의 산업 규모 디지털 트윈 생성 플랫폼 '멧젠을 결합해 에셋 생성부터 환경 조립, 시뮬레이션 학습까지 이어지는 피지컬 AI 전 과정을 단일 워크플로우로 자동화하는 통합 파이프라인 구축에 나선다.

kwonhy@yna.co.kr

▶제보는 카톡 okjebo