AI 스타트업 비드래프트, 오픈소스 모델 ‘Aether-7B-5Attn’ 허깅페이스 공개

출처=비드래프트

한국 AI 스타트업 비드래프트(대표 김민식)가 자체 개발한 오픈소스 파운데이션 모델 ‘Aether-7B-5Attn’을 글로벌 AI 플랫폼 허깅페이스에 Apache-2.0 라이선스로 공개했다고 밝혔다.

이 모델은 가중치뿐만 아니라 학습 데이터 구성 방식, 학습 코드, 하이퍼파라미터, 로그, 평가 코드 등 개발 과정의 주요 데이터를 함께 포함한 오픈소스 모델을 지향한다. 모델의 개발 공정을 투명하게 파악할 수 있도록 설계되어, 외부 연구자와 기업이 기술적 구조를 검증하고 이를 활용한 연구를 재현할 수 있도록 돕는다.

Aether-7B-5Attn은 총 65.9억 파라미터 규모의 전문가 혼합(MoE) 구조로, 추론 시 토큰당 약 29.8억 파라미터가 활성화되도록 설계되어 연산 효율성을 높였다. Full, Differential, Sliding Window, NSA 계열 희소, Hybrid 등 5가지 어텐션 메커니즘을 결합했으며, 49개 층을 7×7 라틴 스퀘어 구조로 배치해 다양한 어텐션 방식이 깊이별로 고르게 작용하도록 조율했다. 학습은 엔비디아 B200 GPU 16장을 활용해 약 1,442억 토큰 규모로 진행됐다. 데이터셋은 수학 37.8%, 한국어 21.6%, 영어 21.6% 등으로 구성되어 한국어와 영어권 환경을 함께 고려해 학습된 점이 특징이다.

이번 개발 공정 공개는 인공지능 분야의 기술 독립성 및 보안성 확보 측면에서도 참고 사례가 될 수 있다. 학습 과정이 공개된 모델은 연구기관이나 기업이 외부 의존도를 줄이고, 자체적인 데이터와 보안 요구사항에 맞춘 AI 시스템을 고도화하는 기초 연구 자료로 활용될 수 있기 때문이다. 비드래프트는 단일 스타트업으로서 개발 과정의 개방성을 높인 모델을 선보임으로써 국내 오픈소스 AI 생태계의 다양성 확대에 기여하고자 한다.

비드래프트는 양자컴퓨터 기술 연구와 AI 모델 개발을 바탕으로 물리·화학·생명과학 분야의 연구개발 솔루션을 다루는 딥테크 기업이다. Darwin 모델 패밀리 등 자체적인 시스템 아키텍처를 제시해 왔으며, 해당 모델을 통해 국내외 주요 AI 성능 평가(벤치마크) 및 신약개발 관련 테스트에서 성과를 거둔 바 있다. 또한 오픈소스 커뮤니티인 허깅페이스에서 누적 다운로드 100만 건을 기록했으며, 모델 개발 외에도 추론 가속 엔진 VKAE, 경량 구동 엔진 VKUE 등 AI 인프라 기술 연구를 병행하고 있다.

김민식 비드래프트 대표는 “단순히 공개된 모델 가중치를 활용하는 것을 넘어 데이터와 코드, 학습 과정까지 투명하게 검증할 수 있는 환경이 오픈소스 생태계 발전의 토대가 된다”며, “이번 공개가 국내 AI 연구 환경에서 기술적 투명성과 독자적인 모델 개발 역량에 대한 건설적인 논의를 넓히는 계기가 되기를 기대한다”고 밝혔다.

현재 베이스 및 인스트럭트 모델, 라이브 데모는 허깅페이스를 통해 확인할 수 있다.

최용석 기자 duck8@donga.com