BC카드, '작은 AI 여러 개'로 금융업무 자동화…GPU 비용 70% 줄였다

금융 특화 AI 플랫폼 구축…맛집 추천·업무 자동화 서비스 적용

BC카드가 미국 애틀란타에서 진행된 'Red Hat Summit 2026'에서 국내 금융사 중 최초로 발표자로 초청받아 레드햇과 함께 구축한 ‘Agentic AI 운영 플랫폼’ 사례를 선보였다. [사진=BC카드]

BC카드가 업무별로 특화된 소형 인공지능(AI) 모델을 여러 개 연결하는 방식으로 금융 AI 운영 효율을 끌어올렸다. 하나의 거대언어모델(LLM)에 모든 업무를 맡기는 기존 방식보다 비용은 낮추고 처리 속도는 높인 것이 핵심이다.

BC카드는 지난 14일(현지시간) 미국 애틀랜타에서 열린 ‘레드햇 서밋 2026’에서 레드햇과 공동 구축한 ‘에이전틱 AI 운영 플랫폼’을 공개했다고 18일 밝혔다. 레드햇 서밋은 글로벌 오픈소스 기업 레드햇이 매년 개최하는 오픈소스·클라우드·AI 기술 콘퍼런스다.

BC카드가 선보인 플랫폼은 하나의 LLM에 업무를 집중시키는 대신, 업무 영역별로 특화된 다수의 소형언어모델(SLM)을 묶어 동시에 처리하는 구조다. 에이전틱 AI는 단순 답변을 넘어 AI가 스스로 판단하고 행동하는 기술을 뜻한다.

BC카드는 이 구조를 통해 AI 운영 비용과 속도 문제를 개선했다. SLM은 특정 업무에 맞춰 최적화할 수 있어 안정적인 결과를 도출하는 동시에 추론 속도를 최대 3배 이상 높이고, GPU 자원은 최대 70%까지 줄일 수 있었다.

실제 BC카드는 연간 100억건 이상 결제 데이터를 처리해온 경험을 바탕으로 고가의 GPU 자원을 효율적으로 분산하는 AI 운영 방식을 구축했다. 이를 통해 서비스 속도를 높이고 운영 비용을 낮췄다는 설명이다.

이 플랫폼은 실제 서비스에도 적용되고 있다. BC카드는 실시간 소비 패턴을 분석해 맛집을 추천하는 ‘Eat.pl’, 금융 특화 생성형 AI 플랫폼으로 임직원 업무를 지원하는 ‘BCGPT’, 여러 AI를 연결해 업무 자동화를 구현하는 ‘MOAI’ 등을 운영 중이다. BC카드는 자체 개발한 AI 모델과 한국 금융 특화 데이터셋도 외부에 공개하고 있다. 글로벌 AI 오픈소스 플랫폼인 허깅페이스에 약 38개의 LLM을 공개했으며, 월평균 10만여건의 다운로드 성과를 내고 있다.