에스투더블유, 보안에 강한 AI챗봇...“직급별·위치별로 올바른 답 내놓는다” [AI프런티어]

에스투더블유 서상덕 대표
현대제철에 특화된 보안 AI 제공
13만 문서 실시간 답변 챗봇 구현
보안 강화 AI, 직급별 접근 제어

AI 데이터 인텔리전스 기업인 에스투더블유(S2W)가 다크웹 탐지에 이어 보안 능력을 한층 강화한 대규모 언어 모델(LLM) 솔루션을 잇따라 확대 적용하고 있다. (왼쪽부터) 박근태 최고기술채임자(CTO), 서상덕 대표, 정진우 AI팀장(이사)

AI 데이터 인텔리전스 기업인 에스투더블유(S2W)가 다크웹 탐지에 이어 보안 능력을 한층 강화한 대규모 언어 모델(LLM) 솔루션을 잇따라 확대 적용하고 있다. 에스투더블유는 차세대 인공지능(AI) 플랫폼인 ‘에스에이아이피(SAIP)’를 올 3월 런칭했는데, 현대제철이라는 고객사 수요에 맞춰 맞춤 서비스 제공을 진행했다. 특히 이번에는 13만건이라는 사내 문서를 토대로, 환각 없이 실시간 답변할 수 있는 AI 챗봇을 구현했다. 모델은 하나지만 이 과정에서 직급별 공장별로 데이터에 대한 접근을 달리해 보안을 극대화했다. 서상덕 대표, 박근태 최고기술채임자(CTO), 정진우 AI팀장(이사)를 경기도 판교 에스투더블유 사옥에서 만났다.

▶ 에스투더블류는 보안에 강한 AI기업이다.

- 서상덕 대표: 에스투더블유는 지난해 도메인 학습 최적화를 통해 다크웹 특화 언어 모델(DarkBERT)을 구축한 바 있으며, 도메인 최적화 학습·튜닝에 대한 노하우마저 보유하고 있다. 현재 국내 대기업 고객사만 약 50개사 정도 된다. 보안 팀들이 강화하는 추세다.

▶ 다크웹 탐지에서 올해부터 영역을 LLM으로 확대했다. 에스에이아이피(SAIP) 파라미터 수가 궁금하다.

- 서상덕 대표: 인간 두뇌의 시냅스에 해당하는 파라미터의 수는 약 140억 개다. 빅데이터, 증강검색, 생성, 보안 기술을 유기적으로 결합한 소규모 대형언어모델(sLLM)이다. 특히 인공지능, 빅데이터 처리, 보안의 장점을 살렸다. 플랫폼에는 에스투더블유가 보유한 비정형·정형 민감 정보 데이터 처리 기술과 다년간 도메인 특화 AI 언어모델 구축 경험이 녹아있다

140억 파라미터 모델 개발, 비정형·정형 민감 정보 데이터 특화

▶ 올해 3월 발표를 했는데, 협업 사례가 있나

- 서상덕 대표: 현대제철이 얼마 전 에스에이아이피(SAIP)를 도입했다. 요구 사항은 보안이 강한 프라이빗 한 형태로 구동시킬 것, 안전 관리에 대해 질문하면 환각이 없을 것, 온프레미스 형태로 구축할 것 등이었다. 또 공장별로 사무실별로 직급별로 답변 제공을 차등화할 것을 요구했다. 보안이 강한 AI 챗봇을 원한 것이다

▶ 지식경영2.0 버전을 현대제철을 위해 구현한 것으로 보인다. 어떤 방식으로 진행됐나.

- 서상덕 대표: 현대제철에서 복수의 업체에 입찰을 붙여 우리 제품을 최종 낙점했다. 우선 POC 단계에서는 에스투더블유가 보유한 GPU에, 현대제철이 제공한 문건 3천개를 학습해 현대제철에 설치하는 방식이었다. 문서에는 아날로그 및 오피스 문서가 포함되었으며, 실제 샘플을 여러 종류로 제공했다. 구축한 시스템은 실제 문서를 토대로 짧은 시간 내에 답변할 수 있는 시스템이었다.

▶ 구체적으로 구현한 방식이 궁금하다.

- 해당 시스템은 검색 증강 생성(RAG)과 언어 모델 방식을 혼합해 구현됐다. 이 방식을 선택한 이유는 POC 기간이 짧은 가운데, 환각 없이 사실만 답변하는 모델이 필요했기 때문이다. 모르는 것을 아는 것처럼 답변해서는 안 되고, 모르면 모른다고 답변을 해야 하는 모델을 구축했다. 기업에서 가장 중요한 것은 신뢰성이다. 이런 구축은 철강에선 처음이고, 제조 분야를 통틀어서도 이런 구축은 없었던 것으로 안다.

▶ 최종 모델은 어떤 형태로 구축했나

- 현대제철이 보유한 문서 13만 건과 8개 원천시스템을 활용했다. 가장 중요한 것은 모델은 하나지만 답변 과정에서 AI가 보안을 유지해야한다는 것이었다. 예를 들어 평사원이 CEO만 알아야 할 질문을 물었을 때, 이에 대한 답변을 하지 않는 것이다. 또 직급별로 공장별로 그 위치에 맞는 답변을 해야 하는 것이 중요했다.

▶ POC 한 뒤 실제 모델 구축은 어떻게 했나

- 정진우 AI팀장(이사): 전체 기간은 약 6개월 걸렸다. 4개월이 테스트, 나머지가 안정화 기간이었다. 현대제철의 데이터 전략팀과 협업했다. 학습 테스트에서 우리는 검색 증강 생성(RAG)방식으로 LLM을 튜닝했다. 제철 산업과 같은 경우에는 데이터에서 날짜와 가격 정보를 정확히 처리하는 것이 중요하다. 이를 위해 LLM이 RAG 방식으로 데이터 쿼리를 수행하도록 했다. 우리는 RAG 방식이지만 RDB(관계형 데이터베이스)처럼 정해진 값을 처리할 수 있도록 특화되도록 했다. 날짜나 가격과 같은 정보를 검색할 수 있도록 튜닝했다. 문서에서 날짜와 가격 같은 제조 관련 정보를 AI가 자동으로 추출하도록 했다. 추출된 날짜와 금액 정보는 별도로 저장했으며, 질의를 할 때 기간을 계산하거나 복합적인 분석 역시 가능하도록 했다. 예를 들어, 이를 기반으로 특정 기간 동안의 데이터를 조회하거나 가격 변동을 분석할 수 있다.

서상덕 대표, 박근태 최고기술채임자(CTO)

현대제철의 정대성 데이터전략팀장은 “이번 HIP 구축을 통해 사내 지식공유 체계를 한 단계 높였다”며 “앞으로 AI를 상품 제조, 품질관리, 판매체계 효율화 등에 계속 확대하여 제조의 본원적 경쟁력을 강화해 나갈 계획이다.”고 강조했다.

한국판 팔린터어라는 꿈...AI와 보안 유기적 연결

▶ LLM에서 보안성을 어떻게 높였나. 노하우가 있나

- 박근태 최고기술채임자(CTO): 보안 분야에서 우리는 외부에서 기업 관련 데이터를 수집하고 분석하는 작업을 한다. 이 과정에서 범죄 가능성이 있는 데이터를 다루게 된다. LLM 보안도 이 데이터 수집 활동에 포함된다. 예를 들어, ‘랭체인 라이브러리’라는 도구가 있다. 이 라이브러리를 통해 특정 취약점이 어디에서 어떻게 악용되고 있는지를 파악할 수 있다. 이러한 정보를 미리 파악하여 공유하고, 해결책을 적용하고 있다. 즉, 우리는 간접적으로 데이터를 수집해 보안 취약점을 미리 찾아내고, 이를 해결하기 위한 방법을 기업들에 제공한다.

▶ 한 모델에서 직급별로 접근 가능한 데이터를 분류하는 것은 매우 어려울 것 같다

- 박근태 최고기술채임자(CTO): 보안 측면에서, 우리 시스템은 여러 가지 접근 제어 방식을 사용하고 있다. 예를 들어, RBAC(Role-Based Access Control)을 통해 사용자들이 상위 레벨의 인사정보 시스템에 접근할 수 있는 단계를 설정했다. 특히 이 시스템은 SSO(Single Sign-On)를 통해 내부 포털에서 접근할 수 있으며, 사용자의 직급에 따라 접근 권한을 달리 할 수 있다. 또 각 공장의 프로세스가 다르기 때문에 물리적인 접근 제어가 필요했다. 편의성을 위해선 SSO를 통해 내부 포털에서 접근할 수 있게 해, 사용자가 한 번의 로그인으로 여러 시스템에 접근할 수 있도록 했다. 아울러 LLM은 때때로 잘못된 정보를 생성할 수 있는데, 이를 ‘할루시네이션’이라고 한다. 이를 방지하기 위해 프롬프트 엔지니어링을 활용해 정확한 정보를 제공하도록 설정했다. 이를 통해 각 사용자에게 적절한 접근 권한을 부여하고, 중요한 인사 정보가 보호될 수 있도록 했다.

▶ 앞으로 보안에 특화된 LLM 서비스를 어떻게 확장할 것인가.

- 서상덕 대표: 현대제철 협업은 주요 케이스다. 현재 POC를 몇 곳과 진행하고 있다. 오늘날 문제는 AI가 너무 많은 정보를 알고 있다는 사실이다. 한번 악용될 경우 기업한테는 치명적이다. 모든 정보가 한 번에 유출될 수 있다. 그런 것을 보안하고 연결해 유기적으로 하는 것이 에스투더블유의 강점이자 미션이다.

▶ 에스투더블유의 비전은 무엇인가

- 우리는 한국판 팔란티어를 꿈꾼다. 보안의 강점에 AI를 붙이려고 한다. 비보안 영역에서 활동하는 일반 기업들이 보안성 강한 AI 솔루션을 쓸 수 있도록 하고 싶다. 우리가 잘하는 분야다.

서상덕 에스투더블유(S2W) 대표 카이스트 전자공학과를 졸업한 뒤 티맥스그룹에서 미들웨어 개발자로 활동했다. 이후 그는 미시간대 MBA로 유학을 떠났다. 개발 보다는 경영에 적성이 맞는다는 판단에서였다. 한국에 돌아와 그가 잡은 일자리는 컨설턴트였다. 보스턴컨설팅(BCG)그룹에서 기업 전략을 담당했다. 이후 롯데그룹의 미래전략연구소로 자리를 옮겼다. 그곳에서 그는 롯데액셀러레이터 설립을 위한 실무 팀장을 맡았다. 또 이 과정에서 30~40대 여성복 플랫폼 스타트업을 사내 창업하기도 했다.