[이슈플러스] “암호화한 채 연산”…AI 시대, 동형암호 뜬다

클라우드·외부 AI 사용 늘며
데이터 이동 리스크 대응 필요
의료·금융 민감정보 분야 주목
에이전트 AI 환경 중요성 커져
HW·알고리즘 개선 '속도 경쟁'

동형암호 기술 개요

데이터를 암호화한 채로 연산할 수 있는 '동형암호(Homomorphic Encryption)'가 현실화되고 있다. '꿈의 기술'로 불리며 연구실에 머물렀던 동형암호는 최근 성능 개선과 구조 혁신을 계기로 산업 적용이 본격화되는 흐름이다. 개인정보 보호와 데이터 활용을 동시에 요구하는 인공지능(AI) 시대를 맞아 핵심 보안 기술로 부상하고 있다.

◇풀지 않고도 계산…동형암호의 원리

동형암호의 핵심은 '암호문 상태에서 계산이 가능하다'는 점이다. 얼핏 보면 불가능해 보이지만, 원리는 수학적 구조에 있다.

일반 암호는 데이터를 암호화하면 완전히 다른 값으로 바뀐다. 이 상태에서는 원래 값과의 연산 관계가 유지되지 않기 때문에 계산이 불가능하다. 따라서 기존에는 반드시 복호화를 거쳐 원문을 꺼낸 뒤 연산을 수행해야 했다.

반면 동형암호는 암호화 과정에서 특정 연산의 결과가 유지되도록 설계된다. 암호문끼리 더하거나 곱하면, 이를 복호화했을 때 평문을 계산한 결과와 동일하게 나오도록 하는 구조다.

업계에서는 이를 '장갑을 낀 채로 작업하는 것'에 비유한다. 데이터를 직접 보지 않고도 필요한 계산을 수행할 수 있다는 의미다.

예를 들어 2와 3을 각각 암호화한 뒤 더하면, 암호문 상태에서는 전혀 다른 값이 계산된다. 하지만 이를 복호화하면 결과는 5가 된다. 계산 과정에서는 원래 숫자가 드러나지 않는다.

이 구조 덕분에 서버는 데이터의 내용을 알 수 없는 상태에서 계산만 수행할 수 있다. 데이터는 처리 과정 전반에서 암호화 상태를 유지하고, 결과 역시 암호화된 상태로 전달된다. 최종 사용자만 이를 복호화해 확인할 수 있다.

동형암호는 이처럼 '데이터를 보지 않고 처리하는' 새로운 방식의 컴퓨팅을 가능하게 한다. 데이터 활용 과정에서 발생하는 유출 위험을 구조적으로 줄일 수 있다는 점에서 기존 보안 기술과 차별화된다.

◇ 핵심 보안 기술로 부상

이처럼 데이터를 노출하지 않고도 계산이 가능해지면서, 동형암호의 활용 필요성은 빠르게 커지고 있다. 데이터가 한 곳에 머무르지 않고 여러 시스템과 서비스 간을 오가는 환경이 일반화되고 있기 때문이다.

과거에는 기업 내부에서 데이터를 처리하는 경우가 많았지만, 최근에는 클라우드와 외부 AI 서비스 활용이 늘면서 데이터 이동이 크게 증가했다. 이 과정에서 데이터를 복호화한 뒤 다시 암호화하는 기존 방식은 처리 단계가 늘어날수록 정보 노출 위험을 키우는 구조다.

동형암호는 이러한 한계를 줄일 수 있는 대안으로 꼽힌다. 데이터를 암호화한 상태 그대로 처리하고 전달할 수 있어, 이동 과정에서도 데이터 내용이 드러나지 않는다. 데이터 활용 범위를 유지하면서 보안 리스크를 낮출 수 있다는 점이 특징이다.

의료·금융 등 개인 민감정보를 다루는 분야에서도 활용 가능성이 주목된다. 환자 정보나 거래 데이터처럼 외부 공유가 어려운 데이터도 암호화 상태로 분석할 수 있어, 데이터 활용 범위를 넓힐 수 있기 때문이다.

특히 여러 AI가 협업하는 '에이전트 AI' 환경에서는 중요성이 더욱 커진다. 서로 다른 시스템이 데이터를 주고받으며 결과를 만들어내는 구조에서는 각 주체가 보유한 데이터의 기밀성이 핵심 과제로 떠오른다.

동형암호를 적용하면 각 AI 시스템은 데이터를 공개하지 않은 채 필요한 연산만 수행할 수 있다. 데이터는 각 시스템에 그대로 유지되면서도 협업이 가능해지는 것이다.

일부 동형암호는 기존 컴퓨터보다 훨씬 빠른 계산이 가능한 양자컴퓨터 환경에서도 안전한 '양자내성암호(PQC)'로 평가돼 차세대 보안 기술로 주목된다.

생성형AI가 만든 이미지

◇ 속도 난제 풀기 총력전…하드웨어·알고리즘 개선

동형암호는 1978년 개념이 제시되고 2009년 완전 동형암호가 구현되며 기술적 가능성이 입증됐다. 하지만 느린 연산 속도라는 한계로 실제 산업 적용은 제한적이었다.

암호화 상태에서 연산을 수행해야 하는 구조상 처리 과정이 복잡해지고, 데이터 크기 증가까지 겹치면서 연산 부담이 크게 늘어난다. 이러한 특성은 실시간 처리나 대규모 데이터 환경에서 적용을 어렵게 만드는 요인으로 작용해왔다.

이 한계를 극복하기 위한 기술적 시도도 이어져왔다. 부트스트래핑 개선과 모듈리 체인 등 알고리즘 고도화를 통해 연산 효율을 높이려는 연구가 진행됐고, 여러 데이터를 동시에 처리하는 병렬 연산 기법도 발전해왔다.

산업계에서는 하드웨어 접근도 병행되고 있다. 그래픽처리장치(GPU) 또는 전용 반도체를 활용해 동형암호 연산을 가속하는 방식으로, 복잡한 계산을 물리적으로 빠르게 처리하려는 시도다.

동형암호 주류인 격자(Lattice) 기반이 아닌 타원곡선(EC)와 같은 다른 수학적 구조를 활용해 계산 효율을 높이려는 시도도 나오고 있다. 구조를 단순화해 성능과 비용 문제를 동시에 개선하겠다는 전략이다.

김영식 대구경북과학기술원(DGIST) 교수는 “동형암호는 10년 전에 비해 1만배 이상의 성능 개선이 이뤄졌고 지금도 경쟁적으로 연구가 이뤄지고 있다”며 “민간에서 사용하긴 조금 이를 수 있으나 공공분야에서는 개인정보 보호를 위해 사용 가능한 수준의 기술력이 갖춰진 상황”이라고 말했다.

동형암호 기술 개요

박진형 기자 jin@etnews.com