[대덕포럼] 크립토그래피 : 누구나 만들 수 있지만 아무나 풀 수 없는 암호

박근엽 한국원자력연구원 기술정책연구실장

"시스템 점검이라더니 해킹으로 먹통", 유명 통신사의 정보 누출 사건이 발생한 지 얼마 지나지 않아 또다시 국내 최대 인터넷 서점이 해킹당했다. 연일 발생하는 해킹 소식에 디지털 정보 탈취에 대한 국민 불안감은 커져만 간다. 디지털 기술이 발전하면서 정보를 탈취하는 기술도 함께 발전했다. 하지만 정보 자체를 암호화한다면, 그 피해를 최소화할 수 있다.

암호화의 핵심은 정보 전달자와 수신자 간의 암호화 규칙, 즉 암호키를 어떻게 공유하는지에 달려있다. 하지만 디지털 정보 교환이 일상화된 시대에 암호키의 교환조차 탈취될 수 있다. 그렇다면 디지털 시대에 암호화키를 안전하게 전달하는 방법은 없을까. 해법은 키를 교환하지 않고 각자 자신의 자물쇠와 암호키를 가지고 메시지를 암호화하는 '비대칭 사이퍼' 기술이다.

예를 들어 보자. 앨리스와 밥이 비밀 편지를 교환하려한다. 그리고 이를 호시탐탐 엿보려는 찰리가 있다. 이를 잘 알고 있는 앨리스는 우선 편지에 자신이 만든 자물쇠를 채운다. 이 자물쇠는 오직 앨리스의 '키'로만 열 수 있어서 찰리가 편지를 탈취하더라도 열어볼 수 없다. 앨리스의 자물쇠가 채워진 편지는 밥에게 전달된다. 하지만 밥 역시 앨리스의 키가 없으므로 편지를 열어볼 수 없다. 대신 밥은 이 편지에 자신의 자물쇠를 추가로 채운다. 이제 두 개의 자물쇠가 채워진 편지는 다시 앨리스에게 전달된다. 이제 앨리스는 자신의 자물쇠를 해제하고 이를 밥에게 다시 전달한다. 최종적으로 밥은 자신의 자물쇠만 채워진 편지를 열어 비밀 메시지를 읽을 수 있게 된다.

이는 크립토그래피의 혁명적 전환으로서, 송수신자가 동일한 열쇠를 공유하는 것이 아니라 서로 다른 열쇠로 암호화하는 비대칭 사이퍼의 발명이다. 비대칭 사이퍼는 수학적으로 일방함수를 사용한다. 일방함수는 한 방향으로는 쉽게 만들 수 있지만 그 역산, 즉 되돌리기는 어려운 함수다. 예를 들어 노란색과 파란색 물감을 섞으면 초록색을 만들 수 있지만, 초록색 물감을 다시 노란색과 파란색으로 분리하기는 어렵다. 마찬가지로 3과 4를 더하면 7이라는 답을 쉽게 얻을 수 있지만, '어떤 수를 더해야 7이 되는가'라는 질문에는 1+6, 2+5, 1+1+2+3 등 다양한 경우의 수가 존재한다. 일방함수를 응용한다면 암호화하긴 쉽지만, 만든 사람의 키 없이는 극도로 풀기 어려운 사이퍼를 만들 수 있다.

현실에서 비대칭 사이퍼는 다음과 같이 구현된다. 먼저 '공개키'와 '비공개 키'라는 한 쌍의 키가 필요하다. 공개키는 일방함수로 만들어졌으며, 모두에게 공개돼 이를 활용하면 누구나 메시지를 암호화할 수 있다. 하지만 이렇게 암호화된 메시지는 비공개 키 없이는 열어볼 수 없으며, 오직 일방함수에 맞는 '비공개 키'를 가진 자만이 해독할 수 있다. 이러한 개념을 실제 디지털 방식으로 구현한 것이 'RSA(알에스에이) 비대칭 사이퍼'다.

RSA 비대칭 사이퍼는 300자리 이상의 소수와 소인수분해를 일방함수로 사용한다. 이는 단 두 개의 숫자로 쉽게 암호화할 수 있지만, 이를 해독하기 위한 경우의 수는 우주의 원자 수보다 많은 약 10의 300승에 달해 사실상 해독이 불가능하다. RSA는 웹 보안, 공인인증서, 전자서명, 이메일 등에 널리 사용되고 있다. 최근에는 RSA만큼이나 강력한 보안성을 자랑하면서도 더 적은 컴퓨팅 자원을 차지하는 ECC(Elliptic Curve Cryptography) 기반의 암호화 기법으로 전환되는 추세다. 구현 방식은 달라도 일방함수를 활용한 비대칭 사이퍼의 기본 개념은 동일하다.

고도화된 암호화 기술이 있음에도 해킹과 정보 탈취는 끊임없이 발생하고 있다. 하지만 중요한 정보를 강력한 암호화로 보호한다면, 설사 탈취당하더라도 해독할 수 없다. 정보 암호화의 성패는 작은 관리에서 시작되며, 이는 결국 사람의 몫이다. 철저한 보안 의식 없이는 아무리 뛰어난 암호화 기술도 무용지물이 될 수밖에 없다.

박근엽 한국원자력연구원 기술정책연구실장