보안의 기본, 방화벽은 어떻게 진화했나 [보안TMI]

단순 차단에서 분석 기반 보안으로

IT조선은 독자들이 이해하기 어려웠던 보안 용어와 개념을 보다 쉽게 풀어 설명하는 '보안TMI(Too Much Information)' 코너를 새롭게 마련했습니다. 매주 주제를 선정해 개념은 물론 기사에 담지 못했던 배경과 맥락까지 짚어드립니다. 독자들이 보안 관련 뉴스를 보다 명확하게 이해할 수 있도록 돕겠습니다. [편집자 주]

방화벽(Firewall)은 보안 분야에서 가장 기본적인 개념 중 하나다. 개인 PC 운영체제에서도 기본적으로 제공되는 기능이기 때문이다. 건물에서 화재가 발생했을 때 불길이 다른 공간으로 번지는 것을 막는 구조에서 이름이 유래했듯, 외부에서 들어오는 위험한 트래픽이 내부로 확산되는 것을 차단하는 역할을 한다.

PC 운영체제 윈도에 기본 탑재된 방화벽은 인가되지 않은 외부의 접근을 기본적으로 차단한다. 특정 프로그램이 외부로부터의 접속을 받기 위해 포트를 열고 대기하려 할 때 경고를 띄워 사용자에게 허용 여부를 묻는 방식이다.

방화벽은 허용된 트래픽만 통과시키고 나머지는 차단한다는 원리를 기반으로 동작하며, 한 단계 진화한 차세대방화벽(NGFW)은 트래픽 분석 기능을 결합했다. / 챗GPT 생

이처럼 방화벽은 '허용된 통신만 통과시키고 나머지는 차단한다'는 원리를 기반으로 동작한다. 이 개념은 기업 네트워크 환경에서도 동일하게 적용된다. 기업 네트워크 방화벽 역시 IP 주소, 포트 번호, 프로토콜 같은 정보를 기준으로 사전에 정의된 정책에 따라 통신을 허용하거나 차단한다. 예를 들어 웹 서비스에 필요한 80번, 443번 포트만 열고 나머지는 막는 식이다. 이후 기술이 발전하면서 단순 패킷 필터링에서 연결 상태를 추적하는 '상태 기반 검사(Stateful Inspection)'단계까지 고도화됐지만, 본질은 정해진 규칙에 따라 트래픽을 통제하는 데 있다.

이 방식은 오랜 기간 기업 보안의 핵심 역할을 맡아왔다. 특히 외부에서 내부로 들어오는 비정상 접근을 차단하는 데에는 지금도 효과적인 수단이다. 실제로 내부망 구간이나 단순 트래픽 통제 영역에서는 전통적인 방화벽이 여전히 널리 활용된다.

하지만 네트워크 환경이 바뀌면서 한계도 분명해졌다. 과거에는 특정 포트나 IP를 차단하는 것만으로도 상당수 공격을 막을 수 있었다. 그러나 웹 트래픽에 악성코드를 숨기거나 정상 서비스로 위장하는 공격이 일반화되면서 기존 방식만으로는 한계가 드러나기 시작했다.

특히 대부분의 트래픽이 HTTPS처럼 암호화된 형태로 오가면서 겉으로 드러나는 정보만으로는 위협을 구분하기 어려워졌다. 여기에 클라우드와 SaaS(서비스형 소프트웨어), 모바일 환경까지 더해지며 네트워크 경계 자체도 흐려졌다. 외부와 내부를 명확히 구분하고 그 경계에서 통제하는 기존 보안 모델만으로는 대응이 쉽지 않은 환경이 된 것이다. 결국 "어디에서 왔는가"보다 "무엇을 하는 트래픽인가"를 파악하는 것이 더 중요해졌다.

이 같은 변화 속에서 등장한 것이 '차세대방화벽(NGFW·Next Generation Firewall)'이다. 2010년 전후로 본격 확산된 NGFW는 기존 방화벽 기능에 더해 트래픽 내용을 깊이 분석하는 기능을 결합한 것이 특징이다. 포트가 아닌 애플리케이션 단위로 트래픽을 식별하고, 사용자 계정 기반으로 정책을 적용할 수 있는 것이 대표적 기능이다.

여기에 침입방지시스템(IPS) 기능을 통합해 알려진 공격 패턴을 실시간으로 차단하며 암호화된 트래픽에 대해서도 복호화를 통해 제한적으로 내부 가시성을 확보한다. 이를 통해 단순히 "443 포트는 허용"하는 수준을 넘어, "443 포트라도 특정 애플리케이션이나 행위는 차단"하는 세밀한 통제가 가능해졌다. 네트워크 중심에서 애플리케이션과 행위 중심으로 보안 관점이 이동한 것이다.

현재 기업 환경에서는 NGFW가 네트워크 보안의 핵심 인프라로 자리 잡았다. 다만 클라우드와 사용자 중심 환경으로 확장되면서, 기존 경계 기반 보안만으로는 한계를 보완하기 위한 새로운 접근 방식이 함께 도입되고 있다. 신규 구축 환경에서 전통적인 방화벽만 단독 도입하는 경우는 드물고, NGFW를 중심으로 하되 내부 구간에는 전통 방화벽을, 외부 접점이나 중요 구간에는 NGFW를 배치하는 식의 혼합 구조가 널리 활용된다.

최근에는 이보다 한 단계 더 나아가 방화벽 기능을 클라우드 형태로 제공하는 FWaaS(Firewall as a Service)가 확산되는 한편, 네트워크 경계를 숨기는 SDP(Software Defined Perimeter) 아키텍처를 기반으로 사용자와 기기 단위로 접근을 통제하는 ZTNA(Zero Trust Network Access) 같은 방식이 함께 도입되고 있다. 이러한 변화는 네트워크 경계가 아닌 사용자의 '신원(Identity)'과 '기기 상태', 그리고 '접속 행위' 자체를 지속적으로 검증하는 제로 트러스트(Zero Trust) 모델을 기반으로 한다.

결국 방화벽은 단순한 트래픽 차단 장비를 넘어 분석과 정책 중심의 보안 인프라로 진화하고 있다. 과거 방화벽이 '막는 장비'였다면, 지금은 트래픽을 분석하고 행위를 이해하는 보안 인프라로 확장했다. 여기에 방화벽은 단독 장비를 넘어 클라우드 기반 서비스와 사용자 중심 접근 제어와 결합되는 방향으로 확장되고 있다. 네트워크 보안의 출발점이었던 방화벽은 여전히 핵심 인프라이며, 기존 경계 기반 보안과 새로운 접근 방식이 공존하는 형태로 진화하고 있다.

정종길 기자
jk2@chosunbiz.com