[정소영의 AI이야기] 아이폰 페이스ID는 왜 나를 못 알아볼까

얼굴 고유의 특징을 추출해 식별
각도·표정·조명 변화에 특징 추출 중요
지속적 학습 통해 정확도 점차 높여
트릭 이용한 페이스ID 잠금해제,  보안 취약우

편집자주
현실로 성큼 다가온 인공지능(AI)시대. 생활 속에 깊숙이 스며든 AI 이야기가 격주 토요일 <한국일보>에 찾아옵니다. 컴퓨터비전을 연구하는 정소영 서울여대 기초교육원 초빙교수가 쉽게 풀어드립니다.

페이스아이디는 왜 나를 못 알아볼까. 마스크를 쓰고도 아이폰이 나를 알아보는 방법은 없을까. 게티이미지뱅크

휴대폰 잠금을 해제하기 위해 아이폰을 얼굴 앞으로 가져다 댄다. 인식 실패다. ‘마스크를 코 밑으로 살짝 내리면 내 얼굴을 인식하지 않을까?’ 잠시 생각을 해보지만 마스크를 조금이라도 내렸다가는 ‘코스크’를 쓰게 되는 셈이니 그럴 수도 없다. 아이폰 페이스아이디(ID)는 대체 왜 마스크만 쓰면 나를 못 알아보는 걸까?

마스크를 착용하고 다닌 지 1년이 다 되어간다. 마스크를 쓴 이후 페이스ID는 없느니만 못한 인증체계가 돼버렸다. 자연스럽게 들고만 있어도 잠금해제가 되기 때문에 매우 편리했는데, 코로나 이후 아이폰은 주인을 알아보지 못하고 자꾸만 비밀번호를 입력하라고 한다. 답답한 마음에 검색창에 ‘마스크 끼고 페이스ID 잠금해제’라고 검색해본다.

역시. 같은 고민을 가진 사람들이 마스크 쓰고 잠금해제에 성공한 사례를 공유해 놓았다. 성공한 방법은 두 가지로 요약된다. ①같은 디자인의 마스크를 매일 쓰면 아이폰이 언젠가 인식한다. ②마스크를 세로로 접어 반쪽 얼굴만 가린 채 얼굴을 등록하면 된다. 페이스ID가 얼굴을 인식하는 원리를 이용하여 트릭을 사용하는 건데, 보안상 적절하지는 않지만 편의성만 본다면 시도해볼 만하다. 어떻게 이 두 가지 트릭은 얼굴인식에 성공할 수 있는 걸까?

페이스ID는 기계에 얼굴을 등록하고, 등록된 얼굴과 매칭했을 때 같은 얼굴에게만 인증하는 얼굴인식 인증체계다. 얼굴인식기술에서 가장 중요한 부분은 사람의 얼굴을 고유하게 식별할 수 있는 특징을 찾는 것인데, 이때 몇 가지 어려운 점이 존재한다. 얼굴은 근육이 많은 신체부위이기 때문에 각도와 표정에 따라 얼굴 생김새가 조금씩 달라지기 때문이다.

아이폰은 전면카메라에 트루뎁스(TrueDepth) 카메라를 사용해 눈에는 보이지 않는 3만개의 점을 얼굴에 투사해 3차원의 얼굴 데이터를 수집한다. 3만개나 되는 ‘특징점’을 사용하기 때문에 비교적 정확한 얼굴인식이 가능하다. 얼굴 데이터를 수집한 후에는 각도, 표정 등 여러 이유로 조금씩 변형되는 얼굴을 정확하게 식별해낼 고유한 특징을 추출한다. 페이스ID에 얼굴을 등록할 때 얼굴을 돌려 가며 여러 각도에서 촬영하는 이유 역시 각도의 변화에도 강건한 고유특징을 추출하기 위해서다. 얼굴은 변화가 상당히 많은 부분이라 특징을 한 번에 특정하기 어렵다. 따라서 인공지능(AI) 기술을 사용해 얼굴을 지속적으로 학습할 필요가 있다. 페이스ID도 한번 인식에 실패하더라도 비밀번호를 잘 입력한 경우에는 해당 얼굴을 업데이트하며 주인의 얼굴을 계속 학습한다.

이런 학습기능이 탑재되어 있기 때문에 같은 디자인의 마스크를 매일 착용하여 학습시킨다면 마스크까지도 얼굴의 고유한 특성 중 일부라고 학습해 마스크를 쓴 얼굴을 인식할 수 있게 된다. 단, 항상 마스크가 같은 디자인이어야 한다. 학습에는 많은 데이터가 필요한데 만약 마스크 디자인마저 계속 바뀐다면 마스크를 얼굴의 고유한 특징으로 인식하지 못해 학습이 되지 않는다.

그럼 마스크를 반으로 접어 얼굴의 반쪽을 가린 채 얼굴을 등록하는 트릭은 어떤 원리를 사용한 걸까? 얼굴은 좌우가 대칭인 특성을 가지고 있다. 그래서 가로등 뒤에 숨는 것과 같이 수직방향의 장애물이 있다면 얼굴의 좌우가 대칭인 특성에 따라 보이는 부분을 보이지 않는 부분으로 대체하여 얼굴을 인식할 수 있다. 하지만 마스크처럼 수평방향의 장애물이 있다면 보이지 않는 부분을 대체할 수 있는 특징정보가 없기 때문에 얼굴을 제대로 식별하지 못한다. 그래서 마스크를 쓴 경우에는 얼굴 등록자체가 안되지만 반으로 접어 코와 입이 절반 정도 보이게 하면 등록이 가능한 것이다.

원리를 알고 보니 이 두 방법 모두 보안에 매우 취약할 것만 같다. 만약 눈 주변이 닮은 사람이 나와 같은 디자인의 마스크를 쓰고 인증도 하고 결제도 한다면? 생각만해도 소름이 돋는다. 그래, 안전이 최고다. 비밀번호를 누르며 마스크를 벗을 날이 속히 오기를 바라 본다.

박지연 기자 jyp@hankookilbo.com