[단독①] '음성인식 전문가' 성원용 교수 "尹대통령 '막말 파문', 문제의 핵심은 '데이터 변조'"

성원용 서울대학교 전기·정보공학부 명예교수, SNS 통해 尹 사적발언 논란 입장 표명
"윤석열 대통령 막말 파문 문제의 핵심은 데이터 변조"
"엉터리 자막은 음성 편집 변조와 비슷한 역할"
"언론의 입장은 존중돼야 하지만, 데이터 변조는 사소한 것이라도 용인돼선 안 돼"

윤석열 대통령. <연합뉴스>

<MBC 방송화면>

윤석열 대통령. <연합뉴스>

'음성인식 전문가' 성원용 서울대학교 전기·정보공학부 명예교수가 최근 정치권을 강타한 윤석열 대통령의 사적발언 논란과 관련, "윤석열 대통령 막말 파문 문제의 핵심은 데이터 변조"라고 흥미로운 분석을 내놔 관심이 집중되고 있다.

30일 정치권 및 교육계 등에 따르면, 성원용 명예교수는 이날 자신의 페이스북을 통해 "엉터리 자막은 음성 편집 변조와 비슷한 역할, 언론의 입장은 존중되어야 하지만, 데이터 변조는 사소한 것이라도 용인되어선 안 된다"며 이같이 밝혔다.

성 명예교수는 "왜 어떤 사람에게는 '바이든'이라고 들리는데, 다른 사람에게는 그렇지 않게 들릴까"라며 "윤석열 대통령이 글로벌 펀드 재정회의에 참석 후 나오면서 측근들과 한 발언을 MBC는 '국회에서 이 XX들이 승인 안 해주면 바이든은 X팔려서 어떡하나?'로 자막을 달아서 방송하였다. MBC와 야당은 바이든 대통령을 모욕하였다 주장하지만, 나의 경우 그 소리를 직접 여러 번 들었는데, 절대 저렇게 들리지 않는다"고 주장했다.

이어 "당연 '바이든'이라고 듣는 사람들의 귀가 더 예민하다 믿을 근거는 없다. 나는 오랫동안 음성인식을 연구하였는데, 음성인식은 단지 귀에 들리는 소리에만 의존하지 않는다"면서 "왜냐하면 사람들의 발음이 너무 엉터리이기 때문이다. 음성인식 과정에서는 인식률을 올리기 위해 소리를 들어서 얻는 음향정보(acoustic information)와 내용을 따라가며 얻는 사전정보(prior information)를 결합한다. 특히 잡음이 많은 음성의 경우 사전정보에 더 의지한다"고 설명했다.

그러면서 "사람들은 듣는 것뿐이 아니고 시각은 물론 거의 모든 판단에 사전정보를 이용한다. '자라보고 놀란 가슴, 솥뚜껑 보고 놀란다'는 속담은 시각적 판단에서 사전정보가 미치는 영향을 설명한다"며 "그런데 사전정보는 사람들을 편견으로 유도하기도 한다. 어떤 사람은 특정 국가, 지역, 또는 인종만 나오면 혐오심이 막 분출된다. 이 사람이 그 국가나 지역, 인종을 잘 알기 때문이 아니라, 대개 그런 적개심을 가지도록 사전정보를 받았기 때문이다. 문명사회는 이러한 사전정보가 유도하는 편견과 적개심의 고취를 막도록 노력하여야 하며, 가장 중요한 역할을 교육과 언론기관이 맡고 있다"고 말했다.

성 명예교수는 "윤 대통령의 뉴욕 발언은 매우 잡음이 많고 불분명한데, 여기에 MBC는 자의적으로 자막을 달아서 송출하였다. 당연 대부분의 사람들은 이 자막대로 듣는다. '소리'를 따라 듣지 않고, '자막'을 따라 듣는다. 자막이 매우 선명한 사전정보 역할을 하기 때문"이라며 "자막이 있는 외국어 방송은 잘 들리는데 이 또한 마찬가지 이유"라고 했다.

또 그는 "'바이든'이라고 들린다는 사람이 많은데, 이미 자막을 보았기 때문"이라며 "내가 대통령의 발언을 자동음성인식기에 넣어 보았다. 내가 시험한 어떤 음성인식기에서도 '바이든'이라는 단어를 찾을 수 없었다. 가장 정확한 네이버 클로버 음성인식기의 경우 나오는 답은 '신인 안 해주고 만들면 쪽 팔려서'이다"라고 윤 대통령의 사적발언 부분에 '바이든'이라는 단어는 인식되지 않는다고 했다.

성 명예교수는 "이 문제의 핵심은 데이터 변조다. 엉터리 자막은 음성 편집 변조와 비슷한 역할을 한다"며 "언론인이나 연구자의 주장과 입장은 존중되어야 하지만, 데이터 변조는 사소한 것이라도 용인되어서는 안 된다. 연구자 윤리에서도 데이터 변조는 최악의 위반으로 간주한다"고 강조했다.

끝으로 "물론 대통령이 사용한 일부 단어는 좀 거칠다 생각할 수도 있지만, 엉터리 자막 편집과 비교할 사항이 아니다. 무엇보다도 야당이나 일부 언론도 이 사항을 가지고 MBC를 옹호할 일이 아니다"라면서 "데이터 변조가 언론의 자유와 혼동이 된다면 정직과 투명, 논리적 설득이 아니라 거짓말과 술수, 선동이 난무하는 세상이 될 것"이라고 우려를 표했다.

성 명예교수는 또 다른 게시물에선 "Disinformation 정확한 단어를 선택한 미국 부통령 카멀라 해리스"라며 "해리스 부통령이 방한한 자리에서 최근 MBC가 자막을 붙여 송출한 윤 대통령의 바이든 모욕 논란을 disinformation이라 하였는데 정확한 단어 선택이다. 참고로, 엉터리 정보는 두 가지로 쓸 수 있다. 하나는 misinformation(고의성이 없는 실수로 잘못 알려진 정보), disinformation(고의성이 있는, 악의적 엉터리 정보)"라고 했다.

그는 "일부 신문의 논조에는 윤 대통령이 사과하면 될 일이라 하는데, 자막이 없었다면 나도 동의한다"면서 "그런데 자막을 엉터리로 붙인 것은 고의성이 있는 악의적 데이터 조작이다. 국민들의 60%가 바이든으로 들린다 하는데, 내가 어제 설명한 것처럼 이미 자막을 보았기 때문"이라고 주장했다.

그러면서 "자막 조작의 위험을 보여주는 데이터이다. 이러한 disinformation을 통렬하게 비판해야 할 기자들이 윤 대통령 사과론을 주장한다는 것은 참으로 애석하게 생각한다"며 "내용이 거짓은 못보고, 그냥 옷매무새나 시비 거는 꼴이다. 매우 안이한 일이다. Disinformation에 관대한 사회는 결국 선동의 희생양이 된다"고 경고했다.

한편, 성 명예교수는 1955년 서울에서 태어나 서울대 전자공학과를 졸업하고 한국과학기술원(KAIST)에서 석사학위, 미국 캘리포니아주립대 샌타바버라(UCSB)에서 박사학위를 취득했다. 서울대 전기공학부 교수로 30여년 간 근무하고 2020년 8월 은퇴한 후 광주과학기술원(GIST) 인공지능(AI)대학원 초빙석학교수로 자리를 옮겼다. 2018년 '구글 AI 연구 어워즈'를 수상했다. '2015 서울대 공대 백서(부제:좋은 대학을 넘어 탁월한 대학으로)'를 대표 집필했다.

권준영기자 kjykjy@dt.co.kr