‘중국 댓글 공작’ 카이스트 논문, ‘시드 계정’ 출처 거짓 표기

국민의힘 지도부의 “외국 세력 선거 개입” 주장을 뒷받침하고, “사회 갈등을 부추기는 외국의 여론 조작 세력이 있다”는 대대적 언론보도를 이끌어낸 카이스트 논문. 앞서 뉴스타파는 지난 8월 세상을 떠들썩하게 했던 카이스트 논문이 실은 국정원의 의뢰와 자료 제공에서 시작됐다고 보도했다. (관련 기사 : '중국 댓글 공작' 카이스트 논문, 국정원 발주 연구 용역에서 나왔다)

그런데 카이스트 연구진이 자료 출처를 거짓으로 표기한 사실이 확인됐다. 국정원의 자료 제공을 숨기고 마치 이미 공개된 자료를 활용한 것처럼 표현한 것이다.

카이스트 논문 속 ‘시드 계정’ 출처=국정원, 왜 숨겼나

지난 8월, 카이스트와 독일 막스플랑크 공동연구진(이하 카이스트 연구진)은 네이버 뉴스 댓글 1억여 건을 분석해 외국 세력과 연계된 활동이 의심되는 계정 약 2만 4천 개를 찾아냈다고 발표했다. 논문 제목은  ‘Cross-National Information Attacks : A Two-Decade Analysis of Troll Behavior in Korea(국경을 넘는 정보 공격 : 한국 내 트롤 계정 활동에 대한 20년 분석)’이다.

카이스트 연구진이 외국 세력 의심 계정을 찾아내기 위해 출발점으로 삼은 건 70개의 이른바 ‘시드(seed) 계정’이었다. 70개의 시드 계정은 평균 5천 개 이상의 댓글을 작성했는데, 댓글의 내용은 주로 한국을 비난하거나 특정 국가를 찬양하고, 사회 갈등을 유발하는 내용이었다. 

연구진은 70개의 시드 계정이 작성한 댓글의 특징을 AI에 학습시켜 시드 계정과 연결되어 있거나 유사한 특징을 가진 계정 2만 4천여개를 찾아내 ‘외국 연계 계정’으로 분류했다.

카이스트 연구진은 시드 계정 70개를 연구 출발점으로 삼았다. 이후 70개 계정이 작성한 댓글의 특징을 AI로 학습시켜 '외국 연계 계정' 2만4천 개를 찾아냈다.

따라서 최초의 시드 계정 70개의 진짜 출처가 어디인지, 혹시 연구진이 자의적으로 추출한 것은 아닌지는 연구 전체의 신뢰도를 좌지우지하는 핵심적인 문제다. 

카이스트 “전략연이 공개한 70개 계정”이라는데... 전략연 보고서엔 목록 없어

논문에는 이 시드 계정들이 국가안보전략연구원(이하 전략연)이 ‘외국의 영향력 활동 실태’라는 보고서에 공개한 계정이라고 밝히고 있다. 전략연은 비영리 사단법인이지만 국정원의 예산을 지원받는 연구기관이다.

카이스트 연구진은 논문에서 "한국 국가안보전략연구원(전략연)이 공개한 검증된 트롤 계정 70개를 출발점으로 삼았다"고 밝혔다. 

전략연 홈페이지에 들어가보니 논문에서 밝힌 보고서 ‘외국의 영향력 활동 실태’가 게시돼 있었다. 그러나 보고서를 확인한 결과, 카이스트가 공개됐다고 밝힌 70개 계정의 목록은 어디에도 보이지 않았다.

그렇다면 카이스트 연구진은 논문의 출발점이 된 70개 계정을 어디에서 확보한 걸까.

앞서 뉴스타파는 국정원이 윤민우 교수팀 등에 두 차례 선행 연구를 맡겨 의심 계정 102개를 확보했고, 이후 카이스트에 ‘중국의 대인지전에 대응할 AI 자동탐지 모델’을 개발해달라는 용역을 맡기면서 이 102개의 계정을 전달했다고 보도했다. 국정원도 이같은 사실을 인정했다. 

그렇다면 의문이 생긴다. 국정원이 전달한 102개 계정과 논문의 출발점이 됐다는 70개 계정은 어떤 관계가 있는 걸까. 카이스트 연구팀을 이끈 이원재 교수는 “국정원이 전달한 102개 계정 중 몇 개를 빼고 더해 국정원 계정은 결과적으로 수십 개 정도 사용했다”고 말했다.

○기자 : 국정원 얘기는 국정원 인지부서에서 자기들이 계정 102개를 직접 전달을 했다고 그러거든요.
●이원재 교수 : 그 102개를 저희가 쓴 게 아니라니까. 저희가 검사를 해서 오류가 난 거를 다 제거하고 새로 일부를 더 해서... (중략) 거기서 뭐 교집합으로 따지면 몇 십 개 안 될 거예요.
- 이원재 카이스트 교수(전화 통화)

그렇다면 논문에는 왜 전략연에 의해 공개된 계정 70개를 사용했다고 출처를 적었을까.

○기자 : 그러면 전략연에 공개된 계정으로 사용했다고 (출처를) 적으신 건 어떤 이유 때문일까요?
●이원재 교수 : 그 연구 결과가 어디서 뭘 찾아보셨는지 모르겠지만 어딘가에 있거든요. 그 무슨 연구 보고서 같은 걸로 나온 것들이 있을 거예요. 거기서 저희가 참고를 했다는 거고. 어딘가에 공개가 돼 있을 겁니다. 뭐 처음에 최초는 한 50개 그거를 저희가 이용한 거고 그다음부터는 ‘NDA(국정원과의 비밀유지계약)’.
- 이원재 카이스트 교수(전화 통화)

뉴스타파는 이 교수에게 논문에 출처로 표기한 전략연 보고서 외에 어떤 공개된 자료가 있는지 제시해달라고 요청했지만 보도 시점까지 이 교수는 공개된 출처를 제시하지 않았다. 연구 내용의 타당성과 별개로, 최소한 출처를 거짓 표기했다는 지적은 피하기 어려워 보인다.

연구윤리 전문가 “카이스트 논문은 ‘위조’ 행위 해당”

연구윤리 전문가들은 카이스트 논문이 ‘위조’에 해당할 수 있다고 말한다. 이인재 서울교대 교수는 “없는 데이터를 마치 있는 것처럼 허위로 표시했기 때문에 연구 윤리 위반 ‘위조’ 행위”라고 지적했다.

실제로 확인해 보니까 ‘전략연에 공개된 데이터의 내용을 보고서에서 인용했다’라고 하는 것이 지금 없는 거 아니겠습니까? 그러니까 이럴 경우에 독자들은 인용된 데이터가 ‘실제로 존재한다’라고 보고 있는 건데 나중에 확인해 보니까 없는 거거든요.

그러니까 연구자 입장에서는 없는 데이터를 마치 있는 것처럼 허위로 독자들에게 표시를 했기 때문에 이것은 연구 윤리 위반에서 보게 되면은 ‘위조’입니다. 위조는 실제하지 않는 데이터를 마치 존재하는 것처럼 허위로 발표하는 것이기 때문에 거기에 해당될 여지가 있어 보입니다.
- 이인재 서울교대 교수

카이스트 논문은 미국 유스닉스(USENIX) 정보보안학회의 심사를 통해 발표됐다. 유스닉스 학회는 논문 검증을 위한 연구 자료 지침을 두고 있다.

유스닉스(USENIX) 학회는 논문 검증을 위한 의무 제출 연구 자료 지침을 두고 있다. (출처 : 유스닉스 홈페이지)

실제로 카이스트 논문은 학회에 데이터와 코드를 제출하고 학회가 이를 재현하는 재현성 검사를 통과했다. 그러나 이미 선별된 70개의 계정을 가지고 똑같은 결과를 재현하는 것과 그 70개의 계정을 애초에 어떻게 선별했는지는 별개의 문제다.

카이스트 연구진 “전략연 계정 가공하고 선별해서 연구”

그런데 카이스트 이원재 교수는 이 70개의 계정을 연구진이 가공하고 선별했다는 취지로 말했다.

시드 계정은 50개였고 저희가 가공해서 만든 건 70개인데, 50개를 포함한 70개를 한 것도 아니고 50개에서 잘못 나온 것들을 다 제거를 하고 저희가 새로 더해서 70개를 만들어서 그걸 가지고 연구를 해가지고...
- 이원재 카이스트 교수(전화 통화)

 논문에서 이 70개 시드 계정에 대해 어떻게 적었는지 다시 보면, “한국 전략연이 공개한 검증된 트롤 계정 70개를 출발점으로 삼아”라고 표현했다.

그러나 이 교수의 말처럼 이 70개의 계정은 ▲전략연이 공개한 것도 아니고, 따라서 ▲공개적으로 검증된 것도 아니었다. 국정원이 카이스트 연구팀에 건넨 102개의 계정 가운데 연구팀이 자신들만의 기준으로 선별하고 가공해 만들어낸 계정이었다.

자료의 출처를 허위로 표기하는 건 후속 연구에도 영향을 미칠 수 있는 연구 부정행위다. 연구윤리 전문가인 이인재 서울교대 교수는 출처가 부정확한 자료가 검증된 근거로 받아들여지면, 이를 인용할 수 있는 후속 연구에도 오류가 이어질 수 있다고 지적했다. 이 교수는 “없는 데이터를 있는 데이터로 간주하고서 연구를 하면 나중에 그 기반이 무너져서 후속 연구들이 연쇄적으로 무너진다”고 말했다.

취재진은 미국 유스닉스 정보보안학회 측에 카이스트가 70개 계정의 출처를 제대로 밝혔는지, 학회는 이에 대한 검증을 했는지 물었다. 학회는 “개별 논문에 대해서는 저자에게 질문하라”는 답변만을 보내왔다.

<국정원-카이스트 연구용역 연속 보도>

①'중국 댓글 공작' 카이스트 논문, 국정원 발주 연구 용역에서 나왔다
② ‘중국 댓글 공작’ 카이스트 논문, ‘시드 계정’ 출처 거짓 표기

촬영 : 김희주 최형석 김민성
편집 : 정지성
C.G. : 정동우
디자인 : 이도현
출판 : 임승은

뉴스타파 박종화 bell@newstapa.org