[매경이코노미스트] '정직함' 연구자의 통계 조작 역설

하버드 교수 스캔들 일파만파
정직함과 부정행위 실험에서
데이터조작 사실 들통나
지나친 흥미로움, 분명한 통계
그것이 의심을 불렀다

세금 보고나 보험 가입을 하는 경우 정확한 정보 제공을 약속하는 정직 서약을 합니다. 흔히 서명란은 문서 마지막에 놓여 있지만, 만약 문서 맨 위에 있다면 어떻겠습니까? 두 방식은 거짓말과 부정행위를 줄이는 데 차이를 낳겠습니까?

이에 대한 답을 찾기 위해 연구자들은 다음 실험을 고안했습니다. 실험 참가자에게 수학 문제 20개를 5분 내에 풀도록 요청하고 정답 하나당 1달러의 상금을 주기로 약속합니다. 참가자는 스스로 채점하고 시험지를 문서 파쇄기에 직접 넣습니다. 참가자는 아무도 정답 개수를 알 수 없다고 생각하게 됩니다. 참가자는 보고하는 정답 개수에 따라 상금을 받기 때문에 거짓말을 할 인센티브를 가집니다. 하지만 파쇄기는 문서의 가장자리만 자르도록 만들어졌고, 실험자는 실제 거짓말 정도를 확인할 수 있습니다.

참가자는 두 그룹으로 나뉘어, 정답 개수를 보고하는 서로 다른 문서 양식을 받습니다. 한 그룹은 문서 윗부분에 사인하고, 다른 그룹은 문서 아랫부분에 사인합니다. 실험 결과, 두 그룹의 부정행위 차이는 컸습니다. 위에 사인을 한 그룹에서는 37%, 아래에 사인을 한 그룹에서는 79%가 부정행위를 했습니다. 사인을 문서 위에 위치시키니, 거짓말이 크게 줄어든 것입니다.

이 연구는 프란체스카 지노 하버드경영대 교수와 동료들에 의해 이뤄졌습니다. 지노 교수는 정직함과 부정행위에 대한 일련의 연구로 행동과학 분야에서 뛰어난 명성을 쌓았습니다. 최근 지노 교수의 연구가 학계에 엄청난 파장을 일으키고 있습니다. 앞에서 소개한 논문을 포함해 지노 교수의 여러 연구가 데이터 조작 시비에 휩싸였습니다.

행동과학 분야의 또 다른 연구자 세 명, 우리 시몬슨, 조지프 시먼스, 리프 넬슨은 자신들의 블로그 DATA COLADA에 지노 교수의 데이터 조작을 자세하게 폭로했습니다. 정직 서약에 대한 논문에서 실험 참가자의 ID는 순서대로 정렬돼 있지 않고, 중복 ID를 가진 경우도 나타났습니다. 이렇게 의심스러운 데이터를 빼고 살펴보니, 두 그룹 사이의 차이가 분명하게 나타나지 않았습니다. 다른 논문들에서도 데이터 정렬 순서가 이상하거나, 참가자의 인적 사항 물음에 엉뚱한 대답이 기입되기도 했습니다.

지노 교수만 아니라 공동 저자들 역시 모두가 석학이라는 점에서 많은 이들이 충격을 받고 있습니다. 부정행위가 공동 저자와의 담합을 통해 이뤄졌다는 증거는 없습니다. 다만 공저자 중 한 명이고, 또 다른 저명 행동경제학자인 댄 애리얼리 듀크대 교수의 논문에 대해서도 의심이 제기돼 그의 논문은 철회되고 대학 당국의 조사가 진행 중입니다.

이번 사건이 여느 연구 조작 행위보다 크게 회자되는 이유가 있습니다. 첫째, 정직함에 대해 연구하는 학자가 부정행위를 했다는 아이러니 때문입니다. 지노 교수는 자신의 취약함을 기꺼이 감수하는 진정성이 중요한 재능임을 보이는 연구도 많이 했습니다. 둘째, 창의적 질문과 연구 방식으로 명성을 얻은 연구자의 데이터 조작 방식이 상당히 허술했다는 아이러니 때문입니다. 지노 교수의 또 다른 (조작으로 의심되는) 연구에 따르면 창의적인 사람일수록 거짓말을 많이 합니다.

보다 근본적인 아이러니가 있습니다. 지노 교수의 논문 내용은 지나치게 흥미롭고, 논문 결과는 통계적으로 지나치게 분명합니다. 이 점이 지노 교수를 슈퍼스타 연구자로 만들었지만, 동시에 연구 결과가 의심받도록 만들었습니다. 흥미로운 결과일수록 우연히 벌어진 사건이기 쉬운데, 통계적 검증은 조금도 우연일 수 없다고 주장한 것입니다.

[김재수 美인디애나·퍼듀대 경제학과 교수]