다크 데이터 | 보이지 않는 데이터가 지배하는 세상

데이비드 핸드 지음/ 노태복 옮김/ 더퀘스트/ 1만8000원

데이터 만능주의 시대다. 흔히 정보가 많을수록 더 올바른 판단을 내릴 수 있고, 의사 결정에 필요한 데이터는 다 갖고 있다고 생각한다. 하지만 임페리얼칼리지런던 수학과 명예교수이자 세계적인 통계학자인 저자는 우리가 손에 쥔 데이터는 빙산의 일각에 불과하다고 말한다. 그는 우리에게 없거나 우리가 모르는 데이터를 물리학의 ‘암흑물질’에 빗대어 ‘다크 데이터’라 부른다.

다크 데이터는 어디서든 생겨나며 모든 곳에 있다. 그리고 다크 데이터의 정의상 가장 큰 위험은 우리가 그 존재를 모를 수 있다는 점이다. 다크 데이터는 언제 어떻게 생겨나 작동하며, 어느 순간에 우리 뒤통수를 칠까? 또 다크 데이터를 역이용해 올바른 결정을 내릴 방법은 없을까? 저자는 데이터 폭증의 시대에 ‘다크 데이터 관점’이 더욱 중요하다고 역설하며, 다크 데이터의 속성과 결과를 망라해나간다.

전작 ‘신은 주사위 놀이를 하지 않는다: 로또부터 진화까지, 우연한 일들의 법칙’에서 저자는 ‘일어날 가능성이 거의 없는 사건들’의 법칙을 다뤄 세상의 시선을 끌었다. 이번 책에서는 전작의 맥을 이어 의료·제약·행정·사회정책·금융·제조업 등 각 분야의 다크 데이터 현상에 다가간다. ‘우리가 모른다는 것을 아는 데이터’와 ‘우리가 모른다는 것조차 모르는 데이터’들을 대상으로 삼아 빅데이터 시대 문제 해결의 본질적 맹점을 확인하고 보완한다.

다크 데이터 문제의 근본적인 해결책은 데이터의 우주 속 알려지지 않은 어두운 영역들이 우리의 인식을 어떻게 왜곡하는지 파악하는 것이다. 그러면서 ‘데이터가 불완전할 수도 있다’는 것을 인식하지 못한다면, 우리는 지금 세상에 무슨 일이 벌어지고 있는지에 대해 심각한 오해만 얻을 것이라고 경고한다.

책은 다크 데이터로 인해 어떤 위기가 닥쳐올 수 있는지를 다각도로 분석한다. 우주왕복선 챌린저호 폭발 사고부터 복잡한 금융 사기와 AI 알고리즘까지, 현실에서 만날 수 있는 다양한 사례를 면밀하게 파고든다. 이와 함께 ‘모른다는 것’을 역이용해 다크 데이터를 최대한 활용하는 법에 대해서도 알려준다. ‘다크 데이터를 명백하게 밝혀내는 방법(빠진 데이터를 보완하고 채워넣는 법)’에서부터 ‘다크 데이터를 참작하는 방법(오류에 대처하는 법)’ ‘다크 데이터를 실제로 활용하는 방법(무작위 대조군 실험부터 시뮬레이션, 베이즈 사전확률 등)’까지 데이터와 관련해 새로운 시야를 얻고 싶다면 읽어볼 만하다.

[류지민 기자]

[본 기사는 매경이코노미 제2130호 (2021.10.20~2021.10.26일자) 기사입니다]

[ⓒ 매일경제 & mk.co.kr, 무단전재 및 재배포 금지]