[손병채의 센스메이킹] 〈68〉비판 없는 수용이 낳은 AI 함정

손병채 ROC(Reason of creativity) 대표

인공지능(AI)이 접목된 검색엔진들이 백인이 다른 인종들보다 유전적으로 우월하다는 인종차별적인 아이디어를 담은 과거의 연구 내용을 그대로 인용하고 있다는 점이 드러났다. 와이어드(WIRED)의 기사에 따르면, AI가 제공한 해당 결과는 국가별 IQ 지수에 관한 것이었으며, 이 데이터는 미국의 나치 동조자들에 의해 설립된 재단의 회장을 역임한 리처드 린이라는 울스터대 교수의 연구에서 비롯되었다.

반인종차별 단체인 호프 낫 헤이트(Hope Not Hate)의 연구원인 패트릭 허만슨(Patrik Hermansson)은 그의 연구가 오랫동안 백인 우월주의자와 우생학 지지자들에 의해 사용되었음을 지적했다 한다. 이는 구글의 AI 오버뷰와 같이 출처를 명확히 밝히지 않은 채 사용자에게 제공될 수 있다는 점에서, AI가 해당 연구의 의도와는 무관한 사용자들에게까지 이러한 인식과 관점을 극단적으로 확산시킬 위험이 있음을 경고한다.

하지만 이 사례에서 주목해야 할 점은 AI 시스템의 잘못된 정보 제공뿐 아니라, 이를 비판 없이 수용하고 인용해 온 학계의 책임이다. 린의 연구는 처음부터 결함이 많고 편향된 것으로 알려졌지만, 여전히 수백회 인용되었으며, 그 결과가 AI 시스템에까지 영향을 미쳤다. AI는 사실상 학계나 사회가 만들어낸 데이터를 반영하고 있을 뿐이다. AI가 편향된 정보를 제시한 것은 학계와 사회가 이미 잘못된 연구를 권위 있는 것으로 받아들였기 때문이다. 이는 AI의 잘못뿐만 아니라 근본적인 데이터의 문제와 이를 받아들인 학계의 태도에도 책임이 있다는 것을 보여준다.

이처럼 AI 시스템의 사회 보편적 적용과 사용 사례가 늘어나면서 데이터의 비판 없는 수용이 한계를 드러내고 있는 또 다른 사례는 온라인 설문조사에서도 확인된다. 올해 2월 발표된 'AI를 통한 온라인 설문지의 부정행위 탐지' 연구에서는 AI 기반 대형 언어 모델(LLM)이 설문조사에 참여하는 경우 인간은 76%의 정확도로 AI 작성 텍스트를 식별했으나 여전히 신뢰할 만한 수준에는 미치지 못했다. 또, 자동 AI 탐지 시스템은 효과가 거의 없음이 확인되었다. 해당 연구는 온라인 설문조사 데이터의 품질이 AI의 발전과 더불어 심각한 위협을 받고 있음을 지적하며, 자동화된 탐지 시스템을 통해 AI 생성 응답을 걸러내는 것은 현재로서는 불가능하다고 밝혔다. 이는 온라인 설문조사를 연구에 사용하는 학계를 넘어, 전 세계적으로 기업이 투자하는 연구개발(R&D) 과정에서 흔하게 사용되는 연간 2조달러 규모의 조사 방법론 중 하나라는 점에서 예상되는 왜곡된 데이터 셋의 결과가 미칠 영향은 우려할 만하다. 특히 기업이 세상을 바꾸는 한 축이라는 점에서 그 중요성에 더 관심을 쏟아야 한다.

이런 점들은 AI 시대의 가장 큰 역설 중 하나다. 사람과 사회의 변화를 예측하는 것은 AI의 주요 목적이지만, 그 한계와 오류가 갈수록 분명해지고 있다. 차별화를 원하는 기업은 AI가 알려주지 않는 예상치 못한 변화와 이상값을 파악할 수 있어야 한다. 반면 이를 위한 기존 데이터 수집 및 분석 방법론은 점점 힘을 잃고 있다. 설문조사 방법론을 제시한 사회과학자 또한 처음부터 해당 연구 방법론의 한계를 명확히 밝혔으나 수십년간 경영학에 기반한 기업 리서치는 이를 비판 없이 수용해 왔고, 기업은 고객이 아닌 인간을 이해하기에는 너무 불완전한 데이터임에도 이를 적극적으로 받아들이고 활용해 왔다. 그리고 이제 그마저도 AI 시스템에 의해 그 어느 때보다 명확한 한계를 맞이하고 있다. 다시 말해 데이터 수집 방법 도구를 업그레이드하고, 새로운 접근을 모색해야 할 때다.

첫째, 인간 관찰의 중요성을 다시 강조해야 한다. 실제 환경에서의 행동을 관찰하고 그 맥락을 이해하는 연구가 필요하다. 둘째, AI와 인간의 협력적 분석이 필요하다. AI는 대규모 데이터의 패턴을 찾아내고, 인간은 이를 맥락적으로 해석하여 더 깊이 있는 인사이트를 도출할 수 있다. 셋째, 디지털 민족지학과 같은 새로운 방법론의 도입이 필요하다. 온라인과 오프라인을 아우르는 인간 행동의 복합적 맥락을 파악하는 것이 AI 시대에 더욱 중요해질 것이다.

결국, 비판 없는 수용의 시대는 끝나야 한다. AI가 드러낸 것은 단순한 기술의 한계가 아닌, 우리가 오랫동안 간과해 온 학계의 검증과 평가의 실패, 그리고 기업이 인간을 잘못 이해하며 데이터를 무비판적으로 활용해 온 소위 방법론적 문제다. 우리는 단지 기술의 발전만을 문제 삼을 것이 아니라, 학계와 기업 모두에서 잘못된 데이터를 비판적으로 검토하고 검증하는 새로운 연구 방법론을 개발해야 한다. 더 이상 편의성과 효율성만을 추구하는 것이 아닌, 진정한 인간 이해를 위한 새로운 도구와 접근이 필요하다. 이것이 AI 시대에 우리가 해결해야 할 가장 시급한 과제다.

손병채 ROC(Reason of creativity) 대표 ryan@reasonofcreativity.com