데이터를 모으고 쌓으면 된다고요?… AI 경쟁력은 ‘구조화’에 달렸다[맹성현의 AI시대 생존 가이드]

AI 도입의 본질, 지식망의 설계

맹성현 태재대 부총장·KAIST 명예교수

《“마누라와 자식 빼고 다 바꿔라.” 1993년 고 이건희 삼성 선대 회장이 ‘신경영 선언’을 하며 밝힌 이 말은 삼성을 오늘날 반도체 제국으로 만든 변화 철학의 상징이다. 그런데 최근 경영진을 향해 “인공지능(AI) 혁신에 동참할지, 사임할지 스스로 결정하라”고 한 사티아 나델라 마이크로소프트(MS) 최고경영자(CEO)의 말은 그보다 더 냉혹하다.
바꾸거나 떠나거나, 선택지는 둘뿐이다. 2500년 전 “변하지 않는 것은 모든 것이 변한다는 사실뿐”이라는 고대 철학자 헤라클레이토스의 선언처럼 변화는 세상의 본질이지만 AI로 인한 변화는 그 어떤 시대보다 빠르고 근본적이다.》

잠깐 역사 속으로 들어가 보자. 19세기 아편전쟁에서 청나라와 영국은 모두 화약과 대포를 만드는 기술을 갖고 있었다. 그러나 전장을 가른 것은 포의 보유 여부가 아니라 그것을 어떻게 운용하느냐에 관한 ‘지식의 구조’였다. 이 차이가 결국 한쪽에 패배를 안겼다.

더 거슬러 올라가면 비슷한 장면이 또 있다. 바빌론과 이집트는 수천 년 동안 밤하늘을 관측하고 계산 결과를 축적했지만, 그 지식은 주로 경험과 실무의 기록에 머물렀다. 반면 그리스는 몇 가지 공리에서 기하학을 연역해 내며 경험을 추상화했고, 원리와 구조로 세계를 이해하는 방식을 발전시켰다.

AI 시대에 이 구도가 재현되고 있다. 최신 AI 기술이 생산성 향상 효과를 내고 있음은 분명하다. 그러나 일관된 결과나 확실한 결론을 기대할 수 없는 것처럼 한계도 점점 선명해지고 있다. 거대언어모델(LLM)은 인류 지식의 방대한 통계적 압축이지만, 재현 가능한 원칙으로 운용되기 어렵다. AI를 써 본 사람이라면 사실이 아닌 내용을 그럴듯하게 말하는 ‘할루시네이션(Hallucination·환각 현상)’을 한 번쯤 경험해 봤을 터다. 확률적 변이를 본성으로 가진 LLM은 일관성과 예측 가능성이 생명인 실제 업무에서 취약할 수밖에 없다. 데이터를 많이 쌓는 것만으로는 이 벽을 넘을 수 없다.

이를 벗어날 핵심 열쇠가 지식을 구조화하는 ‘온톨로지’다. 철학의 ‘존재론(ontology)’에서 출발한 개념으로, 기업의 세계를 정의하는 설계도 격이다.

“우리 회사에서 ‘고객’은 무엇이고, ‘계약’은 무엇이며, 둘은 어떤 관계인가.” 온톨로지는 이렇게 개념과 관계, 규칙을 명시적으로 정의하는 것이다. 이를 바탕으로 체계적으로 데이터를 쌓으면 단순한 숫자 더미가 아닌 의미 있는 지식의 네트워크가 된다. 이 구조 위에서 AI는 비로소 ‘우리 비즈니스를 이해하는’ 존재로 거듭난다. LLM이 그럴듯한 답을 내놓는다면, 온톨로지 기반 AI는 검증된 경로를 따라 추론한 답을 내놓는다. 실험실의 데모를 넘어 실제 현장에서 믿고 맡길 수 있는 AI가 탄생한다.

미국의 AI 기업 팔란티어는 이 원리를 20여 년간 수천 개 기업과 정부에 이식했다. 팔란티어의 성장 비결은 단순하다. 기업의 데이터를 숫자나 표가 아닌 현실 세계의 개념과 관계로 재정의한다. 그 구조가 조직에 깊숙이 뿌리를 내린 상태에서 AI는 단순 도구가 아니라 조직 전체의 신경망을 이해하는 지능이 된다. 고객 기업에서 이런 구조가 한 번 내재화되면 그것을 걷어내고 재구축하는 비용이 너무 크다. 이 때문에 팔란티어의 고객 유지율은 98%에 이른다. 좋은 제품을 넘어 조직의 뼈대가 되는 것, 이것이 팔란티어가 만들어낸 진짜 해자(垓子·경쟁 기업이 쉽게 따라잡기 어려운 기술 및 자원 기반의 경쟁 우위)다.

여기서 우리가 배울 핵심이 있다. 팔란티어의 성공은 AI 도입의 본질이 조직 구조의 변혁을 이뤄내는 데 있음을 보여 준다. AI를 활용해 기존 업무의 효율화를 꾀하는 것은 출발선일 뿐이다. 진짜 경쟁력은 조직이 가진 지식과 프로세스를 구조화하고, 그 위에 AI를 올려 조직을 재구성해 전체의 역량을 확장하는 것에서 나온다. 부분적·단발적 생산성 향상이 아닌 구조 기반의 진정한 확장, 그것이 이 시대에 기업과 개인 모두에게 요구되는 전략이다.

구조화는 단순히 질서를 부여하는 작업이 아니다. 그리스인들이 경험을 추상화했을 때 기하학이 탄생했듯, 구조화는 곧 추상화이고 추상화는 새로운 아이디어의 토양이다. 기업이 자신의 지식을 구조화할수록 패턴이 보이고, 패턴에서 통찰이 생기며, 통찰에서 혁신이 피어난다. 데이터의 중요성을 모르는 기업은 이제 없다. 하지만 데이터를 쌓는 것과 데이터로 생각하는 것은 전혀 다른 일이다. AI 시대의 창의성과 혁신은 더 많은 데이터뿐 아니라 더 잘 구조화된 사고와 이를 실행으로 연결하는 능력에서 비롯된다.

구조가 없으면 데이터는 소음이다. 소음으로는 전쟁에서 이길 수 없다는 사실을 이미 아편전쟁이 우리에게 가르쳐 줬다. AI라는 화약과 대포는 모두의 손에 들려 있다. 정확한 조준 없이 쏘는 대포는 아군도 맞힐 수 있다. 기업이 보유한 전문영역의 지식과 경험이 담긴 데이터를 어떻게 구조화하고, 그 위에서 AI를 어떻게 작동시키며, 어떻게 조직의 구조적 변혁을 이룰 것인가에 대한 답이 이 시대의 승부를 가를 것이다.

맹성현 태재대 부총장·KAIST 명예교수