[사이언스프리즘] 인공지능과 검색엔진

챗GPT가 등장하자 사람들은
검색엔진의 시장입지 축소 전망
데이터 기반으로 구동되는 AI
검색엔진 필요성 더욱 증대시켜

2022년 말 챗지피티(ChatGPT)가 등장하자 수많은 전문가와 평론가가 미래 정보기술(IT) 산업이 인공지능(AI)으로 인해 어떻게 변화할지 의견을 말했다. AI에서 구글에 밀리던 마이크로소프트가 다시금 날개를 펼 것이라는 의견부터 구글 검색엔진의 지위도 흔들릴 수 있다는 예측이 있었다. AI가 대답을 잘해주니 검색엔진의 필요가 줄어들 것이라는 논리이다. 하지만 2025년 시점에서는 적어도 후자의 의견대로는 흘러가지 않은 것으로 보인다. 마이크로소프트의 검색엔진 점유율은 2023∼2024년에도 3∼5%였다. 어째서 AI는 검색엔진에 영향을 끼치지 못하는 것일까?

현재 구동되는 AI는 영화 터미네이터의 스카이넷(SkyNet)과 같은 전지전능한 존재가 아니다. 메모리에 상주하는 프로그램일 뿐이다. 챗지피티 등장 이전의 대화 AI보다는 더욱 인간처럼 답하고 다양한 상식을 가지고 있기는 하지만 완벽하지는 않다. 때로는 틀린 말을 당연하다는 듯이 하는 환각(Hallucination) 현상이 사용자를 당혹하게 만들기도 한다. 그래서 AI를 개발하는 회사와 AI를 사용해 새로운 서비스를 만드는 회사들은 위와 같은 한계를 염두에 두고 서비스를 개발한다.

정인성 작가

이를 위한 대표적인 방법이 바로 AI와 검색엔진의 결합이다. AI에 직접 질문에 대한 대답을 요구하는 대신, AI에 인터넷 검색 결과를 보여준 뒤 그중 신뢰성 높은 답변을 추려내어 요약해 달라고 요청하는 것이다. AI 입장에서는 글을 영작해 질문에 답하는 일이, 건네받은 문건을 요약해 답을 추려내는 작업으로 바뀐 셈이다. 인간에게도 AI에도 영작보다는 추려내기가 훨씬 쉽다. 이러한 AI 응용방식을 검색증강생성(RAG)이라고 부르며, 이를 통해 서비스하는 기업의 대표적인 예가 퍼플렉시티(perplexity)이다. AI를 개선하여 환각 현상을 없앤 것이 아니라 환각을 일으키지 않는 작업을 시키는 셈이다.

그런데 여기서 문제가 생긴다. AI도 결국 인터넷 검색엔진 앞에서는 조금 똑똑한 사람 한 명과 다를 바가 없다. 세상 모든 이치를 알고 있는 것이 아니기에 검색엔진에 의지해야 하는데, 질문 하나에 답변하기 위해 인터넷에 떠도는 모든 문건을 읽어볼 시간과 자원은 없다. 결국 RAG 기술을 적용한 AI 역시 우리가 그렇듯 검색엔진의 상위 검색 결과를 몇 개 살펴본 뒤 답을 하는 수밖에 없다. 이로 인해 AI가 질문에 답을 잘하려면 검색엔진 자체의 성능이 높아져야만 한다. AI로 인해 검색엔진 시장 판도가 바뀔 것이라는 예상의 반대로 흘러가는 셈이다.

실제로 RAG 기반의 AI에 “D램 제조에서 PLC 공정이 무엇이냐” 혹은 “What is PLC test in DRAM” 등의 질문을 해 보면, “Pre Laser Cold”라는 정답을 얻어내기는 쉽지 않다(이 문장의 의미는 중요치 않다). 정답을 아는 상태로 검색어를 바꿔가며 직접 검색엔진을 사용해 봐도 잘되지 않는다. 사용빈도가 낮은 전문용어이기 때문에 검색엔진이 잘 찾지 못하는 것이다. 독자들에게 이 용어가 낯설게 느껴지는 만큼, 검색엔진에도 AI에도 낯선 용어인 셈이다.

이런 특징은 우리에게 많은 생각할 거리를 안겨준다. 가장 중요한 것은 AI 시대에 살아남기 위해서는 AI를 맹신하기보다는, AI 자체의 동작 구조를 조금 더 이해해야 한다는 것이다. 만약 위와 같은 사실을 모른 채, AI가 해주는 답변을 맹신하다 보면 99% 상황에서는 문제가 없더라도 정말 중요한 1% 상황에 큰 문제가 생길 수 있다. AI 관련 회사 역시 마찬가지이다. 세상의 부가가치를 담당하는 중요한 지식 상당수는 인터넷에 기록되어 있지 않다. 이는 현재 2위인 AI 회사가 데이터 파트너를 잘 만남으로써 1위를 탈환할 수 있다는 의미이다. 챗지피티 등장으로 AI가 모든 문제를 해결해 주는 시대가 온 것이 아니다. 늘 그래 왔듯 우리 모두 끊임없이 새로운 것을 배워 장점은 살리고 단점은 개선해 나가야 한다.

정인성 작가