생성AI, 과학논문 쏟아낸다…“동료평가 시스템 이미 망가져”

과학논문 작성하는 AI 등장

스탠퍼드 ‘스톰’, 사카나AI ‘AI과학자’

주제·개요 제시하면 ‘과학논문’작성

신뢰도 위해 주장·인용 출처도 제시

여러 AI간 토론·대화 ‘원탁토론’구현

“AI로 저질논문 양산 과학발달 저해”

오픈AI의 이미지 생성프로그램 달리( Dall·E)를 통해, 생성AI가 과학논문을 생성하는 모습을 묘사하게끔 해서 만들어진 이미지.

주제어와 개요만 제시하면 눈깜짝할 새 과학 논문을 작성해주는 생성 인공지능 서비스가 잇따라 등장함에 따라 과학계의 연구와 논문 발표 환경에 충격이 던져졌다 . 새로운 과학적 사실을 발견하고 연구하는 일은 문명을 발전시키온 동력으로 , 뛰어난 두뇌와 오랜 노력 , 거대한 자원이 요구되는 작업이었다 . 생성 인공지능이 인류의 가장 고등한 행위인 과학연구에 들어오면 어떻게 될까 ?

스탠퍼드대학 ‘ 오픈 버추얼 어시스턴트 랩 (OVAL)’ 연구진은 지난 7월 논문 자동작성 프로그램을 공개했다 . ‘ 다양한 관점의 질문 생성과 검색을 통한 주제·개요 작성 ’ 시스템이라는 의미의 ‘ 스톰 (STORM) 서비스는 인터넷 검색을 기반으로 주제를 입력하면 약 30쪽 의 논문급 리포트를 작성해준다 .

스톰은 논문 아이디어 창출과정, 동료 검토 등 과학계의 논문 작성 관행을 모방해 구조화했고, 투명성과 신뢰성을 확보하고자 했다 . 스톰은 위키피디아를 비롯해 평판 높은 출처의 자료 검색에서 시작한다 . 단 순히 복사해 붙여넣는 게 아니라 , 관련 정보를 분석 · 추출 · 종합해 일관된 구조로 만들어낸다 . 논문 개요 작성 뒤엔 흥미로운 과정이 진행되는데, 단순히 글을 쓰는 게 아니라 대화를 시작한다 . 스톰은 주제에 대해 각각 다른 관점을 대변하는 여러 인공지능 서비스간의 대화를 만들어낸다 . 전문가들의 원탁토론과 비슷하지만 , 모든 참여자가 인공지능이다 . 이후 논문 작성 과정에서 스톰은 적절하고 정확한 인용을 추구한다 . 생성된 문장의 인용이 제시돼 독자는 출처를 확인할 수 있다 . 스톰은 인용 정확도가 85.18% 라고 밝히고 있다 . 스톰에서 30 쪽 분량의 논문급 리포트가 작성되는 데 걸리는 시간은 최대 3 분이고 , 무료다 .

일본의 인공지능 스타트업 ‘ 사카나 AI’ 는 지난달 과학연구를 자율수행할 수 있는 인공지능 서비스 ‘AI 과학자 (AI Scientist)’ 를 개발했다고 공개하며 논문을 ‘아카이브 (arXiv)’ 에 실었다 . ‘AI 과학자 ’ 는 거대언어모델(LLM)을 사용해 과학 논문을 자동생성하는 서비스로 , 스탠퍼드대 스톰과 유사한 구조다 . 논문 방향을 제시하면 사람 개입없이 연구 아이디어를 제안하고 필요한 코드를 작성해 실험을 실행한 뒤 결과를 요약해 과학 논문으로 작성하는 일을 자동 수행한다 . 또 논문에 대한 평가 , 피드백 작성 , 동료 검토 절차를 도입해 생성된 논문을 거의 사람 수준의 정확도로 평가할 수 있다는 게 사카나 AI 의 설명이다 . 거대언어모델이 브레인스토밍 , 유망 아이디어 선택 , 알고리즘 코딩 , 결과 추출 , 실험·결과 요약, 논문 작성 , 참고문헌 등의 절차를 순차적으로 수행한다. 연구진에 따르면 ‘AI 과학자 ’ 가 논문 한편을 작성하는 데 필요한 컴퓨팅 비용은 15 달러 ( 약 2 만원 ) 정도다 .

인공지능의 과학 논문 작성 배경엔 두 요인이 있다. 하나는 거대언어모델의 성능 개선이고 다른 하나는 논문 공유 문화의 확산이다 . 생성 인공지능은 이미 글쓰기 , 그림그리기 , 작곡하기 , 프로그래밍 등 다양한 영역에서 사람을 뛰어넘는 수준의 결과물을 만들어내고 있다 . 과학 논문이라고 무풍지대가 아니다 .

스탠퍼드대학의 OVAL 연구진이 지난 7월 공개한 논문 자동작성 프로그램 ‘스톰(STORM)’의 작동 구조. 과학자들의 연구문제 설정, 자료 조사, 브레인 스토밍과 토론, 초안작성, 결론, 참고문헌 제시 등 일련의 논문 작성 과정을 모방하는 구조로 설계됐다.

과학 연구가 점점 더 공개적으로 진행되고 있으며 , 수백만 개의 과학 논문이 논문공유 사이트 (arXiv, PubMed 등 ) 에서 온라인으로 무료 제공된다 . 거의 모든 과학 지식은 어딘가 기록되어 있고 , 접근가능한 상태다 . 생성형 거대언어모델이 이런 자료를 기계학습하면 , ‘ 좋은 과학 논문 ’ 처럼 보이는 것들을 얼마든지 생성해낼 수 있다 .

그런데 아무리 뛰어나고 부지런한 연구자라 해도 해당 분야에서 쉴새없이 쏟아져나오는 과학 논문을 과거처럼 검토하고 비평하기란 거의 불가능해졌다 . 인공지능의 도움을 받지 않거나 , 인공지능 논문에 대한 부정적 견해를 가진 과학자라고 해도 자신의 연구와 동료 연구 검토 작업에서 인공지능으로부터 자유로울 수 없다.

인공지능이 논문을 자동생성하는 상황은 과학계에 어떠한 영향을 끼칠까 ? 로열 멜버른 공과대 (RMIT) 학장이자 오스트레일리아 의료인공지능연합 창립자인 카린 버스퍼는 지난달 20 일 ‘ 컨버세이션 ’ 기고에서 이에 대한 우려를 제기했다 . 버스퍼는 “ 인공지능이 생성해낸 논문이 과학계에 넘쳐나게 되면 미래의 인공지능 시스템은 인공지능 결과물을 학습해 모델 자체가 무너질 것 ” 이라고 경고했다 . 이미 과학계에는 가짜 논문을 만들어내는 도구와 사용자들이 있는데 , ‘ 스톰 ’ ‘AI 과학자 ’ 같은 프로그램은 문제가 더 악화시킬 것이라는 지적이다.

인공지능이 자동 생성하는 수많은 연구 결과에서 오류를 확인해야 하는 일은 결국 사람의 일이 된다 . 아무리 검증 과정에 인공지능을 활용한다고 해도 , 최종 결과물에 대한 진위와 신뢰성 판단 , 게재 여부 판단 등은 사람의 몫이다. 문제는 이런 일들이 인간 과학자의 역량으로 처리할 수 없는 규모로 확대되고 있다는 점이다 . 버스퍼 학장은 “ 과학계의 동료평가 시스템은 이미 망가졌으며 , 품질이 의심스러운 연구를 더 많이 쏟아낸다고 해서 문제가 해결되지는 않을 것 ” 이라고 경고했다 . 인공지능 생성 논문은 기존 과학계의 연구개발과 검토 시스템에 부정적 영향을 가져와 결과적으로 과학의 혁신과 발달을 저해할 것이라는 우려가 커지고 있다 .

구본권 사람과디지털연구소장 starry9@hani.co.kr