"RIP, SW 엔지니어"…세계 첫 AI 개발자 '데빈' 뭐길래

코그니션 랩스, 자율형 AI 소프트웨어 엔지니어 '데빈' 공개…벤치마크서 'GPT-4' 능가

(지디넷코리아=장유미 기자)"RIP(Rest In Peace) 소프트웨어 엔지니어, 컴퓨터 공학 전공자들. '데빈'이 어쩌면 (앞으로) 기술 산업 전체를 대체할 지도 모릅니다."

6년 이상 암호화폐 투자자로 활동했던 32세 기업가 올레 레만(Ole Lehmann)이 최근 자신의 소셜 미디어 계정에서 이처럼 말했다. 새로운 인공지능(AI) 소프트웨어 엔지니어가 등장했기 때문이다.

15일 블룸버그 통신 등에 따르면 코그니션 랩스는 지난 12일(현지시간) 세계 최초 자율형 AI 소프트웨어 엔지니어 '데빈(Devin)'을 공개했다. 코드를 제안하고 일부 작업을 완료할 수 있는 단순 코딩 도우미가 아니라 사람의 개입 없이 자체적으로 전체 프로젝트를 자동 완료할 수 있는 완전 자율 'AI 에이전트'다.

코그니션 랩스가 AI 소프트웨어 엔지니어 '데빈'을 공개했다. (사진=코그니션 랩스)

코그니션은 피터 틸의 파운더스 펀드와 트위터 임원 엘라드 길, 도어대시 창립자 토니 슈와 같은 거물들의 지원을 받고 있는 AI 스타트업이다. 스캇 우 최고 경영자(CEO)와 스티븐 하오 최고 기술 책임자, 월든 얀 최고 제품 책임자가 함께 설립한 이곳은 지금까지 누적 2천100만 달러(약 2천800억원)의 자금을 마련한 것으로 알려졌다.

데빈은 마이크로소프트(MS)의 깃허브 코파일럿과 같이 엔지니어에게 단순히 기본 코드를 작성하거나 스니펫을 제안할 수 있는 코딩 도우미와는 다르다. 전체 소프트웨어 프로젝트를 스스로 맡아 완료한다는 것이 차별점으로 꼽힌다.

만약 "시드니의 모든 이탈리아 레스토랑을 매핑하는 웹사이트를 구축하라"고 지시하면 데빈은 검색을 수행해 레스토랑을 찾고 주소, 연락처 정보를 얻은 다음 정보를 보여주는 사이트를 제작하고 게시한다.

또 사용자가 자연어 명령으로 작업 요청을 하면 데빈은 문제를 해결하기 위한 상세한 단계별 계획을 개발한 다음 개발자 도구를 사용해 코드를 작성하고 문제를 스스로 수정하면서 작업을 완료한다.

더불어 작업을 진행하면서 계획에 대해 알려주고 사용 중인 명령과 코드, 테스트 결과 등의 진행 상황을 사용자에게 실시간으로 보고한다. 사용자는 문제를 발견하면 데빈에게 문제를 해결하라는 메시지를 보낼 수 있다.

데빈은 기본적인 코딩 작업을 포함해 광범위한 영역에서 능력을 발휘한다. 앱이나 웹사이트 배포 및 개선부터 코드베이스의 버그 찾기 및 수정에 이르기까지 여러 개발 프로젝트를 처리할 수 있다. 깃허브 리포지토리를 사용해 대형언어모델(LLM)에 대한 미세 조정을 설정하거나 익숙하지 않은 기술을 사용하는 방법을 배울 수도 있다.

깃허브는 오픈 소스 프로젝트에서 발생한 문제로 한 SWE 벤치마크 테스트에서도 우수한 해결 능력을 보였다. 데빈은 사람의 도움 없이 13.86%의 사례를 정확하게 끝까지 해결했다. 반면 '클로드 2'는 4.80%, 'SWE-라마-13b'와 'GPT-4'의 문제 해결 능력은 각각 3.97%와 1.74%에 그쳤다. 다른 모델들은 심지어 어떤 파일을 수정해야 하는지 알려줘야 했다.

코그니션은 이 성과를 어떻게 달성했는지, 자체 독점 모델을 사용하는지, 제3자의 모델을 사용하는지 등을 밝히지 않았다. 다만 오픈AI의 GPT-4와 같은 LLM을 '강화 학습' 기술과 결합하는 독특한 방법을 발견했다고 말했다. 또 코그니션은 "코딩은 시작에 불과하다"라며 다른 분야에 유사한 AI 에이전트를 출시할 가능성을 암시했다.

현재 데빈은 일부 사용자에게만 조기 액세스를 제공하고 있으며 이메일을 통해 연락해 권한을 얻을 수 있다.

스캇 우 코그니션 CEO는 "AI가 프로그래머가 된다는 것은 복잡한 결정을 내리고 어떤 경로를 선택해야 할지 결정하기 위해 미래를 내다보는 몇 가지 단계가 필요한 매우 심오한 알고리즘 문제"라고 말했다.

장유미 기자(sweet@zdnet.co.kr)