30년전 인텔에 무슨일?…펜티엄 부동소수점 연산 오류 발견

1994년 美 수학과 교수가 발견... 인텔, 당시 리콜에 6천500억원 지출

(지디넷코리아=권봉석 기자)1994년 6월 중순, 당시 미국 린치버그 칼리지(이후 린치버그 대학교로 승격) 수학과 교수였던 토머스 나이슬리(Thomas Ray Nicely) 박사는 연구실에서 인텔 펜티엄 프로세서를 탑재한 컴퓨터로 나눗셈 계산을 하다 계산 결과가 예상과 다르다는 것을 발견했다.

그는 같은 해 10월, 이 문제의 원인이 펜티엄 프로세서의 부동소수점 나눗셈(FDIV) 명령어의 오류에 있다는 사실을 밝히고 10월 24일경 이 문제를 인텔에 알렸다. 인텔 역사상 첫 번째 프로세서 리콜을 이끌어 낸 '펜티엄 FDIV 버그' 사건의 시작이었다.

부동소수점 나눗셈 오류를 안은 인텔 펜티엄 프로세서 초기 생산 물량. (사진=Konstantin Lanzet)

펜티엄 초기 설계시 오류 저지른 인텔

인텔은 80486 DX 프로세서 대비 펜티엄 프로세서의 연산 성능을 끌어올리기 위해 부동소수점 나눗셈 처리 코드에 1958년 발표된 SRT 알고리듬을 적용했다.

IBM과 미국 일리노이 대학교, 영국 런던왕립대 연구진의 머릿글자를 딴 이 알고리듬은 계산 과정에서 미리 만들어진 값을 이용해 속도를 올리는 방법을 이용했다.

인텔은 총 2048개의 값을 준비해 펜티엄 프로세서에 입력할 예정이었지만 이 중 1천 개 가량이 실제로는 담기지 못했다. 그리고 출시 과정까지 아무도 이를 눈치채지 못했다.

"당시 출시된 모든 펜티엄 PC에서 오류 발견"

토머스 나이슬리 박사는 미국 PC통신 서비스 '컴퓨서브' 포럼에도 "이 문제는 델 P90, 게이트웨이 P90, 마이크론 P60 등 현재까지 테스트한 모든 펜티엄 프로세서 탑재 PC에서 발견됐다"고 밝혔다.

이어 "펜티엄 이전에 인텔이 출시한 80486 프로세서에서는 이 문제가 나타나지 않았으며 펜티엄 프로세서로 같은 계산을 처리한다 해도 FPU를 쓰지 않으면 문제는 일어나지 않았다"고 덧붙였다.

토머스 나이슬리 박사가 당시 인텔에 발송한 이메일 중 일부.

인텔은 토머스 나이슬리 박사의 연락을 받은 뒤 1주일만인 1994년 11월 펜티엄 프로세서의 부동소수점 연산장치(FPU)를 업데이트했다고 밝혔다. 당시 인텔은 "이 문제는 매우 드문 조건에서 일어나며 최근에 공급된 펜티엄 프로세서에서는 해결됐다"고 설명했다.

인텔, IBM 'PC 출하' 강수에 리콜로 선회

인텔은 당초 펜티엄 프로세서를 리콜할 계획이 없었던 것으로 보인다. 그러나 당시 여명기에 있었던 인터넷을 통해 학계 전문가들이 이메일로 빠른 시간 안에 의견을 교환할 수 있었다.

IT 매체 뿐만 아니라 CNN까지 보도에 나서면서 사태는 커졌다. 당시 인텔의 가장 큰 파트너사였던 IBM은 인텔 프로세서 탑재 PC 출하를 중단하는 강수를 뒀다.

결국 인텔은 1994년 12월 20일, 문제가 있는 펜티엄 프로세서를 모두 교환해 주는 방향으로 선회했다.

당시 인텔이 펜티엄 프로세서 리콜에 지출한 비용은 4억 7천500만 달러(약 6천557억원)이며 현재 화폐 가치로는 약 10억 45만 4천75달러(약 1조 3천811억원)에 달한다.

토머스 나이슬리 교수, 2019년 세상 떠나

인텔은 펜티엄 부동소수점 오류 사건을 기점으로 생산하는 모든 반도체 제품에 대해 출시 이후 발견된 문제를 모아 '사양 업데이트'(Specification Update)라는 명칭으로 제공하고 있다.

인텔이 미국 캘리포니아주 산타클라라 소재 인텔 본사 안에서 운영하는 작은 박물관인 '인텔 뮤지엄'에 전시된 펜티엄 프로세서 설명은 다음과 같다.

인텔 뮤지엄에 전시된 펜티엄 프로세서. (사진=권봉석, 2023년 촬영)

"인텔은 1993년 310만 개 트랜지스터를 집적한 펜티엄 프로세서를 출시했으며 이는 고성능 반도체 제품군의 시작이었다. 1994년에 인텔은 '고객 관련' 교훈을 얻었고 요청하는 모든 소비자에게 프로세서 교환을 제공했지만 펜티엄 칩에서 발견된 결함은 소수의 이용자에게만 영향을 미쳤을 것으로 보인다."

인텔의 첫 프로세서 리콜을 이끌어낸 토머스 나이슬리 박사는 2019년 9월 초 자동차 사고를 당한 뒤 같은 달 11일 향년 76세로 세상을 떠났다.

1984년 촬영된 토머스 나이슬리 교수. (사진=Univ. of Lynchburg)

린치버그 대학교는 그를 기리는 보도자료에서 동료 연구자의 발언을 인용해 "토머스 나이슬리는 문제를 해결했다는 사실에 만족했고 인텔이 그에게 문제가 (실제로) 있었다는 사실을 알리자 더 행복해했다"고 밝혔다.

권봉석 기자(bskwon@zdnet.co.kr)