별장 소유자도 다주택자 되나...감사원 “양도세 중과해야” 판단

일러스트=백형선

집주인이 ‘별장’으로 써 온 건물이라도 사람이 상시 거주할 수 있는 ‘주택’의 기능을 할 수 있으면, 다주택자 여부를 따지는 주택 수 계산에 포함시켜야 한다는 감사원 판단이 나왔다. 최근까지 과세 당국은 별장을 ‘사치재’로 취급해 고율의 취득세와 재산세를 부과하는 대신, 별장이 상시 주거용으로 사용되지 않는 경우 등에는 주택 수 계산에서 제외하기도 했다. 개별 별장이 주택인지 여부에 대한 각 세무서의 판단이 엇갈려 당국의 기준이 모호하다는 지적이 계속되고 있다.

경기도에 2층짜리 기와지붕 건물을 한 채 갖고 있는 A씨 부부는 이 건물을 2005년부터 별장 용도로 쓰면서 매년 35~72일 정도만 머물렀다. 정원 텃밭에는 채소를 길렀고, 회사 임직원 단합 대회나 해외에서 온 사업 파트너 휴식 장소로 썼다고 한다. 그러는 동안 A씨 부부는 2011년부터 2019년까지 아파트 2채를 차례로 사고팔면서 4억2900여만원의 차익을 얻었고 양도세는 400만원 정도만 냈다. A씨 부부가 소유한 별장은 주택으로 치지 않고, 아파트만 가진 1주택자로 신고해 양도세 대부분을 면제받은 것이다.

그러나 관할 세무서는 2020년 A씨 부부에게 ‘별장을 갖고 있으므로 1주택자에 해당하지 않는다’며 양도세 1억6000여만원을 더 내라고 했다. A씨는 양도세 추가 부과를 없던 일로 해 달라고 감사원에 청구했다. A씨는 별장에 세탁기와 옷장 등이 없어 상시 주거용으로는 부적합하고, 따라서 주택으로 볼 수 없다고 주장했다.

3년간의 심사 끝에 감사원은 A씨 부부가 세무서 요구대로 양도세를 내야 한다고 판단했다. 감사원은 “일시적으로 주거가 아닌 다른 용도(별장)로 사용되고 있다고 하더라도, 그 구조·기능·시설이 본래 주거용으로서 언제든지 본인이나 제3자가 주택으로 사용할 수 있는 건물의 경우에는 이를 주택으로 보아야 한다”고 했다. 일반 주택의 구조를 갖춰놨는데 가전제품이나 가구가 한두 가지 없다고 해서 주택이 아니라고 볼 수 없다는 것이다.

감사원은 또 “건축물의 위치, 별장 용도에 특유한 시설의 존재 여부, 취득세·재산세가 별장으로 중과됐는지 여부 등을 종합적으로 판단”해야 한다고 봤다. 감사원은 그러면서 산자락에 나무로 1층 건물을 지어놓고 온돌과 바비큐 기구, 이불장, 취사도구만 갖다놓았고 평소에 별장 기준으로 고율의 취득세·재산세를 납부해, 주택이 아닌 것으로 인정된 경우를 예로 들었다. A씨 부부의 경우 세무서가 별장도 주택으로 치겠다고 알려오기 전까지 별장에 대한 취득세·재산세를 일반 주택 기준으로 납부한 것으로 드러났다.

다만 감사원의 이번 결정으로 전국의 모든 별장 소유자들이 다주택자가 돼 양도세를 중과받는 것은 아니다. 한 세제 전문가는 “각 별장을 주택으로 볼지 여부는 소유자가 별장에 얼마나 오래 머물렀는지 등을 구체적으로 따져 판단해야 한다”고 했다. 또 수도권이 아닌 농어촌 지역에 3억원 이하(한옥은 4억원 이하) 별장을 갖고 있는 경우엔 ‘농어촌주택’으로 인정돼, 주택 수 계산에서 제외되고 양도세 중과도 피할 수 있다.