[잇써보니] 외국인 친구도 “대박” 외친 ‘갤S24 통역’···환각 개선은 숙제

AI폰 ‘갤럭시S24 울트라’ 써보니
소통·검색 잦은 직장인에게 유용
외국인도 “실시간 통역 95% 정확”
지연 2초 이내, 현지 표현도 구사
고유명사 잘못 듣고 사용성 낯설어
웹 번역은 구글보다 못한 직역투
요약은 단순 압축 넘어 중요도 판단
틀린 정보 주는 ‘환각’ 문제 아쉬워
음성→문자 변환은 클로바노트급
아이폰 닮은 각진 외형 취향 탈 듯

삼성전자 '갤럭시S24 울트라'의 실시간 통역 기능을 사용하는 모습. 김윤수 기자

[서울경제]

“대박이네요(This is awesome)!”

18일 하와이에 사는 미국인 친구 빈센트 린에게 삼성전자 스마트폰 ‘갤럭시S24 울트라’의 실시간 통역 기능으로 전화를 걸자 인공지능(AI) 통역사를 통해 들려온 그의 첫 반응이다. 알고 지낸 지 8년이 됐지만 깊은 대화를 나누기에는 서로의 말이 서툴렀는데, 갤럭시폰의 새로운 기능이 이런 언어장벽을 허물어줬다. 국제 전화를 걸고 ‘통화 어시스트’라는 메뉴를 누르는 것만으로 쉽게 기능을 쓸 수 있었고 AI는 단순 통역을 넘어 빈센트의 감탄처럼 현지화한 표현도 제법 훌륭히 구사했다. 기기 자체에 생성형 AI모델이 탑재된 온디바이스AI 기술 덕에 통역을 위해 뜸을 들이는 지연시간은 체감상 1~2초 정도에 불과했다. 빈센트는 “한국어를 영어로 바꿔주는 통역은 95% 정도 정확하게 들린다”고 말했다.

아쉬운 점도 있다. 고유명사를 제대로 알아듣지 못하는 경우가 대표적이다. “하와이에 놀러가고 싶은데 식당을 추천해달라”는 말에 빈센트는 “고속도로에 가자”고 답했다. 이해할 수 없어 스마트폰 화면을 보니 ‘하이웨이 인(Highway Inn)’이라는 나름 많이 알려진 현지 유명 식당의 이름을 AI가 직역한 것이었다. 반대로 일반명사를 고유명사로 알아들어 ‘짐(Jim)’, ‘레오(Leo)’와 같은 대화 맥락에 없는 이름이 튀어나오기도 했다. 물론 10분가량의 대화에서 이 같은 오류 횟수는 열 손가락에 꼽을 정도였다. 상대방에게 원어를 들려주고 순차 통역하는 방식이라, 안 그래도 지연이 생기는 국제 전화에서는 대화가 늘어지는 경향이 있었다. 또 기능 사용이 익숙지 않은 탓이 크겠지만 순차 통역과 말이 겹쳐 순간적으로 말문이 막히고 대화가 끊기는 경우는 제법 빈번하게 일어났다.

공개 직후 만 하루 동안 사용해본 갤럭시S24 울트라는 실시간 통역과 함께 각종 번역과 요약 기능을 유용하게 제공했다. 기자처럼 일상과 업무에서 다른 사람과의 소통이나 국내외 정보 검색이 잦은 사람이라면 스마트폰을 바꾸는 것만으로도 작업 효율을 크게 개선할 수 있을 것으로 생각된다. AI 기능 대부분은 앱 사용 중 메뉴 선택만으로 간단히 켤 수 있어 손이 쉽게 갔다.

다만 정확함과 엄밀함을 요구하는 일부 업무에서는 이 같은 기능을 마음껏 활용하기에 아직 시기상조로 보이며 앞으로 소프트웨어 업데이트와 후속작 출시를 통한 기능 고도화를 기대해봐야 할 것 같다. 회사나 업계 사람들끼리만 아는 고유명사나 전문용어를 AI가 제대로 알아들을지 미지수이며, 정보를 그럴 듯하게 꾸며 말하는 환각(할루시네이션) 문제도 종종 눈에 띄었기 때문이다. 환각은 챗GPT를 포함한 모든 생성형 AI 서비스가 갖는 고질적 문제이나, 삼성전자의 경우 갤럭시S24를 시작으로 AI폰 선점 의지를 다진 만큼 이미 상용화한 AI 기능들의 오류 개선이 특히 시급해 보인다.

카카오톡에서 영어 표현의 어조를 상황별로 적절하게 바꿔주거나(왼쪽) 오탈자와 문법 오류를 바로잡아주는 삼성키보드 '챗 어시스트' 기능. 앱 캡처

우선 AI 통역보다 보편적인 기술인 문자 번역은 크게 흠잡을 데가 없었다. 갤럭시폰 기본 키보드인 ‘삼성키보드’만 쓴다면 ‘챗 어시스트’가 문자 앱은 물론 카카오톡 같은 메신저 앱도 대화를 즉각 번역해줬다. 카카오톡 상태창에서 고유명사인 유명 감자빵 브랜드 ‘감자밭’을 의도한 ‘gamjabat’을 활용해 영어 문장을 썼더니 한국어로 정확히 ‘감자밭’이라고 번역했다. 뿐만 아니라 격식을 차려야 하는 등의 상황에 따른 어조를 알아서 바꾸거나 오탈자와 문법을 고쳐주기도 했다. ‘AI changes the style of the sentence in a polite way(AI가 문장의 스타일을 공손하게 바꿔줘요)’라고 작성한 뒤 ‘전문적인’ 어조를 선택하자 ‘AI modifies the sentence’s tone in a courteous manner(AI가 문장의 어조를 정중하게 수정합니다)’로 바뀌었다. 동사를 명사로 쓰고 오탈자를 써도 제대로 번역된다는 것을 확인했다. 여러 문장으로 된 이메일 역시 이상한 문장 없이 제대로 격식을 살려줬다.

삼성전자 '갤럭시S24 울트라'의 공식 출시를 전하는 외신 제목(왼쪽 위)과 이를 삼성인터넷 '브라우징 어시스트'(왼쪽 아래)와 구글 번역으로 각각 한국어 번역한 모습. 삼성인터넷이 더 어색한 직역투로 번역된다. 앱 캡처

‘브라우징 어시스트’를 통해 삼성인터넷으로 접속한 웹사이트도 마찬가지로 번역, 요약해줬다. 다만 번역의 경우 이미 널리 쓰이는 구글 번역보다는 품질이 떨어져 굳이 사용할 이유를 찾지 못했다. 가령 외신 웹사이트에서 ‘The Galaxy S24 pre-order deals are live(갤럭시S24 사전주문이 진행되고 있다)’는 기사 제목을 구글 번역은 거의 정확히 번역했지만 삼성 번역은 ‘갤럭시S24 사전주문 거래는 생중계됩니다’는 어색한 문장을 만들었다. 마찬가지로 ‘Galaxy S24 Ultra is official’을 구글은 ‘갤럭시S24 울트라 공식 출시’라고 번역했고, 삼성은 ‘갤럭시S24 울트라는 공식적입니다’라고 직역했다.

기사처럼 긴 글을 읽어야 하는 웹사이트에서 요약 기능은 분명 특장점이었지만 역시 업무 용도로 100% 신뢰하기에는 부족한 부분이 있었다. 액티비전블리자드의 인기 게임 ‘디아블로2’의 공략을 정리한 티스토리 블로그 게시글을 요약하라고 시켜봤다. 6개의 퀘스트(임무)를 순서대로 깨는 법을 정리한 글이었다. AI는 ‘디아블로2 액트1 퀘스트 진행순서’라는 제목을 달고 게임 속 임무명이나 지명 같은 고유명사를 잘 구분하면서 제법 잘 요약했다. 하지만 보스(대장)를 무찔러야 하는 마지막 임무 공략은 본문에 내용이 있었음에도 요약문에서는 누락됐다.

인기 게임 '디아블로2'의 블로그 공략글을 요약한 결과. 제법 훌륭하지만 꼭 들어가야 할 마지막 퀘스트(임무)에 대한 정보가 누락됐다. 앱 캡처

뉴스 홈페이지처럼 하나가 아닌 여러 주제의 정보가 섞인 웹페이지의 경우 AI는 기계적으로 정보를 압축하지 않고 스스로 판단한 중요한 정보 위주로 요약문을 만들어줬다. 기자의 네이버 기사모음 페이지에서 요약 버튼을 눌렀더니 ‘삼성전자가 갤럭시S24 언팩에서 갤럭시 반지를 공개했다’는 식의 최근 작성 기사 내용이 언급됐다. 한 가지 눈에 띈 점은 해당 페이지에는 기사 제목들만 나열돼 있는데도 불구하고 AI가 ‘갤럭시 반지는 헬스케어 기능을 강화한 스마트워치’라는 본문을 봐야 유추할 수 있는 정보도 요약문에 포함시켰다는 것이다. 물론 갤럭시링은 스마트워치가 아니지만, 단순히 해당 페이지의 텍스트만이 아니라 그 제목을 눌러 접속하거나 키워드와 관련된 전반적인 검색 결과를 활용하는 모양이며 이는 당초 기대했던 것 이상의 AI 기능이다. 다만 실수를 넘어 ‘갤럭시 반지는 혈당 수치를 측정할 수 있다’는 아직 확인되지 않는 정보나 ‘갤럭시 반지는 갤럭시S24와 함께 출시될 예정’이라는 완전히 틀린 정보를 함께 요약하는 환각 현상은 확실히 거슬릴 수밖에 없었다.

기자의 네이버 기자모음 페이지를 삼성인터넷 '브라우징 어시스트'로 요약한 결과. 확인되지 않았거나 틀린 정보가 포함됐다. 앱 캡처

문자 변환(STT)이 추가된 음성 녹음 앱은 네이버 클로바노트와 거의 차이가 없었다. 한국어는 물론 영어로 말하는 유튜브 강연을 두 앱으로 녹음했더니 결과물이 거의 같았다. 오히려 음성 녹음은 클로바노트와 달리 앱 안에서 바로 번역이 가능하고 이를 요약하는 기능도 횟수 제한 없이 사용할 수 있다는 장점을 가졌다. 다만 처음에 문자 변환을 누르면 결과물이 완성될 때까지의 시간이 클로바노트보다는 길었고 14분 동안 쉴새 없이 말한 녹음본을 변환할 때는 거의 즉각 완료되는 클로바노트와 달리 1분에 가까운 시간이 소요됐다. 클로바노트는 인식 언어를 한국어나 영어 중에 고르고 소리를 듣는다면 음성 녹음은 우선 소리부터 녹음하고 사후 변환 시 한국어나 영어를 고르는 순서다. 변환 과정에서 소리를 한국어로 새로 인식하는 과정이 추가돼 더 오랜 시간이 걸리는 게 아닐까 한다.

18일 아침 서울 강서구에서 비스듬하게 촬영한 도로의 모습(위)과 갤러리 앱의 생성형 편집 기능을 활용해 이를 바르게 보정한 모습. 원본에는 없는 바퀴나 건물, 차선을 AI가 그럴 듯하게 그려서 빈 부분을 채워준다(빨간 표시). 김윤수 기자

생성형 편집은 단순히 사진 편집 기능을 다양하게 만드는 대신 사진의 없는 부분을 채워주는 데 초점이 맞춰졌다. 사진 속에서 특정 피사체를 손으로 꾹 누르면 외곽선이 그려지고 이렇게 선택된 피사체를 다른 곳으로 옮기거나 없앨 수 있다. 삐딱하게 찍은 사진을 바로 잡을 수도 있다. 이 과정에서 생기는 빈 부분을 AI가 주변 배경을 보고 유추해 그럴 듯하게 만들어준다. 실제로 아침 출근길 버스가 지나가는 도로를 찍어 편집했더니 사진에는 없는 버스 바퀴, 차선, 건물의 나머지 부분을 꽤 그럴 듯하게 그렸다. 다만 사람의 경우 제대로 인식하지 못해 어색하게 뭉개지는 결과가 나왔다. 결과물이 그럴 듯하지만 확실히 인위적인 수정이 가해진 티가 나는 탓에 당장 ‘신기한 기능’ 이상의 의미를 두기는 힘들었다. 소셜네트워크서비스(SNS)에 업로드하는 식의 일상용이 아니면 업무용으로 쓰기에는 한계가 있어 보였다. 유튜브를 보는 중 손으로 화면에 동그라미를 그리면 이미지 검색을 해주는 ‘서클 투 서치’도 검색을 더 편리하게 해줬지만 개인적으로 영상 재생을 멈추고 검색하는 경우가 드물고 검색결과에 획기적인 변화가 있는 것은 아니어서 역시 신기함 이상의 느낌은 없었다.

'서클 투 서치'로 고양이 사진을 이미지 검색한 결과. 무난한 검색결과가 뜬다. 앱 캡처

이 같은 AI 기능들을 구동하기 위해 퀄컴의 최신형 애플리케이션프로세서(AP·두뇌칩) ‘스냅드래곤8 3세대’가 쓰였다. 메모리도 12GB램으로 넉넉해 안드로이드 스마트폰 중 사실상 최고 사양을 가진 만큼 하드웨어 사양을 흠잡을 곳은 없었다. 카메라 역시 더 다양한 배율의 광학 줌(확대)이 지원된다. 대표적으로 5배 광학 줌으로 촬영한 사진은 구형폰의 디지털 줌으로 구현한 5배 줌 사진과 비교해 먼 곳의 글자가 깨지고 안 깨지고 정도의 차이가 날 만큼 성능이 뛰어났다.

갤럭시S24 울트라(왼쪽)와 갤럭시S22로 찍은 5배 줌(확대) 사진. 갤럭시S24 울트라는 광학 줌, 갤럭시S22는 디지털 줌으로 구현해 전자가 글자나 빛이 뭉개지는 것 없이 더 선명하다. 김윤수 기자

고사양 모바일 게임으로 정평이 난 ‘원신’을 실행해봤더니 아쉽게도 적정한 그래픽 옵션이 다섯 단계 중 세 번째인 ‘중간’으로 설정됐다. 이를 최고로 올리면 기기 부하가 ‘매우 높음’으로 걸린다고 안내됐다. 플레이 초반 30분 간 제법 손이 뜨끈해질 만큼 발열이 있었지만 이후 다시 식으면서 안정적으로 제어되는 것을 확인했다. 게임을 켜놓고 잠들었지만 스마트폰 스스로 화면 밝기를 최저로 낮추는 절전 모드로 돌입해 80%대 배터리가 6시간 후인 이튿날 아침에도 26%나 남아있었다. 공식 사양으로는 최장 30시간 동안 동영상을 재생할 수 있는 배터리 시간을 가졌다.

갤럭시S24 울트라의 후면 디자인. 티타늄 재질과 각진 디자인을 적용해 카메라 배치를 제외하면 아이폰을 연상시키기도 한다. 김윤수 기자

디자인은 호불호가 갈릴 전망이다. 가장자리를 곡면으로 처리하는 ‘엣지 디스플레이’는 평면으로 대체됐으며, 얇은 직사각형 모양의 기기 전체적으로 둥근 모서리를 각지게 바꿨다. 재질도 시리즈 처음으로 티타늄을 도입해 카메라 배치를 제외하면 아이폰과도 닮은 디자인이 됐다. 울트라는 특히 면적 대비 얇은 모양을 가졌는데, 둥글었던 모서리가 바뀌니 개인적으로 손으로 쥐었을 때 살짝 불편한 느낌을 받았다. 갤럭시S24 울트라의 가격은 최저 사양 기준 169만 8400원으로 전작보다 10만 원 정도 비싸졌지만 이제껏 말한 사용 경험에 비춰보면 충분히 돈값을 한다는 생각이 든다.

김윤수 기자 sookim@sedaily.com