겜툰-카툰으로 보는 재미있는 게임이야기

PWD

	최신 게임뉴스

	오픈/클로즈 베타뉴스

	게임업계 핫이슈

	겜툰 FOCUS

	게임 특집

	인터뷰/업체탐방

	게임 만평

	게임 포토뉴스

인터뷰/업체탐방

HOME > 게임뉴스> 인터뷰/업체탐방

제 목 : [NDC 2026] 넥슨게임즈 김명지 파트장 “TTS 핵심은 기술 구현이 아닌 캐릭터 구현”

작성자 :	등록일 : 2026-06-17 오전 11:15:17

넥슨 개발자 콘퍼런스(NDC) 2026 둘째 날인 6월 17일, 넥슨게임즈 IO본부 위그드라실 ML팀 김명지 파트장은 ‘SBV2 오픈소스를 활용한 한국어·일본어 TTS 모델 개발기’를 주제로 발표했다. 세션은 서브컬처 게임에 쓰이는 TTS(Text to Speech) 품질을 높이기 위해 일본어 기반 모델에 한국어 학습 기능을 이식한 과정과 시행착오, 향후 과제를 다뤘다.

김명지 파트장은 네오플과 엔씨에서 게임 클라이언트 프로그래머로 7년 이상 근무한 뒤 넥슨게임즈에 합류했다. 현재는 IO본부 위그드라실 ML팀에서 머신러닝 엔지니어로 2년 이상 TTS 모델 개발과 개선을 맡고 있다.

IO본부가 TTS에 집중한 배경에는 서브컬처 게임 개발 조직으로서 지닌 방향성이 있다. IO본부는 캐릭터와 유저 사이 상호작용 경험을 제공하고, 실제로 소통하고 있다는 감각을 만드는 일을 중요하게 본다. 실제로 넥슨게임즈 ‘블루 아카이브’는 출시 초기부터 TTS를 활용해 캐릭터가 유저 닉네임을 직접 불러주는 기능을 제공했고, 이후 인게임 대사에도 TTS를 적용해 왔다.

기존 TTS 기능은 캐릭터가 말을 한다는 경험을 제공하는 데 초점을 뒀다. 김명지 파트장이 속한 팀은 여기서 더 나아가 캐릭터에게 더 몰입할 수 있는 목소리를 목표로 삼았다. 단순히 문장을 읽는 음성이 아니라, 캐릭터성이 유지되고 상황에 맞는 감정이 담긴 음성을 만드는 방향이다.

모델 선정 기준은 캐릭터성, 감정 표현, 자연스러움 세 가지였다. 캐릭터성은 음색, 목소리 질감과 톤, 고유 발음과 발성 습관, 말투와 리듬, 말 빠르기, 억양, 호흡, 캐릭터만의 감정 표현으로 나눠 검토했다.

자연스러움은 사내 검수 과정에서 반복적으로 들어온 피드백을 기준으로 삼았다. 주요 요청은 단어 사이 무음 길이 조절, 특정 음절을 길게 발음하는 장음 처리, 어색한 구간 피치 조정, 노이즈 제거였다. 특히 일본어는 장음과 고저 악센트에 따라 의미가 달라지는 언어이기 때문에 길게 발음하기와 음 높낮이 변경 요청이 많았다.

검토 끝에 최종 선택한 오픈소스 TTS 모델은 Style-Bert-VITS2였다. Style-Bert-VITS2는 일본어를 위해 설계된 TTS 학습 모델이다. 일본어 한자 변환, 음 높낮이, 장음 처리에 맞춰 설계됐고, 물음표·느낌표·쉼표 같은 문장 기호를 음소로 취급해 기호별 발성 패턴을 학습한다.

Style-Bert-VITS2 핵심 특징은 스타일 벡터다. 일반적인 TTS 모델은 단일한 음성 톤으로 학습하고 생성되는 경우가 많지만, Style-Bert-VITS2는 같은 화자가 여러 스타일로 말할 수 있도록 구현돼 있다. 예를 들어 평소에는 차분하게 말하는 캐릭터가 긴박한 상황에서는 긴장감 있게 말하고, 이벤트 상황에서는 기쁘게 말하는 식으로 확장 가능하다.

김명지 파트장은 일본어 기반 모델 위에 ‘블루 아카이브’ 아로나와 프라나 데이터셋을 사용해 파인튜닝을 진행했다. 해당 데이터셋은 외부 배경음이 없는 녹음 스튜디오에서 성우가 캐릭터 말투, 발성, 호흡을 담아 녹음한 음성 파일과 대본으로 구성됐다. 일본어 파인튜닝 결과 문장 기호에 따른 발화 패턴, 음 높낮이, 스타일 변화가 확인됐다.

문제는 Style-Bert-VITS2가 한국어 학습을 지원하지 않는 모델이라는 점이었다. 일본어 기능을 검증한 뒤에는 소스 코드를 기반으로 한국어 학습 모드를 새로 개발해야 했다. 이를 위해 Style-Bert-VITS2 구조에서 언어별로 달라지는 G2P와 BERT 모델을 수정했다.

G2P는 대본 텍스트를 학습 가능한 데이터로 바꾸는 과정이다. 음성 합성은 음성 파일과 대본 텍스트 데이터셋을 함께 사용해 학습한다. 이때 대본 텍스트를 정제하고 가공하는 단계가 G2P다. 숫자와 기호를 읽을 수 있는 한글로 바꾸고, 실제 발음에 맞게 변환한 뒤 최종적으로 학습 가능한 언어 심볼로 바꾸는 방식이다.

한국어 G2P는 기존 일본어 코드를 한국어에 맞게 변형하는 방식으로 구현했다. 일본어 처리 과정에는 노멀라이즈, 형태소 분석, 악센트 정보 추출, 가타카나 음소 변환이 포함돼 있었다. 한국어에서는 한자 발음 분석과 일본어 고저 악센트 정보 추출이 필요하지 않으므로 해당 과정을 제외하고, 한국어 텍스트를 발음대로 변환하는 한글 음소 변환 단계를 추가했다.

이 구조에는 한계도 있었다. 한국어 G2P에서 악센트 정보 추출 단계를 제외하면 학습을 통한 음 높낮이 조절 기능을 사용할 수 없다. 대본에 음 높낮이 정보를 직접 넣는 방안도 검토했지만, 현재 한국어 기준에서 음 높낮이를 객관적인 정답으로 판단할 근거가 부족해 향후 연구 과제로 남겼다.

BERT는 문장 속 단어 의미를 숫자 벡터로 변환하는 모델이다. 같은 표기라도 문맥에 따라 의미가 달라지는 단어를 구별하고, 의미별로 다르게 음성을 학습하도록 돕는 역할을 맡는다.

Style-Bert-VITS2에는 일본어 BERT 모델이 탑재돼 있었기 때문에 한국어 학습을 위해 한국어 BERT 모델로 교체했다. 후보군 가운데 KC-BERT Large를 선택한 이유는 Style-Bert-VITS2가 BERT 처리 시 히든 사이즈 1024인 모델을 기준으로 설계돼 있었기 때문이다. 히든 사이즈 값을 유동적으로 조정해 더 다양한 BERT 모델을 시도하는 작업은 추후 개선 과제로 분류했다.

한국어 기반 모델 학습에는 AI 허브 데이터셋을 사용했다. 처음에는 약 900GB 데이터를 사용하려 했지만, 최종적으로는 약 600GB만 활용했다. 기반 모델 학습 과정에서 생성자와 판별자 균형이 무너지는 언밸런싱 트레이닝 문제가 발생했기 때문이다.

Style-Bert-VITS2는 생성자와 판별자가 경쟁하면서 함께 발전하는 구조다. 이상적인 학습에서는 두 모델이 균형을 맞추며 수렴해야 한다. 초기 학습에서는 판별자가 생성자보다 빠르게 고도화되면서 생성자가 어떤 음성을 만들어도 가짜로 판정하는 문제가 나타났다.

해결책은 생성자 선행 학습과 학습 속도 조절이었다. 일정 구간 동안 판별자는 학습하지 않고 생성자만 먼저 학습하게 해 생성자가 음성을 만들 수 있는 출발점을 마련했다. 이후 판별자 학습 속도를 생성자보다 낮춰 두 모델이 비슷한 속도로 성장하도록 조정했다.

데이터셋 조합에서도 문제가 발견됐다. 사용하려던 데이터셋을 ㄱ·ㄴ·ㄷ 세 묶음으로 나눠 검토한 결과, ㄷ 데이터셋이 학습에 부정적인 영향을 끼치는 것으로 파악됐다. ㄷ 데이터셋은 평균 음성 길이가 길고, 전체 절반 가까이에서 노이즈가 확인됐다. 최종 기반 모델은 ㄷ 데이터를 제외하고 ㄱ·ㄴ 데이터를 기반으로 제작했다.

파인튜닝 단계에서는 그래프 수치와 실제 청취 품질이 항상 일치하지 않는 현상도 확인했다. 수치상 더 낮고 안정적으로 수렴한 모델이 반드시 더 좋은 음질을 내지는 않았다. Style-Bert-VITS2 파인튜닝에서는 모델이 제공하는 기본 파라미터를 사용하는 편이 더 적합하다고 판단했다.

한국어 파인튜닝 결과 이전 모델보다 문장 기호 학습이 나아졌고, 말줄임표와 말 늘림표 표현도 개선됐다. 아로나 음성에 프라나 스타일을 적용하면 무덤덤한 톤이 나타나는 등 스타일 변화도 확인됐다.

향후 과제로는 모델 평가 체계 구축을 제시했다. 지금까지는 김명지 파트장의 청취에 의존해 음성을 평가했지만, 앞으로는 정량 평가와 정성 평가를 결합한 객관적인 프로세스를 구축할 계획이다. 1단계 정량 평가는 학습 과정에 자동으로 삽입하고, 일정 주기마다 모델을 추출해 평가 점수를 확인하는 방식이다.

정성 평가는 정량 평가를 통과한 모델을 사람이 직접 청취해 종합적으로 판단하는 단계다. 학습 때마다 사람이 직접 청취해 평가하는 방식은 인력과 시간 측면에서 현실적이지 않다. 먼저 정량 평가로 품질이 부족한 모델을 걸러내고, 일정 수준 이상 모델만 정성 평가로 넘기는 구조가 필요하다.

코퍼스 구축도 남은 과제다. 데이터셋이 음성 파일과 대본 텍스트 전체를 의미한다면, 코퍼스는 특정 목적을 위해 설계된 데이터다. TTS에서 코퍼스 구축은 원하는 음성을 얻기 위해 어떤 문장을 학습시킬지 설계하는 작업이다.

한국어 기반 모델에서는 말 늘림표와 줄임표 표현이 일본어 모델보다 약했다. 김명지 파트장은 원인으로 한국어 기반 데이터셋에는 해당 기호가 포함되지 않았고, 파인튜닝 대본에만 포함돼 있었기 때문으로 추정했다. 일본어 모델은 기반 모델 단계부터 해당 기호가 포함돼 있어 표현이 안정적으로 나왔다.

발음 문제도 코퍼스 구성과 연결됐다. 한국어 모델은 ‘보스’ 같은 단어, 일본어 모델은 ‘탈출’에 해당하는 일부 단어를 제대로 발음하지 못하는 경우가 있었다. 해당 단어들은 데이터셋에 없고, 치찰음 계열 발음이 포함된 경우가 많았다. 정확한 발음이 필요한 단어를 다양한 문맥에 포함하는 방식이 가장 확실한 해결책이다.

코드 공개도 과제로 남았다. Style-Bert-VITS2 한국어 대응 모델은 NDC 2026 시점에서 공개할 예정이었으나, 내부 검토가 끝나지 않아 공개하지 못했다. 김명지 파트장에 따르면 해당 코드에는 한국어 구현 내용이 모두 포함되어 있으며, 무료 공개한 뒤 오픈소스 프로젝트로 기여를 받을 예정이다.

끝으로 김명지 파트장은 “TTS 모델이 말을 하게 만드는 것 자체는 쉽지만, 중요한 목표는 캐릭터에게 더 빠져들 수 있는 순간을 만드는 일이다”라며 “앞으로도 그 목표를 잃지 않고 더 자연스럽고 더 진짜 같은 목소리를 만들기 위해 계속 나아가겠다”라고 말했다.

겜툰 박현규 기자 LoPhy@gamtoon.com