AI Tools5분 읽기

VoiceStudio: 로컬 음성 클로닝·더빙·MCP 에이전트 완전 가이드

설치형 오픈소스 음성 스튜디오 VoiceStudio로 로컬에서 음성 클로닝, 영상 더빙, MCP 에이전트 연동까지 한 번에 처리하는 방법을 공식 자료 기반으로 정리했습니다.

#VoiceStudio#음성클로닝#로컬AI#MCP#TTS#영상더빙#오픈소스
VoiceStudio: 로컬 음성 클로닝·더빙·MCP 에이전트 완전 가이드

TL;DR — VoiceStudio는 음성 클로닝·영상 더빙·오디오북 배치 생성·MCP 서버를 하나의 로컬 데스크톱 앱에 묶은 오픈소스 프로젝트다. 클라우드 API 없이 모든 처리가 기기 안에서 끝나고, Claude Code·Cursor 같은 AI 코딩 에이전트와 MCP로 바로 연결된다. 2026-11-02 기준 GitHub 스타 98,291개(andrew.ooo 관측)를 기록 중이다.

VoiceStudio란 무엇인가

VoiceStudio는 debpalash/VoiceStudio 저장소에서 관리되는 Python + Electron 기반 데스크톱 앱이다. AGPL-3.0 라이선스로 공개됐으며 Windows, macOS, Linux를 모두 지원한다.

공식 사이트에 명시된 핵심 기능은 다음과 같다.

  • 음성 클로닝 — 참조 녹음 파일 하나로 특정 목소리를 재현
  • 보이스 디자인 — 텍스트 설명만으로 새 목소리를 생성
  • 영상 더빙 — 원본 영상의 타이밍에 맞춰 번역·재합성
  • 받아쓰기·전사 — 플로팅 위젯으로 화면 위 어디서든 사용
  • 오디오북·배치 내레이션 — 긴 텍스트를 묶음으로 처리
  • 자동화 연동 — 로컬 API, MCP 서버, 레시피, 워치 폴더

GitHub README에 따르면 Model Manager를 통해 엔진과 모델을 선택적으로 내려받아 로컬에서 관리할 수 있다. 기본 TTS 엔진은 k2-fsa/OmniVoice이며, 리뷰 정리 자료에는 2026년 10월 기준 17개 TTS 엔진과 10개 전사(ASR) 옵션이 지원된다고 소개돼 있다. 공식 사이트는 646개 언어 지원을 명시하지만 언어별 품질 차이는 1차 문서에서 확인하지 못했다.

설치: 소스 빌드 방법

GitHub README 기준 소스 빌드 절차는 아래와 같다.

git clone https://github.com/debpalash/VoiceStudio.git
cd VoiceStudio
bun run dev

bun run dev를 실행하면 JavaScript 의존성을 설치하고, 로컬 백엔드를 사용할 경우 Python 의존성도 함께 설치한 뒤 Electron 앱을 시작한다. 공식 사이트에서는 사전 빌드된 설치 파일도 제공하므로, 소스 빌드 없이 바이너리를 내려받는 방법도 있다.

MCP 서버: AI 에이전트와 직접 연결

VoiceStudio의 가장 눈에 띄는 특징 중 하나는 MCP(Model Context Protocol) 서버 내장이다. 공식 문서 /docs/mcp.md에 따르면 VoiceStudio 백엔드가 실행 중이면 MCP 서버는 /mcp 경로에 별도 프로세스 없이 자동으로 마운트된다.

지원하는 MCP 도구는 다음과 같다.

도구역할
음성 합성텍스트 → 오디오 파일 생성
음성 클로닝참조 오디오로 특정 목소리 재현
오디오 전사오디오 파일 → 텍스트
저장 목소리 목록 조회현재 등록된 목소리 확인

데스크톱 앱의 Integrations 메뉴에서 Claude Code(.mcp.json), Cursor(.cursor/mcp.json), Codex CLI(~/.codex/config.toml), Streamable HTTP 및 stdio용 설정 파일을 바로 내보낼 수 있다. MCP 외에도 로컬 REST·SSE·WebSocket API와 OpenAI 호환 오디오 API를 함께 제공한다.

실제 사용 예: Claude Code에서 TTS 호출

README에는 Claude Code 등 코딩 에이전트가 직접 MCP를 등록할 수 있는 프롬프트 템플릿이 포함돼 있다. VoiceStudio가 열려 있는 동안 에이전트는 http://localhost:3900/mcp/로 요청을 보내 별도 설정 없이 음성을 합성하거나 오디오를 전사할 수 있다.

예를 들어 Cursor에서 작업 중인 문서를 오디오 파일로 내보내거나, CI 스크립트에서 오류 로그를 음성으로 읽어주는 플로우를 에이전트 단에서 직접 구성할 수 있다.

Hex와 무엇이 다른가

moonyth.app에서 이전에 소개한 Hex는 오프라인 STT 받아쓰기에 특화된 단일 기능 도구다. VoiceStudio와의 차이를 정리하면 다음과 같다.

비교 항목HexVoiceStudio
핵심 기능오프라인 받아쓰기(STT) 1가지TTS·클로닝·더빙·MCP 복합 워크플로우
에이전트 연동없음MCP 서버 내장(Claude Code·Cursor 등)
플랫폼macOS 중심, RustWindows·macOS·Linux, Python+Electron
언어 지원제한적공식 사이트 기준 646개 언어 명시

용도가 다르다. 빠른 받아쓰기가 목적이라면 Hex, 클로닝·더빙·에이전트 연동을 아우르는 음성 파이프라인이 필요하다면 VoiceStudio가 적합하다.

라이선스: 꼭 확인해야 할 것들

앱 코드는 AGPL-3.0이다. README는 모델 가중치·토크나이저·음성·생성 결과물에 대한 조건은 앱 라이선스와 별개임을 명시한다. 클라이언트 납품물에 생성 음성이 포함되거나 서비스에 결과물을 사용한다면 사용한 엔진별 라이선스를 반드시 별도로 확인해야 한다.

또한 공식 사이트는 음성 클로닝은 반드시 본인 허가 하에만 사용해야 한다고 강조한다. 타인의 목소리를 허가 없이 복제하는 것은 법적·윤리적 문제가 될 수 있다.

아직 불확실한 것들

  • v0.5.7 체인지로그: 최신 릴리스(2026-10-26 출시)의 세부 변경 사항은 이번 조사에서 확인하지 못했다.
  • 646개 언어 품질: 숫자는 공식 명시됐으나 언어별 실제 품질 차이는 1차 문서에서 확인되지 않는다.
  • 엔진별 모델 크기·요구 사양: README에 명시된 내용이 없어 별도 테스트 없이는 판단하기 어렵다.

정리

VoiceStudio는 클라우드 없이 로컬에서 음성 클로닝부터 영상 더빙, 오디오북 배치, 에이전트 MCP 연동까지 처리할 수 있는 보기 드문 멀티모달 음성 도구다. 특히 Claude Code나 Cursor를 이미 쓰고 있는 개발자라면 별도 설정 파일 내보내기 하나로 음성 합성 도구를 에이전트 워크플로우에 바로 편입시킬 수 있다는 점이 실용적이다. AGPL 라이선스와 엔진별 별도 약관은 상업 프로젝트에 쓰기 전에 반드시 짚어봐야 할 지점이다.

참고 자료

커버 이미지: Marcin Wichary from San Francisco, Calif. · CC BY 2.0. 자료 이미지이며 제품 화면은 아닙니다. 크기 조정 및 WebP 변환.

공유하기Twitter / X