语音克隆

无 tokenizer 的开源 TTS 模型，支持 30 语言、声音设计与语音克隆

类型库 33,413 星标更新 2026-07-08 许可 Apache-2.0 原仓库主页

VoxCPM2: Tokenizer-Free TTS 用于多语言语音生成、创造性语音设计与逼真克隆

English | 中文

👋 加入我们的社区进行讨论和获取支持！
Feishu | Discord

VoxCPM 是一个 tokenizer-free 的 Text-to-Speech 系统，通过端到端的 diffusion autoregressive architecture 直接生成连续语音表示，绕开离散分词，从而实现高度自然且富有表现力的语音合成。

VoxCPM2 是最新的大版本——一个 2B 参数模型，在 超过200万小时 的多语言语音数据上训练，现在支持 30种语言、Voice Design、Controllable Voice Cloning 和 48kHz 录音室级音频输出。基于 MiniCPM-4 骨干网络构建。

✨ 亮点

🌍 30种语言多语种 — 直接输入任意支持语言的文本进行合成，无需语言标签
🎨 Voice Design — 仅凭自然语言描述（性别、年龄、语调、情感、语速……）创建全新语音，无需参考音频
🎛️ 可控克隆 — 从短参考片段克隆任意语音，可选的风格引导控制情感、语速和表现力，同时保留原始音色
🎙️ 终极克隆 — 再现每一个声音细节：提供参考音频及其转录文本，模型从参考处无缝继续，忠实保留所有声音细节——音色、节奏、情感和风格（与 VoxCPM1.5 相同）
🔊 48kHz 高品质音频 — 接受16kHz参考音频，通过 AudioVAE V2 的非对称编解码设计直接输出48kHz录音室级音频，内置超分辨率功能——无需外部上采样器
🧠 上下文感知合成 — 自动从文本内容推断合适的韵律和表现力
⚡ 实时流式合成 — 在 NVIDIA RTX 4090 上实时因子（RTF）低至约0.3，通过 Nano-vLLM 或 vLLM-Omni 加速至约0.13 —— 官方 vLLM 全模态服务，支持 VoxCPM2，采用 PagedAttention 和 OpenAI 兼容 API
📜 完全开源 & 可商用 — 权重和代码以 Apache-2.0 许可证发布，免费商用

🌍 支持的语言（30种）
Arabic, Burmese, Chinese, Danish, Dutch, English, Finnish, French, German, Greek, Hebrew, Hindi, Indonesian, Italian, Japanese, Khmer, Korean, Lao, Malay, Norwegian, Polish, Portuguese, Russian, Spanish, Swahili, Swedish, Tagalog, Thai, Turkish, Vietnamese

汉语方言：四川话, 粤语, 吴语, 东北话, 河南话, 陕西话, 山东话, 天津话, 闽南话

新闻

[2026.04] 🔥 我们发布 VoxCPM2 — 2B参数，30种语言，Voice Design & Controllable Voice Cloning，48kHz音频输出！权重 | 文档 | 在线演示 | 技术报告
[2025.12] 🎉 开源 VoxCPM1.5 权重，支持 SFT 和 LoRA 微调。（🏆 GitHub 趋势榜 #1）
[2025.09] 🔥 发布 VoxCPM 技术报告。
[2025.09] 🎉 开源 VoxCPM-0.5B 权重（🏆 HuggingFace 趋势榜 #1）

🚀 快速开始

安装

pip install voxcpm

依赖要求： Python ≥ 3.10 (<3.13), PyTorch ≥ 2.5.0, CUDA ≥ 12.0。详情请参阅快速开始文档。

Python API

🗣️ 文本到语音合成

from voxcpm import VoxCPM
import soundfile as sf

model = VoxCPM.from_pretrained(
  "openbmb/VoxCPM2",
  load_denoiser=False,
)

wav = model.generate(
    text="VoxCPM2 is the current recommended release for realistic multilingual speech synthesis.",
    cfg_value=2.0,
    inference_timesteps=10,
    seed=42,
)
sf.write("demo.wav", wav, model.tts_model.sample_rate)
print("saved: demo.wav")

如果你更倾向于先从 ModelScope 下载，可以使用：

pip install modelscope

from modelscope import snapshot_download
snapshot_download("OpenBMB/VoxCPM2", local_dir='./pretrained_models/VoxCPM2') # 指定本地目录以保存模型

from voxcpm import VoxCPM
import soundfile as sf
model = VoxCPM.from_pretrained("./pretrained_models/VoxCPM2", load_denoiser=False)

wav = model.generate(
    text="VoxCPM2 is the current recommended release for realistic multilingual speech synthesis.",
    cfg_value=2.0,
    inference_timesteps=10,
    seed=42,
)
sf.write("demo.wav", wav, model.tts_model.sample_rate)

🎨 语音设计

只需用自然语言描述即可创建语音——无需参考音频。格式： 在 text 的开头用括号括起描述（例如 "(your voice description)需要合成的文本。"）：

wav = model.generate(
    text="(年轻女性，温柔甜美的声音)你好，欢迎使用 VoxCPM2！",
    cfg_value=2.0,
    inference_timesteps=10,
    seed=42,
)
sf.write("voice_design.wav", wav, model.tts_model.sample_rate)

🎛️ 可控语音克隆

上传一段参考音频。模型会克隆音色，你仍可以使用控制指令来调整语速、情感或风格。

wav = model.generate(
    text="这是由 VoxCPM2 生成的克隆语音。",
    reference_wav_path="path/to/voice.wav",
)
sf.write("clone.wav", wav, model.tts_model.sample_rate)

wav = model.generate(
    text="(稍快，欢快的语调)这是带风格控制的克隆语音。",
    reference_wav_path="path/to/voice.wav",
    cfg_value=2.0,
    inference_timesteps=10,
    seed=42,
)
sf.write("controllable_clone.wav", wav, model.tts_model.sample_rate)

🎙️ 终极克隆

同时提供参考音频及其精确转录文本，基于音频延续进行克隆，保留每一个声音细节。为了获得最大相似度，将同一段参考音频同时传入 reference_wav_path 和 prompt_wav_path，如下所示：

wav = model.generate(
    text="这是使用 VoxCPM2 的终极克隆演示。",
    prompt_wav_path="path/to/voice.wav",
    prompt_text="参考音频的转录文本。",
    reference_wav_path="path/to/voice.wav", # 可选，用于更好的相似度
)
sf.write("hifi_clone.wav", wav, model.tts_model.sample_rate)

🔄 流式 API

import numpy as np

chunks = []
for chunk in model.generate_streaming(
    text="VoxCPM 让流式语音合成变得简单！",
):
    chunks.append(chunk)
wav = np.concatenate(chunks)
sf.write("streaming.wav", wav, model.tts_model.sample_rate)

CLI 用法

# 语音设计（无需参考音频）
voxcpm design \
  --text "VoxCPM2 带来录音室级多语言语音合成。" \
  --output out.wav

# 带风格控制的可控语音克隆
voxcpm design \
  --text "VoxCPM2 带来录音室级多语言语音合成。" \
  --control "年轻女性声音，温暖轻柔，略带微笑" \
  --seed 42 \
  --output out.wav

# 语音克隆（参考音频）
voxcpm clone \
  --text "这是一个语音克隆演示。" \
  --reference-audio path/to/voice.wav \
  --output out.wav

# 终极克隆（提示音频 + 转录文本）
voxcpm clone \
  --text "这是一个语音克隆演示。" \
  --prompt-audio path/to/voice.wav \
  --prompt-text "参考音频的转录文本" \
  --reference-audio path/to/voice.wav \ # 可选，用于更好的相似度
  --output out.wav

# 批量处理
voxcpm batch --input examples/input.txt --output-dir outs

# 可选的生成后时间戳（需安装 stable-ts）
pip install "voxcpm[timestamps]"
voxcpm design \
  --text "VoxCPM2 带来录音室级多语言语音合成。" \
  --output out.wav \
  --timestamps \
  --timestamp-level word \
  --timestamp-language en

# 字符级时间戳是尽力而为的，基于单词对齐推导
voxcpm design \
  --text "欢迎使用 VoxCPM2。" \
  --output out.wav \
  --timestamps \
  --timestamp-level char \
  --timestamp-language zh

# 帮助
voxcpm --help

Web 演示

python app.py --port 8808  # 然后在浏览器中打开：http://localhost:8808

使用 --device 选择运行设备：

python app.py --device auto

支持的值有 auto、cpu、mps、cuda 和 cuda:N。在 Apple Silicon Mac 上，auto 会在可用时使用 MPS。

🚢 生产部署 (Nano-vLLM)

如需高吞吐量服务，请使用 Nano-vLLM-VoxCPM——一个基于 Nano-vLLM 的专用推理引擎，支持并发请求和异步 API。

pip install nano-vllm-voxcpm

from nanovllm_voxcpm import VoxCPM
import numpy as np, soundfile as sf

server = VoxCPM.from_pretrained(model="/path/to/VoxCPM", devices=[0])
chunks = list(server.generate(target_text="来自 VoxCPM 的问候！"))
sf.write("out.wav", np.concatenate(chunks), 48000)
server.stop()

RTF 低至 ~0.13（NVIDIA RTX 4090 上）（标准 PyTorch 实现约为 ~0.3），支持批量并发请求和 FastAPI HTTP 服务器。部署详情请参见 Nano-vLLM-VoxCPM 仓库。

🏭 生产服务 (vLLM-Omni)

对于生产环境的多租户部署，请使用 vLLM-Omni——官方 vLLM 项目的全模态扩展，原生支持 VoxCPM2。包含 PagedAttention KV 缓存、连续批处理以及即用型的 OpenAI 兼容 /v1/audio/speech 端点。

# 从源码安装（最新 main 分支——vllm-omni 正在快速演进）
uv pip install vllm==0.19.0 --torch-backend=auto
git clone https://github.com/vllm-project/vllm-omni.git && cd vllm-omni
uv pip install -e .

其他平台（ROCm、XPU、MUSA、NPU）及 Docker 镜像请参见 vLLM-Omni 安装指南。

# 启动 OpenAI 兼容的 TTS 服务器（--omni 启用全模态服务）
vllm serve openbmb/VoxCPM2 --omni --port 8000

# 使用任意 OpenAI 客户端调用
curl http://localhost:8000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{"model":"openbmb/VoxCPM2","input":"来自 vLLM-Omni 上 VoxCPM2 的问候！","voice":"default"}' \
  --output out.wav

基于上游 vLLM 调度器，开箱即用支持批量并发请求、流式分块传输和多 GPU 部署。完整部署方案请参见 VoxCPM2 示例。

📱 设备端推理 (llama.cpp-omni)

如需在不使用 Python 的环境下进行设备端/边缘部署，请使用 llama.cpp-omni——一个基于 llama.cpp 的高性能 C++ 推理引擎，原生支持 CPU / Metal / CUDA / Vulkan 上的 VoxCPM2 GGUF。

1. 下载 GGUF 权重 请访问 HuggingFace 或 ModelScope——你需要一个 BaseLM（F16 或 Q8_0）文件加上 Acoustic 文件。Q8_0 将下载量减半，且质量损失可忽略。

2. 构建

git clone https://github.com/tc-mb/llama.cpp-omni.git && cd llama.cpp-omni
cmake -B build -DCMAKE_BUILD_TYPE=Release
cmake --build build --target voxcpm2-cli -j

CMake 会自动检测 Metal（macOS）或 CUDA（带 NVIDIA GPU 的 Linux）。

3. 运行

# 基础 TTS
./build/bin/voxcpm2-cli \
    -t "大家好，这是通过 llama.cpp-omni 运行的 VoxCPM2。" \
    -o output.wav VoxCPM2-BaseLM-Q8_0.gguf VoxCPM2-Acoustic-F16.gguf

# 语音克隆（参考音频）
./build/bin/voxcpm2-cli \
    -t "克隆的语音。" -r speaker.wav -o clone.wav \
    VoxCPM2-BaseLM-Q8_0.gguf VoxCPM2-Acoustic-F16.gguf

# 终极克隆（参考音频 + 转录文本）
./build/bin/voxcpm2-cli \
    -t "目标文本。" --prompt-wav speaker.wav --prompt-text "speaker.wav 的转录文本" \
    -o clone.wav VoxCPM2-BaseLM-Q8_0.gguf VoxCPM2-Acoustic-F16.gguf

在 Apple M4 Pro / Metal 上 RTF 约 1.76 (Q8_0)。 关键标志：--cfg（引导尺度），--timesteps（CFM 步数），--seed，--temperature，--stream。详见 llama.cpp-omni 仓库和 GGUF 权重页面。

完整参数参考、多场景示例及语音克隆技巧 → 快速入门指南 | 使用指南 | Cookbook

📦 模型与版本

	VoxCPM2	VoxCPM1.5	VoxCPM-0.5B
状态	🟢 最新版	稳定版	旧版
骨干参数量	2B	0.6B	0.5B
音频采样率	48kHz	44.1kHz	16kHz
LM 标记速率	6.25Hz	6.25Hz	12.5Hz
语言	30 种	2 种（中文、英文）	2 种（中文、英文）
克隆模式	独立参考与延续	仅延续	仅延续
声音设计	✅	—	—
可控语音克隆	✅	—	—
SFT / LoRA	✅	✅	✅
RTF (RTX 4090)	~0.30	~0.15	~0.17
Nano-VLLM 中的 RTF (RTX 4090)	~0.13	~0.08	~0.10
显存	~8 GB	~6 GB	~5 GB
权重	🤗 HF / MS	🤗 HF / MS	🤗 HF / MS
技术报告	arXiv	—	arXiv ICLR 2026
演示页面	音频样本	—	音频样本

VoxCPM2 基于 无分词器、扩散自回归 范式构建。模型完全在 AudioVAE V2 的潜在空间中运行，遵循四阶段流水线：LocEnc → TSLM → RALM → LocDiT，从而实现丰富的表现力和 48kHz 原生音频输出。

如需完整的架构细节、VoxCPM2 专属升级以及模型对比表，请参阅架构设计。

📊 性能

VoxCPM2 在公开的零样本与可控 TTS 基准测试中取得了最先进或可媲美的结果。

Seed-TTS-eval

Seed-TTS-eval 的 WER(⬇) 与 SIM(⬆) 结果 (点击展开)

Model	Parameters	Open-Source	test-EN		test-ZH		test-Hard
			WER/%⬇	SIM/%⬆	CER/%⬇	SIM/%⬆	CER/%⬇	SIM/%⬆
MegaTTS3	0.5B	❌	2.79	77.1	1.52	79.0	-	-
DiTAR	0.6B	❌	1.69	73.5	1.02	75.3	-	-
CosyVoice3	0.5B	❌	2.02	71.8	1.16	78.0	6.08	75.8
CosyVoice3	1.5B	❌	2.22	72.0	1.12	78.1	5.83	75.8
Seed-TTS	-	❌	2.25	76.2	1.12	79.6	7.59	77.6
MiniMax-Speech	-	❌	1.65	69.2	0.83	78.3	-	-
F5-TTS	0.3B	✅	2.00	67.0	1.53	76.0	8.67	71.3
MaskGCT	1B	✅	2.62	71.7	2.27	77.4	-	-
CosyVoice	0.3B	✅	4.29	60.9	3.63	72.3	11.75	70.9
CosyVoice2	0.5B	✅	3.09	65.9	1.38	75.7	6.83	72.4
SparkTTS	0.5B	✅	3.14	57.3	1.54	66.0	-	-
FireRedTTS	0.5B	✅	3.82	46.0	1.51	63.5	17.45	62.1
FireRedTTS-2	1.5B	✅	1.95	66.5	1.14	73.6	-	-
Qwen2.5-Omni	7B	✅	2.72	63.2	1.70	75.2	7.97	74.7
Qwen3-Omni	30B-A3B	✅	1.39	-	1.07	-	-	-
OpenAudio-s1-mini	0.5B	✅	1.94	55.0	1.18	68.5	23.37	64.3
IndexTTS2	1.5B	✅	2.23	70.6	1.03	76.5	7.12	75.5
VibeVoice	1.5B	✅	3.04	68.9	1.16	74.4	-	-
HiggsAudio-v2	3B	✅	2.44	67.7	1.50	74.0	55.07	65.6
VoxCPM-0.5B	0.6B	✅	1.85	72.9	0.93	77.2	8.87	73.0
VoxCPM1.5	0.8B	✅	2.12	71.4	1.18	77.0	7.74	73.1
MOSS-TTS		✅	1.85	73.4	1.20	78.8	-	-
Qwen3-TTS	1.7B	✅	1.23	71.7	1.22	77.0	6.76	74.8
FishAudio S2	4B	✅	0.99	-	0.54	-	5.99	-
LongCat-Audio-DiT	3.5B	✅	1.50	78.6	1.09	81.8	6.04	79.7
VoxCPM2	2B	✅	1.84	75.3	0.97	79.5	8.13	75.3

CV3-eval

CV3-eval 多语言 WER/CER(⬇) 结果 (点击展开)

Model	zh	en	hard-zh	hard-en	ja	ko	de	es	fr	it	ru
CosyVoice2	4.08	6.32	12.58	11.96	9.13	19.7	-	-	-	-	-
CosyVoice3-1.5B	3.91	4.99	9.77	10.55	7.57	5.69	6.43	4.47	11.8	10.5	6.64
Fish Audio S2	2.65	2.43	9.10	4.40	3.96	2.76	2.22	2.00	6.26	2.04	2.78
VoxCPM2	3.65	5.00	8.55	8.48	5.96	5.69	4.77	3.80	9.85	4.25	5.21

MiniMax-Multilingual-Test

Minimax-MLS-test 的 WER(⬇) 结果 (点击展开)

语言	Minimax	ElevenLabs	Qwen3-TTS	FishAudio S2	VoxCPM2
Arabic	1.665	1.666	–	3.500	13.046
Cantonese	34.111	51.513	–	30.670	38.584
Chinese	2.252	16.026	0.928	0.730	1.136
Czech	3.875	2.108	–	2.840	24.132
Dutch	1.143	0.803	–	0.990	0.913
English	2.164	2.339	0.934	1.620	2.289
Finnish	4.666	2.964	–	3.330	2.632
French	4.099	5.216	2.858	3.050	4.534
German	1.906	0.572	1.235	0.550	0.679
Greek	2.016	0.991	–	5.740	2.844
Hindi	6.962	5.827	–	14.640	19.699
Indonesian	1.237	1.059	–	1.460	1.084
Italian	1.543	1.743	0.948	1.270	1.563
Japanese	3.519	10.646	3.823	2.760	4.628
Korean	1.747	1.865	1.755	1.180	1.962
Polish	1.415	0.766	–	1.260	1.141
Portuguese	1.877	1.331	1.526	1.140	1.938
Romanian	2.878	1.347	–	10.740	21.577
Russian	4.281	3.878	3.212	2.400	3.634
Spanish	1.029	1.084	1.126	0.910	1.438
Thai	2.701	73.936	–	4.230	2.961
Turkish	1.52	0.699	–	0.870	0.817
Ukrainian	1.082	0.997	–	2.300	6.316
Vietnamese	0.88	73.415	–	7.410	3.307

Minimax-MLS-test 的 SIM(⬆) 结果 (点击展开)

语言	Minimax	ElevenLabs	Qwen3-TTS	FishAudio S2	VoxCPM2
Arabic	73.6	70.6	–	75.0	79.1
Cantonese	77.8	67.0	–	80.5	83.5
Chinese	78.0	67.7	79.9	81.6	82.5
Czech	79.6	68.5	–	79.8	78.3
Dutch	73.8	68.0	–	73.0	80.8
English	75.6	61.3	77.5	79.7	85.4
Finnish	83.5	75.9	–	81.9	89.0
French	62.8	53.5	62.8	69.8	73.5
German	73.3	61.4	77.5	76.7	80.3
Greek	82.6	73.3	–	79.5	86.0
Hindi	81.8	73.0	–	82.1	85.6
Indonesian	72.9	66.0	–	76.3	80.0
Italian	69.9	57.9	81.7	74.7	78.0
Japanese	77.6	73.8	78.8	79.6	82.8
Korean	77.6	70.0	79.9	81.7	83.3
Polish	80.2	72.9	–	81.9	88.4
Portuguese	80.5	71.1	81.7	78.1	83.7
Romanian	80.9	69.9	–	73.3	79.7
Russian	76.1	67.6	79.2	79.0	81.1
Spanish	76.2	61.5	81.4	77.6	83.1
Thai	80.0	58.8	–	78.6	84.0
Turkish	77.9	59.6	–	83.5	87.1
Ukrainian	73.0	64.7	–	74.7	79.8
Vietnamese	74.3	36.9	–	74.0	80.6

内部 30 语言 ASR 基准测试

我们还运行了一个内部多语言可懂度基准测试，包含 30 种语言 × 500 个样本。ASR 转录通过 Gemini 3.1 Flash Lite API 进行评估。

内部 30 语言 ASR 基准测试（点击展开）

语言	指标	VoxCPM2	Fish S2-Pro
ar (阿拉伯语)	CER	1.23%	0.30%
da (丹麦语)	WER	2.70%	3.52%
de (德语)	WER	0.96%	0.64%
el (希腊语)	WER	3.17%	4.61%
en (英语)	WER	0.42%	1.03%
es (西班牙语)	WER	1.33%	0.64%
fi (芬兰语)	WER	2.24%	2.80%
fr (法语)	WER	2.16%	2.34%
he (希伯来语)	CER	2.98%	15.27%
hi (印地语)	CER	0.79%	0.91%
id (印尼语)	WER	1.36%	1.68%
it (意大利语)	WER	1.65%	1.08%
ja (日语)	CER	2.40%	1.82%
km (高棉语)	CER	2.05%	75.15%
ko (韩语)	CER	0.95%	0.29%
lo (老挝语)	CER	1.90%	87.40%
ms (马来语)	WER	1.75%	1.41%
my (缅甸语)	CER	1.42%	85.27%
nl (荷兰语)	WER	1.25%	1.68%
no (挪威语)	WER	2.49%	3.76%
pl (波兰语)	WER	1.90%	1.65%
pt (葡萄牙语)	WER	1.48%	1.49%
ru (俄语)	WER	0.90%	0.86%
sv (瑞典语)	WER	2.22%	2.63%
sw (斯瓦希里语)	CER	1.07%	2.02%
th (泰语)	CER	0.94%	1.92%
tl (他加禄语)	WER	2.63%	4.00%
tr (土耳其语)	WER	1.65%	1.65%
vi (越南语)	WER	1.56%	5.56%
zh (中文)	CER	0.92%	1.02%
平均（30 种语言）		1.68%	-

InstructTTSEval

指令引导的语音设计结果（点击展开）

模型	InstructTTSEval-ZH			InstructTTSEval-EN
	APS⬆	DSD⬆	RP⬆	APS⬆	DSD⬆	RP⬆
Hume	–	–	–	83.0	75.3	54.3
VoxInstruct	47.5	52.3	42.6	54.9	57.0	39.3
Parler-tts-mini	–	–	–	63.4	48.7	28.6
Parler-tts-large	–	–	–	60.0	45.9	31.2
PromptTTS	–	–	–	64.3	47.2	31.4
PromptStyle	–	–	–	57.4	46.4	30.9
VoiceSculptor	75.7	64.7	61.5	–	–	–
Mimo-Audio-7B-Instruct	75.7	74.3	61.5	80.6	77.6	59.5
Qwen3TTS-12Hz-1.7B-VD	85.2	81.1	65.1	82.9	82.4	68.4
VoxCPM2	85.2	71.5	60.8	84.2	83.2	71.4

⚙️ 微调

VoxCPM 支持全量微调（SFT）和LoRA 微调。只需 5-10 分钟的音频，即可适配特定的说话人、语言或领域。

# LoRA 微调（参数高效，推荐）
python scripts/train_voxcpm_finetune.py \
    --config_path conf/voxcpm_v2/voxcpm_finetune_lora.yaml

# 全量微调
python scripts/train_voxcpm_finetune.py \
    --config_path conf/voxcpm_v2/voxcpm_finetune_all.yaml

# 训练与推理 WebUI
python lora_ft_webui.py   # 然后打开 http://localhost:7860

完整指南 → 微调指南（数据准备、配置、训练、LoRA 热切换、常见问题）

📚 文档

完整文档：voxcpm.readthedocs.io

主题	链接
快速开始与安装	快速开始
使用指南与手册	用户指南
VoxCPM 系列	模型
微调（SFT 与 LoRA）	微调指南
常见问题与故障排除	FAQ

🌟 生态系统与社区

项目	描述
Nano-vLLM	高吞吐量的快速 GPU 推理服务
vLLM-Omni	官方 vLLM 全模态推理服务，支持 VoxCPM2 — 具备 PagedAttention、OpenAI 兼容 API
llama.cpp-omni	全双工全模态推理引擎 — 在 CPU / Metal / CUDA / Vulkan 上运行 VoxCPM2 GGUF 格式
VoxCPM.cpp	GGML/GGUF 格式：支持 CPU、CUDA、Vulkan 推理
audio.cpp	基于 ggml 的统一 C++ 推理框架 — 支持 CPU/CUDA/Vulkan/Metal，提供 CLI 与服务器，无需 Python
VoxCPM-ONNX	ONNX 导出，用于 CPU 推理
VoxCPMANE	Apple Neural Engine 后端
voxcpm_rs	Rust 重新实现
ComfyUI-VoxCPM	ComfyUI 基于节点的工作流
ComfyUI_RH_VoxCPM	功能完备的 ComfyUI 工作流，支持 VoxCPM 2 的多说话人生成、LoRA 与自动 ASR
ComfyUI-VoxCPMTTS	ComfyUI TTS 扩展
TTS WebUI	基于浏览器的 TTS 扩展

查看文档中的完整 Ecosystem。社区项目不由 OpenBMB 官方维护。构建了很酷的东西？通过 Issue 或 PR 添加它！

⚠️ 风险与限制

潜在的滥用风险： VoxCPM 的语音克隆功能可生成高度逼真的合成语音。严禁将 VoxCPM 用于冒充、欺诈或虚假信息传播。我们强烈建议明确标注所有 AI 生成的内容。
可控生成的稳定性： 语音设计（Voice Design）和可控语音克隆（Controllable Voice Cloning）的结果可能因运行而异——您可尝试生成 1~3 次来获得期望的声音或风格。我们正在积极改进可控性的一致性。
语言覆盖： VoxCPM2 官方支持 30 种语言。对于列表外的语言，欢迎您直接测试或基于自己的数据进行微调。我们计划在后续版本中扩展语言覆盖范围。
使用建议： 本模型基于 Apache-2.0 许可证发布。对于生产部署，我们建议根据您的使用场景进行充分的测试和安全评估。

📖 引用

如果您觉得 VoxCPM 有帮助，请考虑引用我们的工作并点亮 ⭐ 仓库！

@article{zhou2026voxcpm2,
  title   = {VoxCPM2 Technical Report},
  author  = {Zhou, Yixuan  and Zeng, Guoyang and Liu, Xin and Li, Xiang and Yu, Renjie and Gui, Jiancheng and Wu, Jiaheng and Wang, Ziyang and Shen, Xudong and Ye, Runchuan  and Zhang, Zhisheng and Zhou, Jiuyang and Bai, Bingsong and Sun, Weiyue and Deng, Mengyuan and Shi, Qundong and Wu, Zhiyong and Liu, Zhiyuan},
  journal = {arXiv preprint arXiv:2606.06928},
  year    = {2026},
}

@article{zhou2025voxcpm,
  title = {Voxcpm: Tokenizer-free TTS for context-aware speech generation and true-to-life voice cloning},
  author = {Zhou, Yixuan and Zeng, Guoyang and Liu, Xin and Li, Xiang and Yu, Renjie and Wang, Ziyang and Ye, Runchuan and Sun, Weiyue and Gui, Jiancheng and Li, Kehan and Wu, Zhiyong and Liu, Zhiyuan},
  journal = {arXiv preprint arXiv:2509.24650},
  year = {2025}
}

📄 许可证

VoxCPM 模型权重和代码在 Apache-2.0 许可证下开源。

🙏 致谢

DiTAR 扩散自回归主干
MiniCPM-4 语言模型基础
CosyVoice 基于 Flow Matching 的 LocDiT 实现
DAC 音频 VAE 主干
我们的社区用户：感谢你们试用 VoxCPM、报告问题、分享想法和贡献代码——你们的支持帮助项目不断改进。

合作机构

ModelBest THUHCSI

⭐ Star 历史

Star History Chart

在 GitHub 查看完整项目