SuperAPI AI 工具集

kokoro-tts

通用与其它

查看项目

更新于 10-15 20:10

技能介绍

用途:Kokoro 是一个小型、快速、采用宽松许可的文本转语音模型,全部价值在于自行运行——无需 API 密钥、无按字符计费、音频不离开本机。技能用于帮助判断 Kokoro 是否适合任务、选择运行时并取得可用输出,同时识别其不适合的任务。适合免费大批量英文旁白(有声书、课程/视频配音、批量文档转语音、屏幕阅读器)、离线或隐私受限管线(医疗、法律、端侧、气隙环境)、浏览器/端侧无服务器 TTS(kokoro-js + WebGPU/WASM)以及原型验证。不适合声音克隆、情感或角色表演(笑声、哭泣、喊叫、讽刺等动态演绎)、高保真非英语或多语言场景,以及需要实时双向对话与打断的对话式智能体。

模型事实:约 8200 万参数,架构为 StyleTTS 2 加 ISTFTNet 解码器;权重 Apache 2.0,可商用、再分发与微调(需署名);v1.0 于 2025-01-27 发布并为当前默认。训练数据为数百小时、全部为宽松许可或非版权素材,含闭源 TTS 生成的合成音频,以及 Koniwa(CC BY 3.0)不足 1 小时、SIWIS(CC BY 4.0)不足 11 小时;训练成本约 1000 美元(约 1000 A100-80GB GPU 小时)。输出固定 24 kHz 单声道。v1.0 提供 8 种语言、54 个声音(美式与英式英语算一种语言)。

声音与语言:声音 ID 形如 [语言前缀][性别]_[名称],如 af_heart、bm_george、if_sara。语言代码:a 美式英语、b 英式英语、e 西班牙语、f 法语、h 印地语、i 意大利语、j 日语、p 巴西葡萄牙语、z 普通话。质量并不统一,应按等级选择:最佳英语女声 af_heart(A,卡片默认)、af_bella(A−)、af_nicole(B−)、bf_emma(B−);较扎实的英语有 af_aoede、af_kore、af_sarah、am_fenrir、am_michael、am_puck(均 C+)、bm_fable、bm_george(C)。许多声音为 C 或更低,多数非英语声音为 C/D,训练数据仅数分钟合成音频。

文本长度与分块:单次前向最多 510 个音素化 token(含边界 512);声音在 100–200 token 表现最佳,过短(<10–20 token)较弱,过长(>400)会赶。切勿把整章作为一个字符串;按句子/段落切分再拼接。Python KPipeline 自动切分,split_pattern 对英语默认 r'\n+',返回每个分块的 (graphemes, phonemes, audio),需自行拼接。非英语分块未完全实现,长文本可能被静默截断,需自行在句界插入 \n 并核对输出时长。

发音控制:Kokoro 不直接读字形,文本经 misaki 转为音素。英语使用 misaki 词典(spaCy + num2words),词典外词回退到 espeak-ng(EspeakFallback 默认开启),espeak-ng 也是非英语 G2P 的骨干,需作为系统依赖安装,否则 OOV 词会逐字母拼读。修正误读可用行内音素覆盖语法 词,如 Misaki;或先用 misaki 生成音素并手工修正后直接传给模型;也可改写文本(如“A-P-I”“twenty twenty-six”)。

声音混合:一个声音是风格向量(voicepack 张量),混合是两个风格向量的加权平均,公式为 style1*(w0/100)+style2*(w1/100),权重不合计为 100 时归一化;部分工具上限为两个声音。Kokoro-FastAPI 中可用 voice="af_sky+af_bella" 请求混合。原生 Python 可自行加载两个张量求平均,比例任意。混合不会增加情感、不会由参考音频创建新说话人身份,也救不了低等级声音。

运行方式:Python kokoro 包(PyTorch 后端,GPU 可选,适合服务器/批量)安装命令 pip install kokoro>=0.9.2 soundfile,并需系统 espeak-ng;示例使用 KPipeline(lang_code='a'),迭代 pipeline(text, voice='af_heart', speed=1.0) 拼接音频后以 soundfile 写入 24000 Hz。kokoro-js/ONNX 可在浏览器或 Node 端侧运行(npm i kokoro-js),模型 ID onnx-community/Kokoro-82M-v1.0-ONNX,dtype 支持 fp32、fp16、q8、q4、q4f16,device 支持 wasm、webgpu、cpu。Kokoro-FastAPI 是 Docker 化的 OpenAI 兼容服务,暴露 /v1/audio/speech,支持声音混合、MP3/WAV/Opus/FLAC/M4A/PCM、流式、逐词时间戳与音素端点,属第三方包装,需固定版本并核对其当前语法。另有 Replicate、Baseten 等托管端点,但会重新引入按次成本并把文本送出本机。

性能:截至 2026-07-10 的基准显示 GPU 比实时快数十倍(A10G 约 96×,L4 约 81×,T4 约 36×;ONNX 较低 20–37×);32 vCPU 约 5×,4 核约 2× 实时。82M 参数占用小,模型加载远低于 1 GB,4 GB 内存可推理,8 GB 以上便于批处理,可经 ONNX 运行于树莓派级设备。排行榜方面,2024-12 卡片称 v0.19 在 TTS Spaces Arena 曾排名第一(受限模型、单声音设置);2026 年更广榜单中位于开源权重模型中游,约 2026-03 一份聚合榜将 v1.0 列开源权重约第 4(Elo 约 1060)。

交付前检查:听辨人名/术语/数字误读(最常见,用音素覆盖修正)、超过约 400 token 的赶或截断(重新切短)、非英语长文本截断(核对时长并预切分)、极短句子出现瑕疵(补充上下文或句号)、语言与声音前缀不匹配、需要情感却平淡(应换模型而非重试)。

许可与安全:权重 Apache 2.0,允许商用、再分发与微调并需署名;各包装项目许可需单独核实。训练含闭源 TTS 生成的合成音频,对来源有严格要求的客户应披露。无克隆能力不等于无滥用风险,不要生成冒充真实可识别个人的音频或用于欺骗;在受众可能误以为真人的场合应披露为合成语音。声音名称只是标签,不对应真实个人。以上版本、许可、声音数与性能事实以 2026-07-10 来源为准,可能变化。