ChatTTS被精心构建用于对话情境的文本至语音转换模型,它适用于LLM辅助对话等任务,并支持英语与汉语两种语言选项。该模型的最大版本经过超过10万小时的英汉数据训练得来。在HuggingFace平台上公开的版本则经过了4万小时的训练,且未进行SFT(特定领域微调)。
亮点
- 对话式 TTS: ChatTTS针对对话式任务进行了优化,实现了自然流畅的语音合成,同时支持多说话人。
- 细粒度控制: 该模型能够预测和控制细粒度的韵律特征,包括笑声、停顿和插入词等。
- 更好的韵律: ChatTTS在韵律方面超越了大部分开源TTS模型。同时提供预训练模型,支持进一步的研究。
目前最新的打包安装版是:ChatTTS-UI-0.84
ChatTTS 一键安装包:【网盘下载】
注意:如果你无法网盘下载,可以纯手动部署:
1.安装 Python 和 git环境, python需要 3.9+ 版本,比如我选择 python 3.10.6 【点击下载】
然后安装下git环境:【官方下载】
2.下载 chatTTS-ui 【点击下载】
3.解压后在根目录下输入CMD进入终端,然后依次执行下面的安装命令:
4.如果不需要CUDA加速,执行
如果需要CUDA加速,执行
如果你没有安装CUDA+ ToolKit,教程如下
要进行验证,请打开 PowerShell 或终端并输入以下命令:
如果看到类似以下结果,则说明您已成功安装 NVIDIA 驱动程序:
2.检查是否安装 CUDA
确保您已安装与 NVIDIA 驱动程序兼容的 CUDA 工具包。
要进行验证,请打开 PowerShell 或终端并输入以下命令:
如果看到类似以下结果,则说明您已成功安装 CUDA:
但是如果返回的信息是这样的:
那说明电脑上没有安装CUDA,或者没有配置到系统环境
1.CUDA 官方安装包:【点击下载】
2.添加 CUDA 到系统环境变量: 确保 CUDA 的安装目录已经添加到系统的环境变量中。你可以手动将 CUDA 的 bin
目录添加到 PATH
环境变量中。默认安装路径: CUDA 工具包通常默认安装在特定的目录中。在 Windows 上,默认路径一般是 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA
。
5.最后执行 python app.py 启动,将自动打开浏览器窗口,默认地址 http://127.0.0.1:9966
(注意:默认从 modelscope 魔塔下载模型,不可使用代理下载,请关闭代理)
6.源码部署启动后,会先从 modelscope下载模型,但modelscope缺少spk_stat.pt,会报错,【点击下载 spk_stat.pt】
下载后将该文件复制到 项目目录/models/pzc163/chatTTS/asset/ 文件夹内
注意 modelscope 仅允许中国大陆ip下载模型,如果遇到 proxy 类错误,请关闭代理。
如果你希望从 huggingface.co 下载模型,请打开 app.py 查看大约第50行-60行的注释。如果需要GPU加速,必须是英伟达显卡,并且安装 cuda版本的torch
需要设置的提示词:口语化、 笑声、停顿,合理使用会让合成的语音更加逼真自然!
暂无评论内容