pax_global_header00006660000000000000000000000064146417523430014523gustar00rootroot0000000000000052 comment=c46e5e2fb8f0d2235a8abd83ed89f44653f19369 sovits-openi/000077500000000000000000000000001464175234300135265ustar00rootroot00000000000000sovits-openi/README.md000066400000000000000000000236321464175234300150130ustar00rootroot00000000000000# so-vits-svc for openi ### 这个仓库将介绍如何使用openi的so-vits-svc镜像进行训练与推理 --- ## 使用前必读： * 该项目仅供进行ai调试学习，请勿用于任何违法用途 * 请自行解决数据集授权问题，禁止使用非授权数据集进行训练！ * 任何由于使用非授权数据集进行训练造成的问题，需使用者自行承担全部责任和后果！与仓库、仓库维护者、svc develop team 、本镜像制作者无关！ * so-vits-svc原项目链接:[https://github.com/svc-develop-team/](https://github.com/svc-develop-team/) * 本镜像内置的程序版本是[多玩幻灵qwq](https://openi.pcl.ac.cn/HuanLin)改动过log样式的版本，仓库链接:[https://openi.pcl.ac.cn/HuanLin/so-vits-svc-huan0](https://openi.pcl.ac.cn/HuanLin/so-vits-svc-huan0) * 请在正式启动云脑任务前先完整阅读此指南谢谢喵 --- # 如何使用： ## 在创建云脑时填写以下镜像链接 * 智算集群： ```html 192.168.242.22:443/default-workspace/fccb038c23234b9e80105d4ccd152117/image:so-vits-svc-4.1_ZS ``` ### 关于集群的介绍 * **智算集群**的调试任务是**T4 15G**，**V100S 32G**与**A100 40G**(均单次最长运行4小时) * **如使用调试任务时间到了需要重新开机继续训练** * **智算集群**的训练任务是**V100S 32G**与**A100 40G** ### 关于调试任务与训练任务的差别 * 调试任务有jupyterlab，有交互式界面，训练任务是封闭式的 * 训练任务只能开始提交一次指令，需要自行配置训练代码，或者配置jupyterlab * 调试任务限时4小时，训练任务不限时 ### 关于镜像的介绍 * 两个集群的镜像均已配置好环境与程序，程序存放在`/root/so-vits-svc` * 输入下列命令便于操作(su后可以tab补全) (JupyterLab左侧的文件区对应的是/code目录) ```shell su mv /root/so-vits-svc /tmp/code ``` --- ## 如何使用这个镜像训练so-vits-svc模型 ### Step.1 切片上传数据集 * **在上传数据前需将音频切片成3-12s**，可以使用 [audio-slicer-GUI](https://github.com/flutydeer/audio-slicer)、[audio-slicer-CLI](https://github.com/openvpi/audio-slicer) 切片完成后，需要以以下文件结构将数据集放入 `dataset_raw` 目录 (音频文件仅支持wav格式，且路径仅能包含英文，数字，下划线，**以下仅作示范，合规命名都行**) >dataset_raw >├───speaker0 >│ ├───xxx1-xxx1.wav >│ ├───... >│ └───Lxx-0xx8.wav >└───speaker1 > ├───xx2-0xxx2.wav > ├───... > └───xxx7-xxx007.wav * **推荐：将数据集打包上传到openi并挂载，数据集将被挂载在`/dataset`，可以使用以下命令进行移动并解压** * 建议：小于1G打包成`zip`文件，大于1G打包成`tar.gz`文件 ```shell cp /tmp/dataset/* /tmp/code/so-vits-svc/dataset_raw/ cd /tmp/code/so-vits-svc/dataset_raw/ unzip ./*.zip tar -xvf ./*.tar.gz rm ./*.zip rm ./*.tar.gz cd .. ``` ### Step.2 预处理 #### Step.2.1 重采样音频至44.1k ```shell python3 resample.py ``` **以上这行代码包含响度匹配，有可能损失音质，如果已经进行过响度匹配，可以执行下面这行跳过响度匹配** ```shell python3 resample.py --skip_loudnorm ``` #### Step.2.2 自动划分训练集、验证集，以及生成配置文件 ```shell python3 preprocess_flist_config.py --speech_encoder vec768l12 ``` **响度嵌入可以使输出音频的响度匹配推理输入音频的响度** 响度嵌入对素材质量要求较高，若使用响度嵌入，需要使用下面这行指令： ```shell python3 preprocess_flist_config.py --speech_encoder vec768l12 --vol_aug ``` **此时可以在生成的 `config.json` 与 `diffusion.yaml` 修改部分参数** **config.json** * `keep_ckpts`：训练时保留最后几个模型，`0`为保留所有，默认只保留最后`3`个，根据本人实测，本平台可以开到25不报错，不建议更大 * `batch_size`：单次处理的数据量。较大的 batch size 可以利用硬件资源并行计算，加快训练速度。因为 GPU 等硬件设备在处理大规模矩阵运算时效率更高。但是，更大的 batchsize 会导致显存占用增加，超出硬件所能承受的范围便会出现 Cuda out of memory 关于设置Batch size的建议，**使用T4 15G时不建议超过15，使用V100S 32G时不建议超过35，使用A100 40G时不建议超过46** * `learning_rate` : 默认0.0001，可适当调大，加快模型收敛速度，bs15可设置成0.00015，bs35时可设置成0.000235，bs46可设置成0.00028 * `fp16_run` :是否启用半精度计算，默认**False**，打开可加快模型训练速度 **(fp16大概能快30-55%，bf16大概能快3-8%)**。 * `half_type` ：默认fp16，如果是A100可使用BF16，V100S和T4不支持BF16 **(不建议使用BF16!)** **BF16** 相比 FP16 没那么容易 NaN，但是损失精度比FP16更严重 **(经实测，本平台提供的A100跑BF16的速度和FP32不相上下，不建议使用，起不到加速作用)** **FP16** 相比 FP32/BF16 更容易 NaN，但是精度比 BF16 高，对比 FP32 也损失不多 **diffusion.yaml** * `cache_device`：缓存的设备，默认的**cpu**是缓存到内存，改成**cuda**可以缓存至显存，效率高于内存 * `k_step_max` : 训练时可仅训练`k_step_max`步扩散以节约训练时间，注意，该值必须小于`1000`，默认为 0 训练整个扩散模型，**建议改成100以提高训练速度和浅扩散的质量，(注意，如果不训练整个扩散模型将无法使用仅扩散模型推理！)** #### Step.2.3 生成 hubert 与 f0 ```shell python3 preprocess_hubert_f0.py --f0_predictor rmvpe --use_diff --num_processes 3 ``` **f0_predictor** 建议在以下几个中选择 >crepe >rmvpe >fcpe **rmvpe**音质等多方面综合最好；**fcpe**最快，同时音质不输crepe；**crepe**对于嘈杂音频处理稍好，个人推荐rmvpe **num_processes**是处理线程数，2比1略快 ps.1.A100算力使用3线程RMVPE处理1小时音频大约需要10分钟，可以估算一下 ps.2.如果卡在100%超过2分钟，例如以下所示，可以`Ctrl+C`强行结束 ```shell Preprocessing ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╸ 100% 0:00:01 *Elapsed 0:59:57 ``` ### Step.3 训练 #### Step.3.1 主模型训练 ```shell python3 train.py -c configs/config.json -m 44k ``` 推理使用的模型将输出在/logs/44k #### Step.3.2 浅扩散模型的训练 (可选) 这个模型主要用于消除电音，如果主模型训练的已经足够满意了，可以不训练 ```shell python3 train_diff.py -c configs/diffusion.yaml ``` 浅扩散模型将输出在/logs/44k/diffusion ##### Step.3.2.b 训练1000步完整扩散模型 (可选) * 镜像中包含了**sovits主模型的底模和100步浅扩散的底模** 如需训练1000步完整扩散模型，需要挂载本项目的模型仓库中的完整扩散底模并先执行以下代码 ```shell rm /tmp/code/so-vits-svc/logs/44k/diffusion/model_0.pt cp /tmp/pretrainmodel/model_0.pt /tmp/code/so-vits-svc/logs/44k/diffusion ``` #### Step.3.3 使用tensorboard查看模型loss曲线 (可选) ```shell tensorboard --logdir /tmp/code/so-vits-svc/logs/44k --host 0.0.0.0 ``` **以上步骤用于启动tensorboard，如果要使用外网访问需要改动`./frp/frpc.ini`，并新开个终端执行以下代码启动内网穿透服务** ```shell su cd /tmp/code/so-vits-svc/frp chmod 777 ./frpc ./frpc -c ./frpc.ini ``` #### Step.3.4 聚类模型训练 (可选) 这个模型主要用于减小音色泄露，使得模型训练出来更像目标的音色，但会使咬字稍差 ```shell python3 cluster/train_cluster.py --gpu ``` 聚类模型将输出为/logs/44k/kmeans_10000.pt #### Step.3.5 压缩模型 (可选) 这一步是将模型文件中继续训练所需的部分移除，可以将大小缩小至约1/3 例： ```shell python3 compress_model.py -c="configs/config.json" -i="logs/44k/G_30400.pth" -o="logs/44k/release.pth" ``` ## 如何使用这个镜像推理出音频 #### a.使用`inference_main.py`指令推理 例: ```shell python3 inference_main.py -m "logs/44k/G_74000.pth" -c "configs/config.json" -n "input.wav" -t 0 -f0p rmvpe -s "nahida" -cr 0.3 -shd -dm "logs/44k/diffusion/model_26000.pt" -dc "configs/diffusion.yaml" -ks 50 ``` **必填部分**: + `-m` | `--model_path`：模型路径 + `-c` | `--config_path`：配置文件路径 + `-n` | `--clean_names`：wav 文件名列表，放在 raw 文件夹下 + `-t` | `--trans`：音高调整，支持正负（半音） + `-s` | `--spk_list`：合成目标说话人名称 **可选部分**: + `-cl` | `--clip`：音频强制切片，默认 0 为自动切片，单位为秒/s + `-f0p` | `--f0_predictor`：选择 F0 预测器，**建议可选** `crepe`,`rmvpe`,`fcpe`, 默认为pm + `-a` | `--auto_predict_f0`：语音转换自动预测音高，**转换歌声时不要打开这个会严重跑调，转换说话内容打开效果有可能更好** + `-cm` | `--cluster_model_path`：聚类模型或特征检索索引路径，留空则自动设为各方案模型的默认路径，如果没有训练聚类或特征检索则随便填 + `-cr` | `--cluster_infer_ratio`：聚类方案或特征检索占比，范围 0-1，若没有训练聚类模型或特征检索则默认 0 即可，**经实测0.2-0.5效果相对比较好** + `-shd` | `--shallow_diffusion`：是否使用浅层扩散，使用后可解决一部分电音问题，默认关闭 浅扩散设置： + `-dm` | `--diffusion_model_path`：扩散模型路径 + `-dc` | `--diffusion_config_path`：扩散模型配置文件路径 + `-ks` | `--k_step`：扩散步数，越大越接近扩散模型的结果，默认 100 #### b.使用`webUI.py`网页端推理 ```shell python3 webUI.py ``` **以上步骤用于启动webUI，如果要使用外网访问需要改动`./frp/frpc.ini`，并新开个终端执行以下代码启动内网穿透服务** ```shell cd /tmp/code/so-vits-svc/frp chmod 777 ./frpc ./frpc -c ./frpc.ini ```sovits-openi/run.py000066400000000000000000000001021464175234300146750ustar00rootroot00000000000000import os os.system('su') os.system('mv /root/so-vits-svc /code ')