Are you sure you want to delete this task? Once this task is deleted, it cannot be recovered.
You can not select more than 25 topics
Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
windsingai
4795df6ddd
|
2 years ago | |
|---|---|---|
| readme.md | 2 years ago | |
| train.py | 2 years ago | |
| train_sdxl.sh | 2 years ago | |
| train_sdxllora.sh | 2 years ago | |
readme.md
这个仓库用于介绍如何使用青龙脚本进行训练
使用前必读
-
该项目仅供进行ai调试学习，请勿用于任何违法用途
-
请自行解决数据集授权问题，禁止使用非授权数据集进行训练！
-
任何由于使用非授权数据集进行训练造成的问题，需使用者自行承担全部责任和后果！与仓库、仓库维护者、Stability AI、 Kohya S.、烈风、秋葉、青龙圣者、本镜像制作者无关！
镜像介绍
基于青龙圣者训练脚本制作的镜像，可以用于进行sd1.5和sdxl的lora训练或者db训练。内置了一个命令行版本的阿里云盘，有需要的可以自行使用。
现在已经可以显示错误代码了，有问题自己看错误代码。
PS：本人不是专业的，也没有debug的能力，做出来的东西有问题很正常，请多多包涵
如何使用
train_sdxl.sh为测试，更改这个是无效的，请使用train_sdxllora
如何创建实例
fork本仓库，然后再云脑中选择新建训练任务。（fork按钮在右上角，中文是派生）
然后选择英伟达GPU，并在参数设置-镜像中选择下面的镜像
智算集群：
192.168.242.22:443/default-workspace/fccb038c23234b9e80105d4ccd152117/image:final_scripts
上传训练集
直接在顶部上传数据集压缩包，格式为zip，点开压缩包只能看见一个文件夹，文件夹名称为x_xx（比如10_1girl），文件夹里面放训练集图片，暂不支持正则，正常上传完了之后就不需要再训练脚本额外设置路径
上传底膜
模型顶部上传（PS：上传模型默认开源）
打开trainsdxl.sh
修改你的脚本，只需要修改底模的名字，不需要修改路径。
非SDXL记得把vae那一项给留空，sdxl修复版vae已经包含在训练程序中，不需要额外上传
开启训练任务
设置训练程序train.py
old version
如何创建实例
想要在云脑的创建实例需要创建一个仓库，也可以选择fork本仓库，然后再云脑中选择新建调试任务。（fork按钮在右上角，中文是派生）
然后选择英伟达GPU，并在参数设置-镜像中选择下面的镜像
镜像创建后有四小时的时间，四小时后镜像就会关闭，只保留code目录下的文件(你能在左边栏看到的所有文件)！！！！！！！！！！！！！！
须知
如果你在晚上6点-9点创建实例的时候一直waiting请不要紧张，那是因为使用的人太多了，需要排队，尤其是在周末
如果你实在担心可以点任务名称的蓝字，进入后可以查看镜像的状态
镜像链接
智算集群：
192.168.242.22:443/default-workspace/fccb038c23234b9e80105d4ccd152117/image:final_scripts
如何开始训练
-
打开终端（terminal）输入su，自动激活conda
-
移动训练脚本
mv /root/lora-scripts /code
-
上传底模和训练集
-
打开训练脚本（SDXL）
cd /code/lora-scripts && bash train_sdxllora.sh
关于数据里及底模
底模和训练集可以提前上传，创建调试任务的时候添加然后从对应的文件夹调出来就行
ps：上传模型需要在本地计算md5码，如果你的CPU过于拉跨，可能会卡住一段时间
底模建议放到/code/lora-scripts/sd-models
cd /code/lora-scripts/sd-models
训练集建议放到/code/lora-scripts/train/aki
cd /code/lora-scripts/train/aki
下载数据集以及底模可以使用阿里云盘命令行版（具体使用方法在下面）
关于训练脚本
由于使用的仓库的训练脚本各种时期的都有，建议在train_sdxllora.sh中修改参数
关于训练界面(GUI)
未测试，想使用的可以试一下这个命令
bash /code/lora-scripts/run_gui.sh
平台不直接对外提供端口，想用webui可以看一下这个：https://openi.pcl.ac.cn/OpenIOSSG/Online-Inference_Example
关于训练日志
由于平台不直接对外提供端口，建议使用wandb，使用方法见：【一边炼丹一边跑图】玩转wandb，最新优化器算法以及训练脚本更新
tensorboard想要使用也需要开放端口，具体方法同训练界面(GUI)
关于阿里云命令行客户端使用方法
打开阿里云盘
/code/lora-scripts/aliyunpan/aliyunpan
具体用法可见，一般用到的只有登录命令的upload命令
关于训练任务
不需要再用调试任务，一键搞定
handleDatasetModelStorageSchedule failed
更新
现在可以直接在页面编辑脚本了，可以节省时间
