×

[Novel AI]别人训练的词条、模型应该怎么用

Kalet Kalet 发表于2023-02-21 16:43:38 浏览337 评论0

抢沙发发表评论

转自:NovelAi本地部署版详细教程【Ai绘画小讲堂】 - 哔哩哔哩 (bilibili.com)



今天遇见很多人问,下载了别人分享的私炉成功,应该怎么用?pt文件不知道是什么类型的?下载的文件不知道放哪里?放进文件夹后不知道怎么在webui里面用?


webui可以训练的东西分三类:词条(embedding或者tag),超网络(hypernetwork,滤镜),模型(ckpt)

我们一一分别来讲功能和使用方法

一、词条
词条就是我们平时叫的tag。在使用时是直接输入在这个框中的。


而在训练时,词条是选择训练embedding这一项


词条的pt文件通常很小,只有几十kb大小。文件大小正是区分词条和超网络的关键点。


而词条的pt文件是要放置在\stable-diffusion-webui\embeddings文件夹里


在webui的训练-训练的embedding里面可以看见已经加载完成的词条


而这些词条使用时,只需要将文件名当做tag输入到prompt栏里面就可以了。当然我们建议把这些私人训练的词条写在最前面,以防止他们不被显示。

把Xuemao这个私人词条放在第一个词,成功体现了红眼睛和马尾辫这些特性
把Xuemao这个私人词条放在tags中间人物词条放置的地方,红眼睛和马尾辫的效果都没有体现

二、超网络
超网络(hypernetwork)可以看做是一个滤镜,这个滤镜可以外挂在任何一种模型上,使生成的图片获得这个滤镜的加成。

超网络在训练时是选择的生成hypernetwork这一项


超网络和词条一样都是pt文件。但是超网络因为毕竟还是一个网络,很复杂,所以它的pt文件通常都更大,在几十M到上百M的水平。

所以当你从其他地方下载了一个pt文件后,可以通过观察这个文件的大小来确定这个pt文件是一个词条(embedding)还是一个超网络(hypernetwork)


超网络和词条(embedding)放置的位置不一样,超网络要放置\stable-diffusion-webui\models\hypernetworks文件里


你可以在webui的设置中,看到成功加载的超网络(hypernetwork)。


同时,在这个地方,你可以选择一个超网络(hypernetwork),然后点击保存设置。将这个选好的超网络激活。激活后,你训练的图片就会有这个超网络滤镜的画风了。

激活毛玉滤镜后的Xuemao

三、模型
模型就是我们生成一张图片所必须的ckpt文件。

我们可以在webui的左上角看见我们已经安装好的ckpt。同样的,我们也是在这个地方选择并激活我们的模型。其中【】方括号内的字符串即hash码,就是这个模型的具体身份码。你可以把它看做是身份证号码,不管这个模型的名字怎么变,只要这个hash码是一样的,这两个模型就是同一个模型。所以下了一堆模型的朋友快去清理一下你的模型库吧。


模型的训练是使用的一个叫dreambooth的工具[NovelAI]使用DreamBooth让AI绘出自己想要的人物 - 哔哩哔哩 (bilibili.com)

因为对显存的要求非常高,通常在云端进行训练。

下载好的模型文件是ckpt格式的。通常都有几个G的大小。我们把这个文件放到stable-diffusion-webui\models\Stable-diffusion文件夹中


不同的模型会有完全不同的出图效果。具体情况请自行查询资料。

感谢群里大佬跑的对比图
另外,在比较新的webui中,我们还能找到模型合并工具。这个工具能够将两个训练好的模型进行融合,得到一个既有模型A的风格又有模型B的风格的模型。当然也有可能融合失败。。

群贤毕至

访客