c 网站开发简单实例教程,做网站的公司搞什么活动,网站制作 北京,网页设计欣赏熊出没目录 1 模型简介2 模型文件构成和加载位置2.1 存储位置2.2 加载模型 3 模型下载渠道3.1 HuggingFace3.2 Civitai 4 模型分类4.1 二次元模型4.2 写实模型4.3 2.5D模型 1 模型简介
拿图片给模型训练的这个过程#xff0c;通常被叫做“喂图”。模型学习的内容不仅包括对具体事物… 目录 1 模型简介2 模型文件构成和加载位置2.1 存储位置2.2 加载模型 3 模型下载渠道3.1 HuggingFace3.2 Civitai 4 模型分类4.1 二次元模型4.2 写实模型4.3 2.5D模型 1 模型简介
拿图片给模型训练的这个过程通常被叫做“喂图”。模型学习的内容不仅包括对具体事物的形象描绘还包括对它们的呈现方式画风。如果我们喂给模型的图片都是二次元风格的那你让它画人画风景它都会画得像一幅二次元插画如果喂的图片都是真实世界里的照片那它生成的图片就是偏真实场景的。 使用不同风格的模型就能生成不同风格的作品。
2 模型文件构成和加载位置
2.1 存储位置
在Stable Diffusion里模型被存储在./models/Stable-diffusion/文件夹里如果下载了新的模型文件需要复制到该文件下SD就可以自动加载该模型。模型有固定的称呼叫做checkpoint即检查点或者关键点模型可以理解为游戏中的存档模型训练到某个关键位置时就会建立一个关键点来保持已经训练的部分以后方便回滚和继续训练。
模型通常很大一般占用37GB文件名后缀通常是.ckpt我们常把这种GB级别的模型叫做“大模型”。还有一种大模型的后缀是.safetensors占用空间会小一点通常12GB。SD里这两种模型都可以使用。
2.2 加载模型
如果是在WebUI打开的状态下添加了新模型需要先点击左上角右边那个刷新按钮新的模型才能被显示进来再选择对应的模型即可。 需要看命令行里的加载进度跳出这样的提示才算加载成功 Reusing loaded model v1-5-pruned.ckpt [e1441589a6] to load v1-5-pruned-emaonly.ckpt [cc6cb27103] Loading weights [cc6cb27103] from D:\Projects\stable-diffusion-webui\models\Stable-diffusion\v1-5-pruned-emaonly.ckpt Applying attention optimization: Doggettx… done. Weights loaded in 4.6s (send model to cpu: 0.8s, load weights from disk: 2.8s, apply weights to model: 0.3s, move model to device: 0.6s). 模型加载成功后才能开始生图。
有的UI页面在模型选择栏右边有个VAE的选项全称叫做变分自编码器负责将加噪后的数据转换成正常的图像。可以粗略理解成AI作画的一种“调色滤镜”最直观地影响画面的色彩质感。目前大部分新的模型已经把VAE整合进大模型文件里了少数会没有整合的会推荐使用特定的VAE使得生成的图片质感更好。VAE文件的放置路径是同models文件下的VAE文件夹里./models/VAE/。可以将VAE模型的文件名修改成和对应大模型一样的名字再在VAE选项里选择“自动”这样就可以针对不同模型自动切换VAE。我们使用的UI没有VAE选项故不做展开介绍。
3 模型下载渠道
市面上大多数SD使用者用来作图的模型都是由个人训练并发布的俗称“私炉模型”。大家会把训练AI学习图片生成模型这件事叫做“炼丹”炼丹有一定的技术门槛和硬件需求因此只有拥有一口好的“炼丹炉”才能成为炼丹师。由于版权问题官方的炉在学习的素材来源和尺度上都有着比较大的约束所以利用私炉作画出图时目前的主流趋势但它的版权确实会存在争议。
目前AI绘画主流的模型下载网站有两个Huggingface和Civitai。
3.1 HuggingFace
HuggingFace俗称抱脸。它是一个允许用户共享AI学习模型和数据集的平台包含的内容非常广AI绘画和其他AI领域的内容。 在最上方的搜索栏里输入Stable Diffusion可以直接下载发布的历代官方模型。 在左边的工具栏里点亮Text-to-Image标签就能筛选出其他用户发布的主要被用于AI作画的问生图模型了包括许多老牌知名模型WaifuDiffusion、Anything、DreamShaper等。 选择其中一个点进去会有一个“Model Card”相当于这个模型的介绍页面 切换到第二个标签“Files and versions”制作者们会把文件、源代码等文件放到不同的文件夹里。 到对应的文件夹里寻找需要的文件点击就可以下载。 切换到“Community”可以进入对这个模型感兴趣的使用者们的交流区如果有什么建议或者遇到什么bug可以到交流区里看看是否有解决方式或者点击左边的PR discussions documentation发起讨论。
市面上一些知名的模型都可以来Huggingface搜一下看看。
3.2 Civitai
Civitai俗称C站是一个AI绘画模型的分享平台里面各种模型的展示是非常图像化和具体化的。在C站上访问和下载模型均不需要注册。
点击“Models”进入模型页面点击右上方模型排序选项选择“Highest Rate”或者“Most Downloaded”就可以看到目前最火热的一系列AI绘画模型了。 可以对这些模型进一步细分筛选 – 基于模型类型点击右上角小漏斗按钮可以根据不同选项对模型进行筛选。 – 基于特定内容类型页面上方有一系列标签代表着不同的风格类目和内容方向例如动画、角色设计、女性、名人、插画、卡通、男性、自然景观等。 选择其中一个模组进入后右边是下载按钮如果有不同的版本可以到下面的Files选择下载哪个。页面底下的模组介绍相当于Huggingface里的Model Card最好在作图前仔细阅读一遍作者会从很多方面指导你如何使用该模型例如适合的风格、关键词、分辨率以及VAE点击其中的链接都可以直接跳转下载。 C站作为模型分享网站不仅仅分享模型还分享用这些模型做出来的作品。模型页面的正上方都有一系列作者使用这个模型生成的例图点击图片右下方的信息按钮就会跳出对应的提示词、采样方法、随机种子等等详细的参数。如果你要抄作业那这就是一份参考答案可以给你产出最接近模型作者理想中的效果。 再往下翻可以看到C站上其他用户上传的基于这个模型产出的图片里面大部分都会同样附上提示词和参数。 C站的首页还有一系列页面例如“Image”页面点进去可以欣赏到那些高赞好评的AI绘画作品并找到它们对应的使用模型和提示词、参数。其他的页面也是一些高赞的作品。 4 模型分类
下面介绍几种不同类型模型对应的代表模型和搜索关键词也可以使用这些搜索关键词在Prompt中激活模型风格特性。
4.1 二次元模型
偏漫画、插画风格的具有鲜明的绘画笔触质感代表作Anything、Counterfeit、Dreamlike Diffusion等。 搜索标签与风格关键词illustration, painting, sketch, drawing, comic, anime, cartoon.
4.2 写实模型
偏真实系、拟真化程度高的、对现实世界还原强代表作Deliberate、Realistic Vision、LOFI等。 搜索标签与风格关键词photography, photo, realistic, photorealistic, RAW photo.
4.3 2.5D模型
介于二次元和写实模型之间还原出来的质感效果类似于一些建模软件里能制作出来的三维渲染图接近目前一些游戏和3D动画的风格代表作NeverEnding Dream、Protogen、国风V3等。 搜索标签与风格关键词3D, render, chibi, digital art, concept art, {realistic}.
