途牛网站建设方案,wordpress定义,腾讯科技微信小程序,vs2008做网站Concept Sliders 你有没有遇到这样的情况#xff1f;你花费大量时间制作提示和寻找种子#xff0c;以使用文本到图像模型生成所需的图像。但是#xff0c;你还需要对生成图像中的属性强度#xff08;如眼睛大小或照明#xff09;进行更细致、更精细的控制。修改提示会破坏… Concept Sliders 你有没有遇到这样的情况你花费大量时间制作提示和寻找种子以使用文本到图像模型生成所需的图像。但是你还需要对生成图像中的属性强度如眼睛大小或照明进行更细致、更精细的控制。修改提示会破坏整体结构。艺术家需要保持连贯性的表达控制。你该怎么办呢 如果你也有这样的困扰不妨来试试 Concept Sliders。它是应用于预训练模型之上的即插即用低秩适配器。通过使用简单的文本描述或一小组配对图像然后训练概念滑块来表示所需属性的方向。在生成时这些滑块可用于控制图像中概念的强度从而实现细微的调整。 Concept Sliders Concept Sliders 实用效果 Concept Sliders 的概念滑块可以在文本提示、图像对或 StyleGAN 样式空间神经元上进行训练以识别扩散模型中的目标概念方向以实现精确的属性控制。 创作团队提出了两种类型的训练单独使用文本提示和使用图像训练。对于难以用文本描述的概念或模型无法理解的概念他们更建议使用图像对训练。这里我们讨论一下文本概念滑块的训练。 文本训练原理 文本训练原理 这个想法很简单但很强大预训练模型 Pθ*x 有一些预先存在的概率分布来生成概念 t因此我们的目标是通过形成一个新的模型 Pθx 来学习模型层的一些低秩更新该模型通过降低属性 c- 的概率来重塑其分布并根据原始预训练模型当以 T 为条件时提高图像中属性 c 的概率。 文本训练原理 这与基于组合能量的模型背后的动机相似。在扩散中它导致了一个简单的微调方案该方案通过减去一个组件并添加一个以目标概念为条件的组件来修改噪声预测模型。 该团队查询冻结的预训练模型以预测给定目标提示的噪声并控制属性提示然后在训练时使用无分类器指导而不是推理的思想来训练编辑后的模型将其引导到相反的方向。他们发现使用此目标微调滑块权重非常有效可以生成一个即插即用的适配器直接控制目标概念的属性。 文本训练原理 在实践中他们还注意到这些概念彼此纠缠在一起。例如当他们尝试控制一个人的 age 属性时这个种族在推理过程中会发生变化。为了避免这种不必要的干扰建议使用一小组保留提示来找到方向。这不是单独使用一对单词来定义属性而是通过使用多个文本组合来定义它找到一个改变目标属性的方向同时保持其他 attribute-to-preserve 不变。 实际应用效果 使用测试效果展示 Concept Sliders 的操作其实也十分简单只需要输入提示词然后选择自己需要调整的风格例如我这里选择的就是手部修复点击生成之后就可以看见用原模型与使用了Concept Sliders 的效果对比了。可以看到手部的修复系统还是十分好用的起到了很不错的效果。 官方效果图例展示 Concept Sliders 的功能还有很多例如细节优化、粘土风格、年龄调整、肌肉调整、身材调整等十余个风格或者部位的调整。以这个修复细节的滑块展示为例修复滑块使模型能够生成更逼真且不失真的图像。此滑块控制下的参数可帮助模型纠正其生成输出中的一些缺陷例如 a b 中扭曲的人类和宠物、b c d 中的非自然对象以及 bc 中模糊的自然图像。 有关厚德云
厚德云致力于为用户提供稳定、可靠、易用、省钱的 GPU 算力解决方案。海量 GPU 算力资源租用就在厚德云。
