5月28日,Facechain最新版本Facecchain-Fact开源,只需1张照片和10秒,就可以生成多种风格个人写真。

之前的文章中已经给大家介绍过Facechain,感兴趣的小伙伴可以点击以下链接阅读。

阿里Facechain:3张照片就能生成个人写真,开源版本“妙鸭相机”来了!

Facecchain-Fact(Face Adapter with decoupling Training)在肖像生成方面具有高度的可控性和真实性,包括文本到图像和基于绘画的管道,并且是无缝的。已经可以在摩达社区体验使用,链接下文中下面~

Facechain最新版本Facecchain-Fact开源,只需1张照片和10秒,就可以生成多种风格个人写真。_计算机视觉

Facechain最新版本Facecchain-Fact开源,只需1张照片和10秒,就可以生成多种风格个人写真。_图像生成_02

相关链接

代码链接:https://github.com/modelscope/facechain?tab=readme-ov-file

试用地址:https://modelscope.cn/studios/CVstudio/FaceChain-FACT

试用展示

Facechain最新版本Facecchain-Fact开源,只需1张照片和10秒,就可以生成多种风格个人写真。_ControlNet_03

Facechain最新版本Facecchain-Fact开源,只需1张照片和10秒,就可以生成多种风格个人写真。_计算机视觉_04

Facechain最新版本Facecchain-Fact开源,只需1张照片和10秒,就可以生成多种风格个人写真。_计算机视觉_05

Facechain最新版本Facecchain-Fact开源,只需1张照片和10秒,就可以生成多种风格个人写真。_计算机视觉_06

注意

  • 最多支持生成6张图片!
  • 可上传在定义LoRA文件使用, 否则默认使用风格模型的LoRA。
  • 使用自定义LoRA文件需手动输入prompt, 否则可能无法正常触发LoRA文件风格。

介绍

对于以人为中心的个性化图像生成,基于适配器的方法通过对人脸数据进行文本到图像的训练来学习编码和对齐输入人脸,实现身份保留的个性化,而无需在推理中进行额外的微调。尽管与输入人脸相比,效率和相似度有所提高,但与没有适配器的基本模型相比,生成的人脸在文本跟随能力、可控性和多样性方面普遍存在明显的性能下降。

在Facecchain-Fact中,我们执行身份导向的人脸去噪,而不是人脸导向的图像去噪来进行解耦训练。我们在自注意块和交叉注意块之间插入连续的人脸适配器,在文本引导前对潜在的人脸进行人脸自适应增量正则化(FAIR),从而避免了人脸条件与文本信息的干扰。图像去噪时,身份条件通过人脸变换从具有相同身份的人脸图像中提取,并通过基于变换的特征提取器提取。