第三财经网 2024-11-22 13:01 381
图片来源:由无界 AI生成
前两天,一个来自小红书的大佬发了个新项目——InstantID,是用一张你的随意角度的照片,就能生成一个 AI 头像。
比如这样:
它的使用非常简单,打开 Hugging Face 上的 Demo 页面:https://huggingface.co/spaces/InstantX/InstantID
然后上传一张图片、写或者不写 prompt都可以、点击 Submit 等待 30 秒左右就可以拿到图片了。
在不了解技术细节的初体验下,方便、快速、效果好是第一印象。不需要像之前的同类产品那样,需要特定角度的照片或者是很多张照片,一张足矣。
这个项目说是 AI 个性化图片生成领域的重磅炸弹显得有点一惊一乍的,毕竟现在 AI 界每天值得“震撼”的新闻太多了。
但 InstantID 这个项目在 X 上,一众大佬都关注到了这款产品,比如Yann LeCun:
据InstantX Team表示,他们采用的即插即用(plug-and-play)模块只需使用单张面部图像就能处理各种风格的图像个性化工作,同时确保人物面部的高保真效果。几位团队成员都亲自下场做了一系列自己的 AI 头像:
和其他同类型的产品相比,InstantID有几点不同:
首先,InstantID不训练 UNet,因此可以保留原始文本到图像模型的生成能力,并与社区中现有的预训练模型和 ControlNets 兼容;其次,InstantID不需要在测试时进行调整,因此对于特定的字符,不需要收集多张图像进行微调,只需要推断一次单一图像。而且在实际应用中不难发现,InstantID实现了更好的人脸保真度,并保留了文本的可编辑性。
通过风格的选择,可以用一张图实现多个风格的变换。
除了出色的一致性之外,还可通过提示词进行二次加工,同时也展现了与现有 ControlNet的兼容性。
在有多张参考图像的前提下,会取 ID 嵌入的平均值作为图像提示。其实一张图的时候效果就已经很不错了。
在官方的 Paper 中,还探讨了几个有趣的使用案例。其中包括视图合成,InstantID 可以在保持角色一致性的同时创建新的视角和角度。比如创建一张 20% 泰勒斯威夫特和 80%杨幂长相的图片。
以及 InstantID 无缝融合多种身份特征的能力,能管理涉及多个角色的复杂场景。这些应用都展现了 InstantID 在各种创意和实际环境中的多功能性和有效性。比如像是人类与萌宠相结合:
在论文中还有一些跟过去原有技术的对比,感兴趣的可以直接在官方页面查看:
https://instantid.github.io/
目前可以查到的,InstantX Team的主要成员之一王浩帆,是一名来自小红书的研究工程师(research engineer),主页链接:
https://haofanwang.github.io/
之后我们会持续关注InstantX Team这个团队的进展,也会有更多这样的新项目分享给大家,有好的项目也欢迎各位向我们安利。