好嘛，原来这是用了快手可灵团队的可控人像视频生成框架——LivePortrait。

　　LivePortrait由快手可灵大模型团队开源，只需1张原图就能生成动态视频。

　　从最简单的开始，丢一张静态图像，LivePortrait可以让肖像眨眼、微笑或转头。

　　还可以施展“移花接木”，也就是将表情、动态等复制到其他人身上，还是不限风格（写实、油画、雕塑、3D渲染）和尺寸那种~

　　比如提供一段宝宝没有表情的视频（最右侧），我们可以让宝宝按照参照视频wink或微笑。

　　总之，LivePortrait可以实现人物表情精确控制，比如嘴角上扬的弧度，双眼放大程度都能开启自选。

　　看来小说里的“三分凉薄,三分讥笑,四分漫不经心”也不是不能实现。[doge]

　　和当前主流基于扩散模型的方法不同，LivePortrait探索和扩展了基于隐式关键点的框架的潜力。

　　具体而言，LivePortrait不依赖于图像中明确可见的标记或特征点，而是通过学习数据集中的模式来隐式地推断出关键点的位置。

　　先说第一阶段，LivePortrait对基于隐式点的框架（如Face Vid2vid），做了一系列改进。

　　这些改进包括高质量数据整理、混合图像和视频训练、升级网络架构、可扩展运动变换、地标引导的隐式关键点优化以及级联损失项的应用等。

　　再说第二阶段，通过贴合模块和重定向模块的训练，模型能够更精确地处理面部表情的细节。

　　眼部和嘴部重定向模块则分别处理眼部和嘴部的变形变化，通过独立的目标函数计算像素一致性和正则损失，提升模型在复杂表情处理上的灵活性和精确度。

　　研究显示，在同身份驱动对比结果中，与已有方法相比，LivePortrait具有较好的生成质量和驱动精确度，可以捕捉驱动帧的眼部和嘴部细微表情，同时保有参考图片的纹理和身份。

　　且在跨身份驱动对比结果中同样表现较好，虽然在生成质量上略弱于基于扩散模型的方法AniPortrait。但与后者相比，LivePortrait具有极快的推理效率且需要较少的FLOPs。

　　总之，在RTX 4090 GPU上，LivePortrait的生成速度达到了每帧12.8毫秒，显著高于现有的扩散模型方法。

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。