尝试此工作流
AI 图生视频,实现短小可控的运动
提示词配方 1
提示词配方 2
提示词配方 3
第一次尝试图生视频时,人们通常要求太多。主体走路、转身、挥手,镜头还环绕运动,结果画面就崩了。第二次尝试只要求缓慢推近和轻微转头,看起来就像真实拍摄的镜头。
本指南讲的就是第二次尝试。小幅运动、单一镜头运动,以及逐帧审查。
简短回答
选择一张主体清晰、背景简单的首帧。只要求一个镜头运动和一个主体动作。保持片段简短。在暂停的帧上检查脸部和手部。如果身份发生漂移,就减少运动或舍弃该片段。
图生视频的作用
模型将静态图像作为首帧,并生成一段从它延续的短片。它必须凭空生成起点和终点之间的帧,包括原始照片从未展示的场景部分。
这就是小幅运动效果更好的原因。轻微转头只需要模型凭空生成一点点。全身走路则需要它凭空生成背部、腿部和房间。
第 1 步:选择首帧
首帧决定了上限,就像编辑用的源照片一样。
好的首帧具备:
- 主体清晰,轮廓分明。
- 背景简单,竞争性细节少。
- 光线均匀,方向明确。
- 没有必须保持可读的重要文字。
- 分辨率足以检查脸部。
避免:
- 模糊或严重压缩的图像。
- 有许多小物件的场景。
- 手部本身就不明确的主体。
- 文字很多的帧。
- 有多张脸的合影。
如果首帧质量差,先修好再动画化。编辑过的静帧比一张带运动的糟糕照片是更好的起点。
第 2 步:选择一个镜头运动
选一个:
- 缓慢推近。
- 缓慢拉远。
- 横向平移。
- 固定镜头。
- 轻微手持漂移。
推近是最安全的。它增加制作价值,而不强迫模型凭空生成新视角。横向平移更难,因为模型必须凭空生成画面外的内容。
描述速度和结束状态:
缓慢、平滑的推近,结束时略微更靠近主体。镜头保持水平。
第 3 步:选择一个主体动作
选一个:
- 朝镜头轻微转头。
- 眨眼和轻微呼吸。
- 头发在微风中飘动。
- 布料轻微移动。
- 雾气或烟雾飘散。
- 光线闪烁。
不要同时组合走路、转身和手势。每增加一个动作,就多给模型一次漂移的机会。
对于人像:
主体表情平静,缓慢将头转向镜头。微风拂动几缕散落的头发。身体保持静止。
对于产品:
产品在转台上缓慢旋转。柔和的光线扫过表面。镜头保持固定。
第 4 步:描述氛围
氛围是廉价的运动。雾、雨、灰尘和光线闪烁能增添生气,而不改变主体。
有用的短语:
- 柔和的雾气在背景中飘动。
- 窗外下着细雨。
- 尘埃在光束中漂浮。
- 背景灯光轻轻闪烁。
- 温暖的光晕缓慢掠过画面。
让氛围保持在主体后方或周围,不要横跨脸部。
第 5 步:逐帧检查
不要只按一次播放就判断片段。暂停在帧上检查。
检查:
- 脸部: 眼睛、嘴巴、下颌线和表情。
- 手部: 手指数量、关节和边缘。
- 头发: 发丝和轮廓。
- 服装: 接缝、纽扣和图案。
- 背景: 扭曲、重复纹理和消失的物体。
- 文字: 标牌、标签和屏幕。
- 运动: 镜头是平滑移动,还是跳跃?
如果一帧失败,片段就失败。一个糟糕的帧就足以让结果无法使用。
片段长度与成本
短片段更容易保持连贯。它们也更便宜。从实时控件允许的最短时长开始,检查结果,只有在运动稳定时才延长。
工作区会在运行生成前显示积分成本。视频比静帧图像更贵,所以失败的片段代价更高。保持首次测试规模小。
身份漂移
身份漂移是最常见的失败。脸部慢慢变成另一个人,眼睛形状改变,或下颌线移动。
减少它的方法:
- 使用清晰、正面的首帧。
- 保持头部运动幅度小。
- 避免戏剧性的光线变化。
- 保持片段简短。
- 在提示词中保护身份。
一句有用的话:
保持主体的脸部、面部比例、肤色、发型和服装与参考图像一致。不要改变这个人。
模型仍可能漂移。检查并舍弃。
何时静帧更好
在以下情况下使用静帧图像而非视频:
- 交付物是图像,而不是运动。
- 主体复杂,运动并非必要。
- 片段用于禁用自动播放的页面。
- 失败片段的成本太高。
- 结果会是一个微妙的循环,增添甚少。
一张裁剪得当的强静帧往往比一段平庸的片段表现更好。
常见错误
要求完整的动作序列。 模型必须凭空生成太多内容。
使用杂乱的的首帧。 背景扭曲并分散注意力。
在小尺寸下判断。 脸部和手部的失败隐藏在缩略图中。
忽略最后一帧。 片段的结尾往往比开头漂移更多。
忘记音频问题。 音频取决于模型。检查实时控件;不要假设。
使用你无权动画化的图像。 源图像仍受权利和同意约束。
可复用的图生视频提示词
将提供的图像作为精确的视觉参考和起始帧。
创建一段从该图像延续的简短电影感片段。
保持主体的脸部、发型、服装和身体比例一致。
镜头:[一个运动、速度、水平]。
主体动作:[一个小幅动作]。
氛围:[雾、雨、光线闪烁]。
保持真实的运动、稳定的解剖结构和一致的光线。
不要改变人物、添加角色或引入场景切换。
无文字或水印。试试这个工作流
AI 图生视频 页面以图生视频模式打开工作区,并提供三个运动提示词。你无需账户即可复制提示词。生成会消耗积分;定价页面 列出了当前的套餐和计划。
如果你需要从文字描述而非静帧生成片段,请阅读视频提示词指南。如果首帧需要处理,请从 AI 图像编辑器指南 开始。
