Seedance 2.0正掀起AI视频创作狂潮,支持图像、视频、音频、文本四模态混合输入,配合Seedream 5.0 Lite图片模型,可实现九宫格分镜转连贯打斗视频、四格漫画自动动画化、小说文字转剧情片等十种开袋即食玩法,让普通人也能零门槛制作专业级内容。

Seedance 2.0现在支持图像,视频,音频,文本四种模态输入,混合输入总上限是 12 个文件,量大管饱。
这两天即梦还上线了图片5.0 Preview(也就是Seedream 5.0 Lite)图片模型,4k版本目前只有在即梦上才能体验,这次我结合在一起玩了一下。

Gogogo,快来看看这一大筐玩法,以及Seedream 5.0 Lite和Seedance 2.0的组合用法,
首先就是我一直想做的,让我家小猫和奥特曼对战的一个场景,之前要用两个模型,一个Banana2生成九宫格,一个sora2在九宫格基础上生成视频,但现在Seedance 2.0也可以做出九宫格分镜图生成连贯视频的操作了,动作和运镜转换超级丝滑,论导演的分镜思维这块。。。
操作过程so easy,
先用我的小猫生成一张和我想用的角色对战的场景图,5.0 Lite 现在目前对于角色的复刻做得还是不错的。然后我可以直接用这张图片,让 5.0 Lite给我做一张九宫格的分镜图,
使用这张图作为第一个分镜,给我生成一张两个角色对战打斗的大动作九宫格分镜图,每个分镜使用不同的景别,电影分镜的对战动作设计,把九个分镜图放在一张图中,保证每一个分镜图没有物理规律上的错误
再用这个提示语就能做出上面给到那个带有动作和运镜的连贯打斗镜头了。
根据这张九宫格分镜图,给我直接做出一段非常连贯丝滑的拟人巨猫和红色巨人对战的视频片段,连贯的动作展现出精彩的打斗
如果你不知道这些动作要怎么写,我们也可以直接给 Seedance 2.0 提供一个带有动作的视频,给出人物形象图片还有场景图,让这些人物出现在视频中,并按照你提供的视频动作进行打斗对战。
这里需要注意的是,上传的视频素材必须在 15 秒以内。而且即梦对于素材的尺寸有很高的要求,我这里实测,只要提供 720p 左右的视频素材基本上都是可以的。

这里我尝试让自己和我家的猫进入到最近很火的“邵氏兄弟武侠电影风格”场景中,实现了一段非常流畅丝滑的打斗。
这三天测试下来,我发现如果只是提供图片作为参考,所消耗的积分要比同时提供图片和视频素材给模型参考时要少一半。
或者你就是想复刻某一段动画里的运镜镜头,也只需要把想要复刻的片段上传上去,这里我用到的人物、大鸟坐骑以及场景图片,都是用Seedream 5.0 Lite图片模型生成的,不同的主体也能保持一致的画风。
然后写好下面这个提示语,其实主要就是把每一张图片中的人物,对应视频中的哪一个元素写清楚,然后就可以直接生成了。
之前即使我用 AI 去做这种类型的文字动画,给到的版本其实还是稍微有些粗糙的。但是现在Seedance 2.0给到的版本,几乎和AE渲染的没差别了。
更厉害的点是,Seedance 2.0可以直接根据我们提供图片中的文字去生成一段视频。
我测试了很多遍,提供的文字内容我们要判断一下能不能在15秒内呈现出来,塞的内容不要太多。
这里我给 Seedance 2.0 提供了三张十日终焉开头的小说截图,然后它就给我生成了对应的剧情。

这两天还有人发现有的时候不能传真人素材,我去验证了,目前在web端确实提醒了暂不支持真人人脸,但在app端,完成真人校验后,你依然可以让自己出演AI视频。
这是一个必然的过程,一方面,像Seedance 2.0这样强大的模型,它在技术上追求生成内容的极致真实。
因为它知道,更强的复刻能力,意味着更强的艺术表现力,能为我们创作者带来更大的创作自由。
但另一方面,平台也在积极地探索,如何为这种强大的能力,建立起必要的护栏。在鼓励创作和保护个人信息安全之间,寻找一个微妙的平衡。
当AI生成的内容,在像素层面,在物理规律层面,甚至在情感表达层面,都达到了与真实世界难以分辨的程度时,我们该如何与之共存?
今天的Seedance 2.0,其实已经给了我们一个答案的雏形。
平台和我们创作者要做的,就是共同去建立一套成熟理性的规则。
我们追求AI的真,是为了让我们的想象力,以最逼真的方式呈现
同时,我们也需要一个清晰的边界,来守护真实世界里,每一个人的权利和尊严。
本文由人人都是产品经理作者【卡尔的AI沃茨】,微信公众号:【卡尔的AI沃茨】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载。
题图来自Unsplash,基于 CC0 协议。
相关文章


猜你喜欢
成员 网址收录40418 企业收录2986 印章生成263660 电子证书1157 电子名片68 自媒体113750