在AI视频领域,沉寂已久的Runway昨晚突然宣布发布了其备受期待的Gen4模型,这一消息迅速引起了业界的广泛关注。
对于许多AI视频的新玩家来说,Runway无疑是一个具有特殊意义的名字。作为AI视频生成领域的先驱,Runway在2023年7月凭借Gen2模型首次将AI视频生成带入了大众视野。与只能进行视频风格转绘的Gen1不同,Gen2首次支持了文本到视频和图像到视频的生成,这一突破性的进展为AI视频创作打开了全新的可能性。
回忆起那段时光,一位资深AI视频创作者分享了他的亲身经历。他花费了五个晚上,用MidJourney生成了693张图,再结合Gen2生成了185个镜头,最终剪辑成了他最喜欢的《流浪地球3》AI预告片。虽然当时的技术还相对粗糙,被戏称为“动态PPT”,但这部预告片却意外地火爆全网,不仅播放量破千万,还为他带来了意想不到的机遇。
然而,随着Sora等模型的发布,以及国产大模型的混战,Runway似乎逐渐失去了往日的辉煌。直到昨晚,Runway终于推出了新的Gen4模型,试图将AI视频带向一个新的世代。
但经过一夜的测试后,不少创作者发现,Runway Gen4似乎并没有达到预期的高度。虽然它主打的多主体参考功能在演示视频中展现出了极高的质量,但这一功能目前仍处于“期货”状态,并未正式上线。这意味着,目前的Gen4模型只能进行图像到视频的生成,而无法实现文本到视频的生成,更不用说其他高级功能了。
更令人失望的是,即使在图像到视频生成方面,Gen4的表现也并未超越目前公认的最佳模型——可灵1.6。在多个测试案例中,Gen4在细节处理、物理规律模拟以及动作连贯性等方面都明显逊色于可灵1.6。
例如,在一个“主体缓缓走过花田”的测试中,Runway Gen4生成的视频中,主体虽然走过了花田,但光影效果不自然,花朵细节模糊,甚至出现了直接穿过花朵的现象。而可灵1.6则明显更好地模拟了人与花的物理碰撞,光影效果也更真实。
在另一个“女孩身着汉服翩翩起舞”的测试中,可灵1.6虽然丝带部分出现了融合问题,但整体动作连贯、优雅。而Runway Gen4则完全无法展现出旋转和舞蹈的动作,丝带效果更是令人啼笑皆非。
Runway Gen4在一些动作场景和复杂场景中的表现也令人失望。例如,在“士兵们手持盾牌向前冲锋”的测试中,Runway Gen4的士兵竟然直接“抄起盾牌向我冲锋”,完全忽略了“向前冲锋”的指令。而在“洛神水下起舞”的测试中,虽然光影效果细腻,但最后的动作却像是人在水里溺亡躺尸。
最有趣的测试案例莫过于“右边的男子往后退了一步,举起枪,将枪口对准了左边男子的额头”这一场景。可灵1.6的表现相对正常,而Runway Gen4则完全出乎预料,最后的画面竟然变成了“来看看爹的腋窝吧”,这一荒诞的结果让人哭笑不得。
虽然Runway Gen4的发布引起了业界的广泛关注,但目前来看,它并未能超越目前市面上的最佳模型。对于创作者来说,选择适合自己的模型仍然需要根据具体需求和测试结果来决定。