AI生成的视频真能改了,阿里开源的VACE有点子颠覆啊。。。
创始人
2025-05-17 00:36:29
0

就在前天晚上,阿里万相开了个只有十分钟的发布会。

主讲人平淡的语气,让人以为这就是一次普通的视频模型开源。

但看完他们放出来的效果,再加上一手实测,我的看法是,这可能真的是视频开源模型的一个历史性时刻。

众所周知,现在的视频生成模型就跟开盲盒一样,你辛辛苦苦输入一段提示词,结果模型根本听不明白,给你生成的视频总和你的想法有点落差,白白浪费咱的余额。

而VACE这波,最牛的一点就是加入了视频的编辑能力——模型可以按你的需求随意修改视频了。

主体动作不合理?咱可以手绘个草图让它改。花的颜色不对?咱也能重新染色。

意思是,咱以后想要什么颜色的左手右手慢动作,都可以随心所欲定义了。

更神的是,视频画面的主角,咱也能自定义。

比如,可以给它一个小孩一条蛇,让它生成一支“喜气洋洋过蛇年”的视频。

别说,还真挺自然的,可爱得我想养一只。

而且,就连生成好的视频主角,它也能随意替换。。

这家伙,以后明星真不用演戏了,发张自个儿的模型过去替换一下就成了。。

而且,它还能基于人体姿态图,生成特定动作的人物视频。

一段练空手道的男孩的视频,就这么活灵活现的做好了。

这不由得让世超想起一张图啊,被认为是AI代替不了人类的铁证,现在我看人类最后的高地也守不住了。。

X上一些网友们关于这个功能的测试,也是够震撼的。

比如把《Never Gonna Give You Up》的动作套到某动漫角色身上。

还有展示视频扩展功能的,还真毫无违和感,完美的融入了这种艺术风格。

但现在官方还没发布试用入口,本地部署也巨吃配置,想体验满血版的可能还得等两天。值得一提的是,这次VACE开源了两种参数,其中1.3B的可以在消费级显卡上运行,14B的就不用想了,谁来都不好使。

世超找了个14B的量化版浅测了下,来带差友们一起看看效果。注意,不代表满血版效果。

我们找了张大明星哪吒的全身照。

又找了张《街霸》里的人物动作图,叫哪吒模仿该动作。

看看丢进去效果如何?

好像还真没啥毛病啊,如此完美的回旋踢。感觉饺子导演可以闭关研究研究这个了,明年之前手搓哪吒3。

首尾帧生成也做得不赖。我们用黑神话序章里的两张截图做了下测试。

其实还不错,大圣飘在云上的感觉也画出来了。

咱再来看看局部替换功能。宣传片里的人狗共舞,大伙应该都有印象。

诶,这狗长得还挺像公司的爱犬火锅的,所以同事表示他想进去与火锅共舞。这愿望必须满足了啊。

动作确实挺齐的,就是这狗怎么感觉有点蚌埠住了?

不过,这些视频实际上都挺糊。。这是因为VACE目前似乎只支持480p和720p的视频,要做到高清无码还是有点难,而且特别吃显存。。但从效果来说,确实算得上牛。

所以,一个模型这么全能,VACE到底是怎么做到的?

简单来说,他们使用了一个叫 VCU (Video Condition Unit) 的核心模块,这玩意就像一个翻译官,把不同任务的 “指令” 统一成模型能听懂的格式。对模型来说,就是一个【文、图、蒙版】的三元组。

举个例子,如果用户只输入了文字指令,模型发现有文字,但图片和蒙版都没要求,就知道是文生视频指令;要是参考图生成视频,那输入里肯定会有参考图和提示词,模型看见参考图和文字,就理解要让它干图生视频的活儿了。

这样一来,模型不用为每个任务单独学习,而是通过这三个要素的排列组合,灵活处理各种需求。

有了 VCU,这玩意就实现了一个模型顶多个用的效果。

以前,咱需要多个模型分别做不同任务,现在一个就行,而且我们还能精准控制修改内容,通过修改蒙版和参考图,只改想改的部分,其他地方不受影响;甚至只给动作和人物照片,就能生成一段影像。

值得一提,现在拍短剧正热乎呢,这VACE的出现,应该会给个人创作者带来极大的自由空间,拍一段实景,直接让AI给你加特效,不满意就删了重画。人要上天入地,也不用吊威亚了。到时谁还分得清我和成龙?

有了这玩意儿,普通人靠自己手搓电影的日子应该也不远了。

说起来,阿里这些年好像一直是国内AI的领跑者,只不过一直在当AI界的汪峰,一出风头就被抢。

像他们的通义千问,性能持续突破,旗舰模型 Qwen3-235B-A22B 在数学推理、代码生成等评测中超越 OpenAI o1、Gemini 2.5 Pro 等国际顶尖模型,且部署成本仅为同类模型的 3%,仅需 4 张 H20 显卡即可运行满血版。

这次又搞了个视频界的“源神”,不得不说的确有种闷声发大财的味道。

不过这也说明一点,就算风头被抢,人家也是有在老老实实做事的,而且还把自己的东西拿出来分享,只能说伟大,无需多言。

对普通人来说,这也表示机会越来越多了,未来成为创作者的门槛也会越来越低。只要你有想法,搓出属于自己的人生大片,也就顺手的事。

说到这,你是不是对未来有些许期待了呢?

撰文:不咕

编辑:江江 & 面线

相关内容

热门资讯

天津静海有个“萨克斯村”   本报记者 韩梅 通讯员 陈泽宇  华丽震撼的《巴比伦河》,撩人心弦的《回家》,如泣如诉的《友谊地...
铁路端午假期火车票昨日开售   本报讯(记者 胡子傲)记者从国铁集团获悉,铁路端午假期运输自5月30日至6月3日,为期5天,预计...
头顶千亿负债 东方盛虹202... 转自:中国经营报本报记者 李哲 北京报道近日,东方盛虹(000301.SZ)披露的2024年财报显示...
敦促美方停止对中国科技企业和人...   新华社北京5月16日电(记者董雪 刘杨)外交部发言人林剑16日表示,美方无端对中国芯片产品和人工...
美的旗下安得智联赴港上市 仍... 转自:中国经营报本报记者 陈靖斌 广州报道日前,美的集团拟对旗下安得智联供应链科技进行拆分,并赴港上...
终于来了!阿里最新财报发布,结... 运营商财经 康钊/文5月15日晚间,阿里发布2025财年Q4及全年财报,整体来看,最新年度的业绩数...
深入做好金融“五篇大文章” 为...   本报讯(记者 祁梦竹 刘菲菲)昨天上午,市委书记尹力围绕“服务国家金融管理中心建设,推动首都金融...
多个“首次”进一步激发市场活力   中国证监会16日公布实施修订后的《上市公司重大资产重组管理办法》,在简化审核程序、创新交易工具、...
山东矿机向实控人之子定增募资 ... 本报记者 庄灵辉 卢志坤 北京报道山东矿机(002526.SZ)向其实控人之子定增募资一事迎来新进展...
沙特阿美全球董事会会议在北京C...   本报讯(记者 朱松梅 通讯员 赵雷)日前,沙特阿拉伯国家石油公司(以下简称“沙特阿美”)全球董事...
广东多城公积金利率下调 大湾... 本报记者 陈婷 赵毅 深圳报道2025年5月8日起,广州、深圳、佛山、东莞、珠海、潮州、江门等广东省...
首次公布!我国空间站内发现微生... 近日,科研人员首次公布在我国空间站发现的一个微生物新物种,并将其命名为“天宫尼尔菌(Niallia ...
前4月京津冀区域出口创历史新高   本报讯(记者 鹿杨)记者日前从北京海关获悉,今年前4个月,京津冀区域进出口总额1.43万亿元人民...
现代化首都都市圈生机勃勃 九星科技为医院定制智慧监测大屏。受访者供图22号线建设现场的指挥中心。受访者供图  本报记者 李如意...
国际原油期货结算价涨超1% 本... 转自:财联社【国际原油期货结算价涨超1% 本周累涨超2%】财联社5月17日电,国际原油期货结算价涨超...
“降息潮”席卷民营银行 本报记者 慈玉鹏 北京报道步入5月,民营银行存款降息潮持续。《中国经营报》记者不完全统计,5月以来,...
短期高息理财产品“吸金” 银行... 近日,新发银行理财产品数量增加,部分理财机构密集推出高预期收益的最短持有期产品“吸金”。从产品设计来...
长安信托追讨11.98亿元投债... 近日,天风证券(601162.SH)一则公告披露了其与长安信托之间高达11.98亿元的证券交易合同纠...
明亚保险经纪控制权易主 团队... 本报记者 陈晶晶 北京报道近日,一项人事变动激起“千层浪”。根据国家金融监管总局北京监管局行政许可批...
破解确权与估值难题 首单数据... 本报记者 蒋牧云 李晖 上海 北京报道数据资产证券化的路径已经打开。近日,深圳证券交易所(以下简称“...