生数科技发布Vidu Q1,“参考生”功能可以让视频模型大规模落地吗?|界面新闻 · 科技

adminweb 1 0

界面新闻记者 | 伍洋宇

界面新闻编辑 | 文姝琪

7月26日,在WAIC2025(世界人工智能大会)上,生数科技最新视频模型Vidu Q1的参考生视频功能成为它此次重点展示的对象。

这是生数科技在视频生成领域对内容生产流程的一次重新梳理。具体而言,此前的视频生成包含较多复杂的前期分镜制作环节,“Vidu Q1参考生”通过对模型算法层面的调整,跳过了这一环节,只上传人物、道具、场景等参考图,就可以直接将多个参考元素生成为一段视频素材,以“参考图——视频生成——剪辑——成片”流程取代分镜生成工作。

例如,输入提示词“诸葛亮与丘吉尔、拿破仑在会议室面对面坐着讨论”,以及三个人物的人物参考图会议室场景参考图,就可以生成一段三人在同一个会议室交流对话的视频。

生数科技发布Vidu Q1,“参考生”功能可以让视频模型大规模落地吗?|界面新闻 · 科技-第1张图片-催听迷商品网上购买网站货到付款渠道官网店在线网上购买网站在线售卖喷雾用品官网强效类药品交易正品网店渠道批发价格订购物
图片来源:生数科技

这项功能解决了主体一致性问题,这也是视频模型大规模商业化落地的前提。目前Vidu Q1参考生可最多支持七个主体同时输入并始终保持一致,生数科技方面表示,七个主体可以把绝大部分场景和元素固定下来。

生数科技CEO骆怡航对界面新闻记者表示,参考生视频是对传统内容生产流程变革。在他看来,根据参考主体一键直出视频,是从线下拍摄视频到线上AI创作一个本质的创作流程和方式的转变。其次,这一改动可以构建更通用的创作方式,可更好落地广告、动漫、影视、文旅、教育等不同商业化场景。

生数科技发布Vidu Q1,“参考生”功能可以让视频模型大规模落地吗?|界面新闻 · 科技-第2张图片-催听迷商品网上购买网站货到付款渠道官网店在线网上购买网站在线售卖喷雾用品官网强效类药品交易正品网店渠道批发价格订购物

多模态模型是当前所有还在坚持基础模型训练的厂商的重点投入方向,而理解与生成一体化被认为是行业共同追求的目标。不过,在自回归架构、扩散架构等底层算法问题上,行业还没有得到一个有效答案。 

骆怡航告诉界面新闻记者,从表面上来看,这是一个技术路线选择问题,但对于需要追求应用落地和商业化进程的创业公司而言,这个问题的最终解决要综合研判。

生数科技发布Vidu Q1,“参考生”功能可以让视频模型大规模落地吗?|界面新闻 · 科技-第3张图片-催听迷商品网上购买网站货到付款渠道官网店在线网上购买网站在线售卖喷雾用品官网强效类药品交易正品网店渠道批发价格订购物
生数科技CEO骆怡航(图片来源:界面新闻)

生数科技目前采用U-ViT架构,也是一种主流的基于扩散(Diffusion)和Transformer相结合的架构,不过团队会对个别算法模块等分支部分进行优化。Vidu模型本身也内置多模态理解能力,落地于视频生成

团队暂时没有将理解与生成一体化放在优先位置,是因为行业客户更关心内容效果而非技术路线,因此模型的创新迭代还是以产业落地为引导。 

生数科技正在将Vidu的多模能力接入具身智能领域。7月25日,清华大学与生数科技联合发布具身智能模型Vidar,通过“视频大模型+具身智能”技术路径,实现低成本、少样本泛化,所需数据量约为RDT的八十分之一,π0.5的一千两百分之一。

骆怡航对界面新闻记者解释称,在视频模型和具身智能领域,无论是数字信息还是物理信息,本质上都是时空信息,并且都采用信息输入、决策输出的交互逻辑,因此视频模型对于物理世界规律的理解与具身智能是通用的。团队可以基于Vidu视频大模型基座通过少量机器人线下实操视频的训练与微调,生成的虚拟视频为对应的机械臂动作

相较于强调端到端的VLA(Vision-Language-Action)路线Vidar想要解决前者数据稀缺难以大规模泛化的瓶颈问题

视频模型在具身智能领域的能力延伸是一个重要信号,这可能为该领域厂商开启一个潜在的商业市场。

骆怡航表示,考虑到具身智能大规模商业化还需要时间,Vidu目前最高优先级任务仍是提升视频生成能力,并将具身智能领域涉及数字世界与物理世界结合作为持续的探索方向。

  • 苹果对欧盟5亿欧元罚单提起上诉,称该处罚“史无前例”|界面新闻 · 科技
  • 绫濑遥演绎优衣库夏日系列,Crocs新联名融合“鞋+手表”|是日美好事物|界面新闻 · 时尚
  • 提振消费等宏观政策持续加力下,6月PPI呈现多重积极信号|界面新闻
  • 涉嫌连续6年财务造假!金通灵及核心高管被提起公诉|界面新闻 · 证券
  • 欧冶半导体完成B3轮融资|界面新闻 · 快讯
  • 香港抢占RWA风口:基础设施、生态规模与产业链|界面新闻
  • 在岸人民币兑美元收盘报7.1690|界面新闻 · 快讯
  • 特朗普威胁对俄追加制裁之际,FBI启动对两名“通俄门”前调主导官员的刑事调查|界面新闻 · 天下
  • 美联储观察:不稳定的特朗普政策环境下,鲍威尔只能旁观|界面新闻
  • 专项债使用范围再扩大,首次投向政府投资基金|界面新闻
  • 江汽集团董事长项兴初:加速推进尊界品牌第二、第三款产品研发|界面新闻 · 快讯
  • 2024年营收达55.74亿,影石创新即将登陆科创板|界面新闻 · 快讯
  • 懂车帝:上半年承接汽车补贴申请量超96万份|界面新闻 · 快讯
  • 佛山输入性疫情基孔肯雅热应该如何防治?|界面新闻
  • 界面晚报 | 央行等六部门重磅发布19条举措促消费;伊朗否认停火后向以色列发射导弹|界面新闻 · 中国
  • 发布评论 0条评论)

    还木有评论哦,快来抢沙发吧~