新闻资讯

快手可灵发布2.0版本:上线多模态视频编辑功能

随着AI生成视频日渐走红,如何准确将用户心中的想法转化成AI视频,成为难题。用户常常发现,仅仅依靠文字很难描述自己的需求。

4月15日,快手旗下可灵AI宣布,面向全球发布可灵2.0视频生成模型及可图2.0图像生成模型,快手高级副总裁、快手社区科学线负责人盖坤向澎湃新闻记者表示,“AI在辅助创意表达上拥有巨大潜力,但当前的行业发展现状还远远无法满足用户需求,在AI生成内容的稳定性、以及用户复杂创意的精确传达上仍有很多挑战。”

此次2.0版本的迭代中,最受关注的便是多模态视频编辑的新功能:可灵AI使用全新交互理念Multi-modal Visual Language(MVL),让用户能够结合图像参考、视频片段等多模态信息,将脑海中包含身份、外观、风格、场景、动作、表情、运镜在内的多维度创意,高效传达给AI。同时,用户可以直接把自己的想法用图像等方式表作为输入,生成符合自己想法的创意视频。

盖坤介绍,MVL由TXT(Pure Text,语义骨架)和MMW(Multi-modal-document as a Word,多模态描述子)组成,能从视频生成设定的基础方向以及精细控制这两个层面,精准实现AI创作者们的创意表达。他表示,MMW(多模态描述子)将不只局限于图片和视频,也可以引入其它模态的信息,例如声音、运动轨迹等,让用户实现更加丰富的表达。

数据显示,自去年6月发布以来,可灵AI已累计完成超20次迭代。来自世界各地的超1.5万开发者和企业客户,将可灵的API应用于不同的行业场景中。自去年6月上线至今的10个月时间里,可灵AI的月活用户数量增长25倍,截至目前,全球用户规模突破2200万。

据盖坤介绍,可灵和可图两款模型在团队内部的多项胜负率评测中,均稳居业内之一。例如在文生视频领域,可灵2.0对比谷歌Veo2的胜负比为205%,对比Sora的胜负比达367%。

值得注意的是,当前图生视频约占到可灵AI视频创作量的85%,图片质量也对视频的生成效果产生重要作用。

据快手副总裁、可灵AI负责人张迪介绍,可图2.0文生图能力也迎来全面升级,在风格化响应上,可图2.0可支持60多种风格化的效果转绘,模型出图创意和想象力实现大幅跃升。

同时,可图2.0也上线图像可控编辑功能:局部重绘和扩图,支持图片的增加、修改和修复。在图像的多模态可控生成中,可图2.0还上线风格转绘功能,只需要上传一张图片加上风格描述,就能一键切换图片的艺术风格,同时精准保留原图的语义内容。

除C端订阅用户,可灵AI也面向B端商家提供API接入等服务。目前,可灵AI已与包括小米、亚马逊云科技、阿里云、Freepik、蓝色光标等在内的数千家国内外企业客户建立合作关系。

在营收数据方面,快手2024年三季度财报数据显示,可灵AI在2024年9月实现月活超150万;商业化单月流水也超过千万人民币。另据2024年快手四季度及全年财报,自可灵AI开始商业化变现至2025年2月,可灵AI的累计营业收入已经超过1亿元

AI视频是互联网公司集体发力的赛道,去年12月,腾讯混元大模型发布AI视频生成大模型,同时宣布开源,参数量达到130亿,为当时更大的视频开源模型,字节跳动、MiniMax、智谱AI等国内大厂和头部初创公司也推出了相应产品。

  • 利率最高3%!存款特种兵上演“千里大挪移”,客户经理自掏腰包“抢人”
  • 财政部、金融监管总局:在银行信贷等业务领域开展审计报告批量查验试点工作
  • 地方新闻精选 | 北京9个区发布森林火险红警 广东辟谣“生二胎奖励7.2万元”
  • 沈阳市委常委、新民市委书记马原拟提名为地级市市长候选人
  • 澳门永久性居民将获发1万澳门元
  • F1期待下一个“周冠宇”,中国年轻车手角逐赛车场
  • 金融月评|政策节奏应会调整
  • 新酒店 | 绘姑苏繁华,丽思卡尔顿酒店亮相苏州
  • 习近平同柬埔寨首相洪玛奈举行会谈
  • 男子在洗衣机里藏16.2万元“彩礼”?家人:他都没对象!
  • “一城双白金”就在脚下!这场半马将以最高标准打造
  • 宋涛:携手抵御外部风险挑战,大陆始终是台商坚强后盾
  • 丁磊任长航集团党委书记
  • 面对145%的关税, 最焦心的是苹果和沃尔玛的CEO
  • 特朗普称美国可能退出俄乌和谈俄高官叫好:明智之举
  • 关键词: