• Latest
  • Trending
视频版PS!0样本视频编辑模型,普通人秒变钢铁侠

视频版PS!0样本视频编辑模型,普通人秒变钢铁侠

2024-05-23

媲美DeepSeek!腾讯开源新版混元模型:AI Agent强化,超30种智能体指令

2025-06-30
AI杯·2025星际争霸2锦标赛夏季赛邀你一起战斗!

AI杯·2025星际争霸2锦标赛夏季赛邀你一起战斗!

2025-06-23

本世纪最伟大AI专访之一:AI安全、Agent、OpenAI等重磅话题

2025-06-17
火山引擎发布豆包大模型1.6,加速Agent大规模应用

火山引擎发布豆包大模型1.6,加速Agent大规模应用

2025-06-11

Meta正与Scale AI洽谈100亿美元投资

2025-06-09

微软大咖技术分享+动手实践工作坊 | 从技术到商业,MCP协议如何驱动AI新范式?

2025-06-06
80亿美元押注Agent!全球第一CRM收购Informatica

80亿美元押注Agent!全球第一CRM收购Informatica

2025-05-28

OpenAI放大招!核心API支持MCP,一夜改变智能体开发

2025-05-22

社区最新LLM大语言模型学习资料来啦!教材级参考 + 学习标准 + 概念精解

2025-05-19

AI 线下实战公开课(广州场)来啦!2.5小时 解锁 AI 大模型 MCP 开发核心技能

2025-05-13
解密NVIDIA团队的代理式AI技术实践

解密NVIDIA团队的代理式AI技术实践

2025-05-12
微软AI Genius训练营来啦!6场“理论+实战”课程,彻底点燃你的AI超能力

微软AI Genius训练营来啦!6场“理论+实战”课程,彻底点燃你的AI超能力

2025-06-10
Retail
星期二, 7月 1, 2025
关于数字金融网
联系我们&合作
  • 首页
  • 隐私计算
  • 数字风控
  • 数据治理
  • 数智平台
  • 营销与新零售科技
  • 人物观点
  • 活动|峰会
  • 报告|调研
  • 关于数字金融网
    • 联系我们
No Result
View All Result
数字金融网
No Result
View All Result

视频版PS!0样本视频编辑模型,普通人秒变钢铁侠

数字金融网 by 数字金融网
2024-05-23
in 其它分类
A A
0
视频版PS!0样本视频编辑模型,普通人秒变钢铁侠

巴黎矿业大学、以色列理工学院的研究人员联合推出了一款创新视频模型——Slicedit。

Slicedit主要通过结合文生图像的扩散模型以及对视频时空切片的预处理,在不影响背景的情况下对视频主体进行修改。例如,将一名冲浪的男人变成钢铁侠,将一名转球的男孩变成NBA巨星库里,将猫的样子变成豹等。

虽然更改的视频质量并不是很理想,会出现模糊、扭曲的情况。但这种方式对于不会使用AE专业视频编辑软件的业余人员来说帮助巨大,可以快速完成视频内容修改,相当于视频版的PS。用来做鬼畜、抖音、快手类的搞笑视频非常方便。

论文地址:https://arxiv.org/abs/2405.12211

http://static-fintech.rpa-cn.com/2024/05/20240523033420601.mp4

把一名冲浪男人轻松变成钢铁侠,背景没有发生任何改变。

http://static-fintech.rpa-cn.com/2024/05/20240523033416886.mp4

文生图领域涌现出了DALL·E 3 、Midjourney、Stable Difusion等一大批优秀的产品,但是将其应用在视频编辑却很难,经常出现时间不连贯、动作不一致、背景变动大等问题。而Slicedit通过空间时间切片、扩展注意力、DDPM反演等克服了这些难题。

http://static-fintech.rpa-cn.com/2024/05/20240523033428185.mp4

空间时间切片

在视频处理领域,空间时间切片是从视频的三维空间中提取的二维平面。这些切片可以是固定时间点上的视频帧(即空间切片),或者是在特定方向上跨越时间的连续帧的组合。

推荐可能喜欢的

媲美DeepSeek!腾讯开源新版混元模型:AI Agent强化,超30种智能体指令

2025-06-30
AI杯·2025星际争霸2锦标赛夏季赛邀你一起战斗!

AI杯·2025星际争霸2锦标赛夏季赛邀你一起战斗!

2025-06-23

在Slicedit模型中,通过空间时间切片使得模型能够处理视频中的动态元素,如运动和变形,还能够在编辑过程中保持背景和其他非目标区域的稳定和完整性。

例如,在将视频中的人物替换为机器人,空间时间切片模块能够确保在替换过程中,背景和其他非人物区域保持不变,从而生成自然且连贯的视频输出。

此外,在空间时间切片的帮助下,Slicedit还能在零样本条件下无需针对特定视频内容进行微调,就能进行视频编辑。模型的灵活、扩展性以及生成效率也得到了增强。

扩展注意力

在传统的注意力机制中,ChatGPT等模型通过自注意力来处理数据,使模型在处理图像或文本时,识别出不同部分之间的关联。

但这种机制在处理视频时存在局限性,因为不能很好地处理时间序列数据。为了解决这个难题,研究人员提出了扩展注意力。

http://static-fintech.rpa-cn.com/2024/05/20240523033413487.mp4

将普通转球男人变成NBA巨星库里

http://static-fintech.rpa-cn.com/2024/05/20240523033410449.mp4

扩展注意力的核心思想是将注意力机制扩展到多个时间步。这意味着模型在处理当前帧时,不仅考虑当前帧的信息,还会考虑与之相邻的帧。通过这种方式,模型能够捕捉到视频帧之间的动态变化,从而生成更加连贯的视频内容。

Slicedit模型中的扩展注意力是,通过修改U-Net网络中的自注意力模块来实现的,在每个Transformer块中引入了扩展注意力机制。

这种机制允许模型在处理视频帧时,同时考虑多个帧的信息。为了实现这一点,模型使用了一组关键帧(Key-Frames),这些关键帧被用来与当前帧进行比较和关联。

首先模型为每个帧生成Query、Key和Value。然后,模型计算当前帧与关键帧之间的注意力分数并通过softmax函数进行归一化。

最后,模型根据这些注意力分数对关键帧的特征进行加权求和,以生成当前视频帧的输出。

DDPM反演

常规的文生图、文生视频都是一种去噪过程,通常会从一个随机噪声向量开始,该向量遵循高斯分布。再通过迭代的方式逐步引入噪声,直至生成高质量的图像或视频。

Slicedit则反推了这个过程,从目标数据例如,从一个视频帧开始,目标是找到一组噪声向量,这些向量在经过DDPM的生成过程后能够重建原始数据。这一过程就是反演,即从数据中提取出噪声,而不是从噪声中生成数据。

Slicedit模型需要将输入的视频帧转换为噪声空间。这涉及到对视频帧进行逆向处理,以提取出在DDPM的生成过程中用于重建这些帧的噪声向量。

在提取出噪声空间后,接下来需要进行条件去噪,将条件信息例如,文本提示纳入到评估范围,以指导去噪过程,确保生成的视频内容符合用户的二次编辑标准。

研究人员表示,将会很快开源Slicedit模型,帮助更多的开发人员构建自己的视频编辑器。

本文素材来源Slicedit论文,如有侵权请联系删除

数字金融网

数字金融网

发表评论 取消回复

您的电子邮箱地址不会被公开。 必填项已用*标注

数字金融网

聚焦金融(银行、证券、保险)行业数字化转型的科技生态平台,关注信用科技、数字货币/区块链、支付科技、监管与反洗钱、隐私计算、数字孪生等科技在金融领域的发展与应用,面向金融行业从业者,解读金融政策、分享最新金融技术应用,输出有影响力的白皮书/报告,组织数字金融科技活动等,为金融机构实现数字化转型提供智库支持。

北京企智未来教育科技有限公司

service@rpa-cn.com

最新文章

  • 媲美DeepSeek!腾讯开源新版混元模型:AI Agent强化,超30种智能体指令
  • AI杯·2025星际争霸2锦标赛夏季赛邀你一起战斗!
  • 本世纪最伟大AI专访之一:AI安全、Agent、OpenAI等重磅话题
  • 火山引擎发布豆包大模型1.6,加速Agent大规模应用
  • Meta正与Scale AI洽谈100亿美元投资
  • 微软大咖技术分享+动手实践工作坊 | 从技术到商业,MCP协议如何驱动AI新范式?
  • 80亿美元押注Agent!全球第一CRM收购Informatica
  • OpenAI放大招!核心API支持MCP,一夜改变智能体开发

内容分类

  • 人物观点
  • 其它分类
  • 报告|调研
  • 数字风控
  • 数据治理
  • 数智平台
  • 活动|峰会
  • 营销与新零售科技
  • 隐私计算
  • 关于我们
  • RPA中国
  • LowCode低码时代
  • 隐私政策
  • 联系我们

Copyright©2017-2022 数字金融网 All Rights Reserved 京ICP备19023145号

No Result
View All Result
  • 首页
  • 隐私计算
  • 数字风控
  • 数据治理
  • 数智平台
  • 营销与新零售科技
  • 人物观点
  • 活动|峰会
  • 报告|调研
  • 关于数字金融网
    • 联系我们

Copyright©2017-2022 数字金融网 All Rights Reserved 京ICP备19023145号