鱼羊 萧箫 发自 凹非寺
量子位 报道 | 民众号 QbitAI

只给AI两张图片,就能获得高帧率动态视频

输入的两张图像,重叠后是这样的:

allbet:2张图片就能「算出」一段视频,Reddit网友都惊呆了 | 旷视&北大出品 第1张

而算出来的视频,是酱婶的:

allbet:2张图片就能「算出」一段视频,Reddit网友都惊呆了 | 旷视&北大出品 第2张

不错,这又是视频插帧算法的劳绩。

极限操作玩得6,让老电影变丝滑的通例手法,这个名叫RIFE的AI算法同样信手拈来。

右边这支经典探戈,看上去是不是比左边丝滑多了?

allbet:2张图片就能「算出」一段视频,Reddit网友都惊呆了 | 旷视&北大出品 第3张

不仅是老电影,航行演出的精彩瞬间,也能一口气从每秒24帧提升到每秒96帧。

allbet:2张图片就能「算出」一段视频,Reddit网友都惊呆了 | 旷视&北大出品 第4张

动图效果有所损失,不妨再来看一眼原视频。

,

www.allbetgaming.net

www.allbetgame.us欢迎进入欧博平台网站(www.allbetgaming.net),www.allbetgaming.net开放欧博平台网址、欧博注册、欧博APP下载、欧博客户端下载、欧博游戏等业务。

,

这项新研究,来自旷视和北大。不仅能让老影像资料追上人民群众对高帧率的需求,支持2X/4X/8X高质量插值,它还有一个最大的特点:

量子位在Colab上用T4跑了一遍Demo,一个时长53秒的720p 25fps视频,插值到100fps仅用了2分19秒

该项目现已开源,并且有官方Demo、第三方Windows应用可以试玩。

看过了RIFE的显示,网友们不由赞叹,这是要逾越那只经常在种种修复视频里泛起的插帧AI DAIN,引领一波新潮流的节奏啊?

一时之间,RIFE在Reddit上的热度飙升到了2.8k。

那么,这样的效果究竟是怎么实现的呢?

从双向估量,到一步展望中心帧

视频插帧,通常是用光流展望算法来展望中心帧,并插入两帧之间。光流,就像光的流动一样,是一种通过颜色来示意图像中目的移动偏向的方式。

希罕光流与浓密光流

传统光流展望算法,通常凭据前后两帧视频来展望中心的某一帧长啥样。

将展望完成的图像插进去后,视频看起来就会变得更丝滑。

以DAIN的算法为例,若是要展望t时刻的帧,就需要t时刻的前后两帧视频,通过光流展望算法来实现。

usdt跑分网声明:该文看法仅代表作者自己,与本平台无关。转载请注明:allbet:2张图片就能「算出」一段视频,Reddit网友都惊呆了 | 旷视&北大出品
发布评论

分享到:

滥用职权!长沙一交警6年受贿超万万
你是第一个吃螃蟹的人
发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。