南开大学考研(南开大学考研专业目录及考试科目)

南开大学考研,南开大学考研专业目录及考试科目

入选了CVPR 2022的这款人工智能工具,是南开大学和海思合作完成,研究的一种视频修复算法。虽然是视频修复算法,不过此AI在演示demo中展现的是P图神器的功能:人物凭空消失。而当看到这个演示demo是p视频的时候,机智客还以为南大这个AI是实现抠像处理等功能的,心想视频抠像这个技术又上一层楼了?不过clone到本地新建环境后才发现并非如此。

这个AI就是E2FGVI,在4月6日代码公开,于5月15日发布的E2FGVI-HQ,可以处理任意分辨率的视频。该模型可以很好地推广到更高的分辨率,而它只使用432×240视频进行训练。另外,它在峰值信噪比(PSNR)和SSIM指标上都优于我们的原始模型。这是官方介绍。

官方介绍可以处理任何分辨率的视频,在演示视频中添加Matting并让视频中人物消失,看起来非常惊艳,容易让人联想到视频P图抠像。于是在本地Ubuntu中用git clone将项目下载到本地,并新建conda虚拟环境,

需要说明下,这里只是测试了test.py脚本的内容。大致看了下源代码,examples目录里有演示视频schoolgirls.mp4和一个叫schoolgirls_mask的文件夹。终端命令行中,安装了必要的依赖,看README.MD文件后,然后机智客找了一个自己的视频来测试下,自己的视频不是固定的尺寸,所以这里输入命令python test.py –model e2fgvi_hq ***然后运行,载入没问题,不过mode = img_group[0].mode出错,提示是list index out of range,我还以为又是挺折腾人的依赖或者需要调整代码,定位排查到了代码位置比较来比较去也没觉得有问题。

开始以为是视频问题,电脑配置一般这种情况导致的载入失败mg_group[0]为空,所以引发列表索引越界的异常。自己检查依然不是这个问题。没办法了,从异常出错开始,一行一行来检查代码吧。看了一部分这才意识到,是mask问题。这个居然还要你提前获得mask文件。嘿,夫天下笨熊,非我其谁,谁能当之?

也就是说,这个要你提前准备好和原视频匹配的mask文件夹。只有这样你才能用test.py的功能来达到让视频画面中人物凭空消失的特效,而要得到Mask图像,当然这任务还是你的,你需要用后期合成或者其他人工智能技术来抠像得到mask,之后才能上演这个人物消失大法。看起来有点虚晃一枪,不过看到演示还有视频LOGO遮挡画面修复等功能,这个应该适合一部分场景下的视频修复,特效制作等相关工作的吧。

南开大学考研(南开大学考研专业目录及考试科目)