电玩城app下载

搜索
电玩城app下载 > 彩票资讯 > 创世大发官网app_中科大研三学子巧改 EDVR 方案,摘下优酷视频增强和超分挑战赛桂冠!冠军方案全解读

创世大发官网app_中科大研三学子巧改 EDVR 方案,摘下优酷视频增强和超分挑战赛桂冠!冠军方案全解读

2020-01-09 10:45:38 | 发布者: 电玩城app下载 | 查看: 2392|

摘要: 雷锋网 ai 开发者:近日,持续 3 个多月的阿里 2019 优酷视频增强和超分辨率挑战赛终于落下了帷幕,最终,来自中国科学技术大学智能媒体计算实验室的研三学生陈嘉乐、单超炜,通过对当下最先进 edvr 方案的视频感知能力、时序信息及特征表达三大内容进行优化与改进,一举夺得桂冠;并向我们公开了详细的冠军方案解读,雷锋网 ai 开发者将其整理编辑如下。

创世大发官网app_中科大研三学子巧改 EDVR 方案,摘下优酷视频增强和超分挑战赛桂冠!冠军方案全解读

创世大发官网app,雷锋网 ai 开发者:近日,持续 3 个多月的阿里 2019 优酷视频增强和超分辨率挑战赛终于落下了帷幕,最终,来自中国科学技术大学智能媒体计算实验室的研三学生陈嘉乐、单超炜,通过对当下最先进 edvr 方案的视频感知能力、时序信息及特征表达三大内容进行优化与改进,一举夺得桂冠;并向我们公开了详细的冠军方案解读,雷锋网 ai 开发者将其整理编辑如下。

视频增强和超分是计算机视觉领域的核心算法之一,目的是恢复降质视频本身的内容,提高视频的清晰度。该技术在工业界有着重要的实用意义,并对于早期胶片视频的质量和清晰度的提升有着重大的意义。

本次大赛「阿里巴巴优酷视频增强和超分辨率挑战赛」由优酷主办,面向全社会开放,参赛队伍包括:个人、高等院校、科研单位、企业、创客团队等共计 1514 支,赛程分为初赛、复赛、决赛三个阶段,设置奖金池为 230000 元。

大赛提供了业界最大、最具广泛性的数据集,包括不同内容品类,不同噪声模型、不同难度等,参赛选手需要通过训练样本对视频增强和超分模型进行建模,对测试集中的低分辨率视频样本预测高分辨率视频,提交结果评分将进行实时更新。

本次获得大赛冠军的团队来自中国科学技术大学智能媒体计算实验室(intelligent media computing lab, imcl)。

团队成员包括:陈嘉乐,中国科学技术大学研三学生,主要的研究方向是强化学习和视觉计算,在本次比赛中主导算法设计、模型训练调试的工作;单超炜,中国科学技术大学研三学生,主要研究方向是图像处理和增强,负责算法设计和模型训练。

团队指导老师包括:中国科学技术大学教授陈志波、中国科学技术大学博士刘森以及微软亚研院高级研究员谭旭。

根据数据类型分类,目前的超分辨工作分为图像超分和视频超分。

图像超分

图像超分领域随着卷积神经网络的应用,不断有新的网络结构取得更优的性能,以下 6 种结构是目前图像超分领域所使用的方法:

残差结构目前超分领域普遍认为更深的网络能够带来更优性能,但更深的网络也带来训练困难的问题,残差结构能够缓解该问题,例如:edsr;

多分支结构从增加网络的宽度来提升性能,也是一种增强特征表达的方式,例如:rednet;

(以上两种结构都会带来巨大的参数量)

循环结构利用共享网络参数、循环递归的方式,在减少网络参数的情况下提升性能,例如:drcn;

渐进式结构把超分辩设计成多个阶段的网络结构,利用逐步增加分辨率的方式,提高超分性能,例如:scn;

注意力机制提高特征的表达能力,从而提高性能,例如:rcan、drln;

对抗模型利用 gan 的思想生成更符合人眼视觉评价的高分辨率图片,例如:srgan、enhancenet、esrgan.

视频超分

视频超分与图像超分的区别主要有两点,包括:

视频帧对齐因为视频中存在各种运动信息,所以存在参考帧和目标帧的偏差,但超分辩一般需要利用邻帧跟参考帧做对齐;

视频帧融合视频中存在运动模糊和场景切换的问题,如何有效融合视频帧,去除干扰信息,对最终的结果也有影响。

而在这两方面,视频超分的主要结构有以下几个类型:

三维卷积直接利用 3d 卷积捕捉时域特征的功能,直接做帧间融合;

循环结构可用于提取帧间关系,融合目标帧和参考帧的信息,例如: lstm 的结构来做帧间融合;

滤波器预测利用融合后的帧间信息预测滤波器参数,再通过滤波的方式做超分辩,获得自适应的滤波效果;

根据对图像、视频超分辨相关特性的分析,本次网络结构中,我们选择了将商汤的 edvr 方案作为建模基础。该方案提出将对齐和融合两个操作分开处理,可增加模型的可解释性。最终,整个视频处理流程分为对齐,融合,重建三个部分。

edvr 视频超分辨核心

目前,edvr 主要存在三点问题,即感知能力不够强,时序特征不充分,特征表达不高效。针对这几个问题,我们分别作了对应的优化如下。

增强感知能力

edvr 在做帧间对齐这个任务上提出一个高效的模块——多尺度的可变卷积模块。

可变卷积能够自适应学习 feature map 中最相关的特征点,即学习一个 offset,然后通过 offset 来利用相关点做卷积操作;利用多尺度的结构提升了可变卷积的对齐能力,多尺度的网络结构在各个尺度下完成视频帧对齐,然后利用不同尺度下的对齐信息来提高对齐操作的感受野;这个模块的性能提升大概在 0.3db 左右。

增强感知能力——多尺度的可变卷积模块

第二个优化是利用何恺明提出的 non local neural network。

这个结构借鉴了 nlp 领域的 self-attention 机制。例如:输入是 tchw 这样一个维度,然后通过矩阵相乘得到一个全局关系矩阵 thwxthw,得到 feature map 中每个点和其他点的相关性,从而让网络结构近乎有全局感受野。

增强感知能力——3d non local

但该结构有一个缺点,特别是在视频特征上,全局关系矩阵的维度很高,维度大小为(thw)^2。从而导致参数量剧增,使得这个结构无法承受所有的 3d non local 参数量。

因此,我们利用了一种 separate non local 的形式来解决这个问题,分别在空间维度、通道维度、时间维度做了 self-attention,减少所需参数量,并增大感受野。在实验过程中,这个模块带来了将近 0.3db 的性能增益。

增强感知能力——separate non local

时序特征不充分优化

在 edvr 做视频帧融合的时候,提出了一种叫 temporal and spatial attention,具体做法是所有帧跟中间帧去优化一个 attention map,但这忽略了邻帧之间的信息。

虽然在前面已经做过对齐,但这个过程很难做到完全准确,所以帧之间仍然具有一定的时域信息。

因此我们在这部分利用一个 3d 卷积来捕获帧间信息,这个部分取得了 0.1db 的增益。

时序特征不充分优化——融合模块

提高特征表达效率

edvr 的重建模块由 40 层的 resblock 堆叠而成,尽管深层网络结构增加了跳接结构,但依然难以保证训练的高效性,所以我们利用了一种 channel attention 的机制来处理这个问题。

channel attention 为 feature map 的每一个通道分配一个权重,从而让网络去关注特征中对超分更有信息量的部分。具体做法是利用 average pooling 和全连接结构来学习这个通道权重,再乘回原来的 feature map。这一优化使得该方法的性能提高了 0.23db。

提高特征表达效率——channel attention

我们在前 800 个视频上训练,在 800-849 这些视频上抽帧测试,结果如下图所示。其中 base 是指该网络使用了 20 层的重建模块,large 是使用了 40 层的重建模块。

base 模型下各个模块的性能增益分析

结果显示,separate non local 模块在参数量和 flops 增加不大的情况下,性能提升了近 0.3db;3d 卷积模块带来了 0.1db 的性能增益,channel attention 模块带来了 0.23db 的性能增益,所有模块合计共获得 0.4db 的性能增益。

large 模型下各个模块的性能增益分析

上图则显示了 large 模型下的实验结果。可以看到,edvr large model 性能是 35.75db,而当我们使用一个 20 层的 base model 就能够超过该 large model 的性能,并且参数量和 flops 都消耗更少。

如果把模型再加到大模型,最终模型可得到 35.97db 的 psnr,这与原始 edvr base model 比较,提高了 0.1db 的性能增益,但同时模型的参数量和 flops 将会大幅度增加。这部分的增益性价比不高,也表明了我们的结构更有利于在有限参数下获得更好的性能。

而在可视化上,我们的结构和 edvr 的对比,该网络在一些文字的细节恢复上效果更好。

可视化实验结果对比

我们的方法主要有三个创新点:

利用 separate non local 提高了网络感受野,增强了感知能力,最终实现利用小模型获得大模型的性能,提高性能的同时也降低了训练难度;

利用 3d 卷积的方式捕获帧间信息,提高了特征时序信息的完整度;

利用 channel attention 提高了特征的表达能力效率的同时,增大了模型的性能增益;

目前,该方法的优点是在相同性能下,模型使用的网络参数更少,训练更简单;缺点则是由于模型未能去掉 edvr 中的可变卷积,这一结构存在训练不稳定性的问题,这也是我们未来进一步优化的方向。另外,目前这一模型依然会存在泛化能力问题,如何在退化模型未知的情况下获得更好的超分效果,这可能是未来超分领域一个值得深入研究的问题。

雷锋网 ai 开发者



【相关新闻】
滴滴回应交通部整改要求和建议:将持续加强安全保障
科技讯 9月27日晚间消息,针对交通部的整改要求与意见,滴滴出行今日发布公告,表示将坚决拥护整改要求,持续加强安全运营保障工作,并对近期整改工作进展进行了说明。滴滴将切实整改并持续加强安全运营保障机制,全力推进网约车合规化,全面落实企业安全生产和维稳主体责任。整改期间,滴滴在全国范围内无限期下线了顺风车业务,陆续推出和升级了多项安全运营保障措施。
乌山联络线即将开通 长株潭城铁下月串起益阳常德
来源:凤凰网房产长沙站据湖南城际铁路有限公司消息,乌山联络线预计将于明年1月开通。据了解,乌山联络线连接长株潭城际铁路与石长铁路,届时,长株潭城铁将与常德、益阳联通。长株潭城际铁路将与石长铁路实现互联互通,长沙、株洲、湘潭、常德、益阳等5座城市可通过城际铁路串联。另外,为改善客流,长株潭城际铁路已增加车组车次并三次调整运行图。
俄自动星际站将对月球雷达扫探 以确定月表成分
中新网5月23日电 据俄罗斯卫星网报道,俄科学院地球化学与分析化学研究所月球和行星地球化学实验室负责人叶夫根尼·斯柳塔称,俄罗斯自动星际站“月球-26”将对月球进行雷达扫探,并能够获得该层特征的数据,这将有助于确定数十米厚的月球表面的成分。据火箭航天业消息人士称,之后计划建造这些空间站的备用站,以确定用于部署俄罗斯到访月球基地的地点。
超40位人大代表联名建议 苏州到底需不需要一座机场?
近日结束的全国“两会”,至少40位全国人大代表联名建议,加快推进苏州机场规划建设工作。不仅如此,全国人大代表、苏州市长李亚平也提出:“恳请支持规划建设苏州机场,并尽早将其列入国家相关规划之中。”为此,苏锡常均加入新机场争夺。时至今日,苏州成为全国GDP前20位、人口过千万的城市中,唯一没有机场的城市。说到底,苏州究竟需不需要一座机场?
熬夜的人出现这些信号,连自己都不知道怎么会的
14信号:突然多了小肚腩 身体质量指数低于标准,但肚腩不协调的突出,典型的中段肥胖。不要为了肚腩拼命节食,这是没有效果的,因为根源只是你累了。免疫力是人体对抗癌症的天然屏障,免疫力降低会使癌症发病率升高。多项研究证实,熬夜与乳腺癌、结肠癌等疾病风险的提升存在紧密联系。长期熬夜造成的过度劳累,还可能诱发中心性视网膜炎,导致视力骤降。
唐诗闲读:“渡头余落日,墟里上孤烟”
安禄山攻陷长安时,王维被迫受伪职。到唐肃宗乾元年间任尚书右丞,故后世称“王右丞”。渡头余落日,墟里上孤烟。《红楼梦》里香菱看了一夜的诗,对于这两句的体会是:“……还有‘渡头余落日,墟里上孤烟’:这‘余’字和‘上’字,难为他怎么想来!我们那年上京来,那日下晚便湾住船,岸上又没有人,只有几棵树,远远的几家人家作晚饭,那个烟竟是碧青,连云直上。谁知我昨日晚上读了这两句,倒像我又到了那个地方去了。”
「萌漫」野外驻训,这12个妙招你知道吗?
野外驻训条件艰苦、环境恶劣,容易发生安全事故,你是不是有点担忧?一旦发生不慎食用变质食品引发中毒,要立即催吐和洗胃,并送医救治。野训期间更不得暴漏部队的行动代号以及任务等,以防失泄密。在野外驻地期间,与天斗、与地斗、与蛇虫斗成为官兵每天必不可少的课目。野外驻训虽只是日常训练中的一个小小的缩影,但对于安全防范一定要高度重视。上面的小妙招,你学会了吗?
「基金观察」如何对上市公司进行合理估值?
中央广播电视总台经济之声《基金观察》主持人易建涛专访金鹰基金权益投资部基金经理李海,本期主题:如何对上市公司进行合理估值?大家用得最多的是pe,其实现在无风险收益率是3-4,其实意味着目前上市公司合理赔率,如果把所有行业看作一家公司的话,在目前无风险收益率是3-4条件下,其实它的合理估值其实应该是25倍左右的。
40款APP被督促整改 拉卡拉、宜人贷等上榜
40款APP被督促整改 拉卡拉、墨迹天气等上榜中新网客户端7月17日电(吴涛) 16日,APP专项治理工作组发文督促40款存在收集使用个人信息问题的APP运营者尽快整改,其中包括糗事百科、拉卡拉、掌阅、墨迹天气、人人贷借款、安居客、转转、途虎养车、宜人贷、同花顺、悟空理财等。工作组要求,这些APP在30天内完成整改,逾期未领取整改通知或未完成整改的,将建议相关部门予以处置。
台北孔庙举行祭孔大典展现中华文化传承
28日清晨6时起,台北孔庙举行隆重的释奠典礼,纪念孔子诞辰2569周年,缅怀这位受到中华民族世代尊崇的“至圣先师”。台北市民刘冠毅凌晨4点半就从家里出发,5点半前赶到了孔庙。台南孔庙当天也举行了盛大的祭孔大典,依循300多年来的传统方式使用猪、牛、羊等牲礼。各界人士齐聚大成殿,小学生跳着六佾舞祭孔,场面隆重有序。新北、桃园、高雄等地当天也举办了祭孔活动。
五线合一!全国12315平台上线
丨来源:市场监管总局网站、新华社8月31日,在天津举办的2019市场监督管理论坛上,全国12315平台正式上线,这标志着“互联网+市场监管”取得新成果,也标志着市场监管领域消费者权益保护工作取得新进展。国家市场监管总局相关负责人介绍,全国12315平台将原工商12315、质检12365、食药12331、知识产权12330、价监12358五条投诉举报热线及平台统一整合,为投诉举报提供统一、全天候的服
玫瑰花高清线稿,初学者临摹必备资料
俗话说的好,“送人玫瑰,手留余香”。玫瑰花,代表了爱情的甜蜜。女孩子都特别喜欢玫瑰花,每年的214,七月七,男孩都会送女孩玫瑰花,表达自己的爱意和礼物。也可以自己手绘一幅的,下面是玫瑰花的线稿资料。玫瑰花朵,开的很旺盛。每一层花瓣都层层递进,这也是画玫瑰花的难点之一。画玫瑰花的时候,要注意每一层花瓣的折叠关系,画出前后,上下的遮挡关系,这样玫瑰花会更有层次感。
这可轻松掌握的撩汉技巧,送给恋爱经验为零的情感小白
吃饭期间我推荐给他了一本书,过了几天他微信告诉我他拍的书已经到了,五一期间给我发了他出去游玩的照片,然后就无其他了。我陷入了恋爱的错觉中,等他的微信,关注他的动态,虽然他没有再联系我。我也羞于向他表达,一个从未恋爱过的傻白甜急需冷爱老师指导。所以,你关注他的动态,等他的微信,都是很正常的事情。
一女博士找“中介”代发论文被骗5万元
一女博士找“中介”代发论文被骗5万元前不久,湖北某高校博士张晨(化名)在网上找“中介”在“C刊”发表论文的愿望破灭了,还被淘宝卖家骗去了5.2万元积蓄。经过民警耐心劝导,巩某陆续交代了涉及福建、山东、湖北、上海等地的相关案件,现已查明涉案金额近13万元,已为5名受害人挽回10万元的经济损失。同时,芜湖警方通过技术手段,联系上了受害人之一张晨,并为她追回了1万多元的损失。目前,巩某已被公安机关刑事拘
四川美术馆建成六年,已留下了岁月雕琢的痕迹
2019年9月7日,位于四川成都市中心的四川美术馆。四川美术馆是一幢高38米共6层的前卫建筑,地下二层,地上六层,局部四层,占地11亩,总建筑面积19000平方米,整体形同一支横卧地面的“如意”的建筑体。四川美术馆多边形主楼和长方形副楼组成,副楼采用了坡面屋顶,从正门看去,墙面如同一幅拉开的帷幕,非常美观且富有现代感。四川美术馆占地6亩。四川美术馆建成六年,已留下了岁月雕琢的痕迹!
高温黄色预警继续:广东等地最高温达37℃
据中央气象台网站消息,中央气象台9月13日6时继续发布高温黄色预警:预计,9月13日白天,江汉中南部、江南大部、华南大部、重庆大部、贵州东部等地有35℃以上高温天气,其中,湖北中部和东部、湖南西部和东部、重庆东北部、江西大部、浙江西南部、福建西北部、广西东北部、广东北部等地部分地区最高气温可达37℃以上,局地最高气温可达40℃以上。
三分钟搞定清脆爽口的木耳山药,山药怎么做不发黑
平常多吃山药对人体是有好处的,可以清除肺部灰尘,我特别喜欢吃脆脆的山药,所以今天就做了一道木耳山药。
生意社:国内BDO市场重心上移
生意社09月20日讯一、价格走势国内bdo市场行情重心上移,根据生意社监测的样本数据显示,周初国内bdo市场价格为9280元/吨,周末bdo市场价格为9520元/吨,周内涨幅2.59%,价格环比上涨1.71%,价格较去年同期下跌15.38%。因此成本压力仍是工厂挺市的主要支撑,生意社bdo分析师预计,下周国内bdo市场持续供需博弈,重心或将窄幅上移,具体关注下游节前备货情况。
人民日报:向“数字脱贫”“拍脑袋规划”说不
  脱贫账目不取巧,项目规划不脱节向“数字脱贫”“拍脑袋规划”说不人民日报 本报记者 杨文明习近平总书记强调,要防止形式主义,扶真贫、真扶贫,扶贫工作必须务实,脱贫过程必须扎实,脱贫结果必须真实。如何防止“巧算账”式的数字脱贫?杨友泽说,在脱贫出列时更要从紧把握,避免“数字脱贫”。“去年让养鸡、今年让养羊、明年让种药材”这种“拍脑袋决策”越来越少。
陈永民:组织新三板各项改革措施尽快落地
陈永民表示,10月25日,中国证监会召开新闻发布会宣布启动全面深化新三板改革,11月8日,发布改革相关的两项部门规章,全国股转公司同步发布六件自律规则,向社会公开征求意见。陈永民指出,新三板改革是系统的改革,是全面的改革,具有以下四个特点。
最新新闻
© Copyright 2018-2019 homeofbeliefs.com电玩城app下载 Inc. All Rights Reserved.