2019年 10 大精彩论文,哪篇论文感动了你?
作者:华体会 发布时间:2022-02-13 10:01
本文摘要:作者 | 杨晓凡编辑 | CamelAI 科技评论按:2019 年马上就要竣事了,这一年里我们又一同见证了雪片般麋集(越来越麋集)的论文,见证了全世界研究人员在种种问题上的新探索。AI 科技评论参考 TopBots、Heartbeat、New World AI 等机构的 2019 论文榜单,总结出 2019 年揭晓的具有研究风向代表性的、有学术影响力、内容也精彩的 AI 论文。

华体会官网

作者 | 杨晓凡编辑 | CamelAI 科技评论按:2019 年马上就要竣事了,这一年里我们又一同见证了雪片般麋集(越来越麋集)的论文,见证了全世界研究人员在种种问题上的新探索。AI 科技评论参考 TopBots、Heartbeat、New World AI 等机构的 2019 论文榜单,总结出 2019 年揭晓的具有研究风向代表性的、有学术影响力、内容也精彩的 AI 论文。其中一些论文把现有的技术思路革新得越发完善,有一些加深了我们对机械学习/深度学习整件事的明白,也有的实验了全新的假说、打开了新的探索偏向。

固然,这一年有许多论文都具有显著的学术价值,下面总结出的只是冰山一角。如果你以为另有哪些论文是同样值得被回首的,接待在评论区留言和我们讨论。除此之外,我们还准备了一篇「2019 年十大新奇论文」,总结了这一年中尤其新颖有趣、甚至特别招致品评的论文。

2019 年精彩学术论文 Top10(按首字母排序)[ 一 ]论文:A Style-Based Generator Architecture for Generative Adversarial Networks ( CVPR 2019 )一个基于气势派头的GAN生成器架构作者:NVIDIA 实验室 Tero Karras, Samuli Laine, Timo Aila推荐理由:StyleGAN 无疑是 2019 年最热门的 GAN 网络模型。在 StyleGAN 之前,GAN 的相关研究已经遇到了条件式生成难题、单纯增加模型巨细的收益有限、无法生成传神的高分辨率图像等等多种逆境,StyleGAN 就突破了这个瓶颈,在生成控制的可控制性、差别属性的相互搭配、高分辨率高清晰度(且具备一致性)方面都带来了大幅进步。

为此,StyleGAN 获得了 CVPR 2019 最佳论文荣誉提名奖。StyleGAN 在网络上引发了大量讨论,它惊人的人脸生成效果不仅折服了吃瓜群众,也吸引了许多人撰写自己的实现并开放 demo 供所有人实验,包罗生成人脸(thispersondoesnotexist.com)、生成猫(thiscatsondoesnotexist.com)、生成二次元妹子(thiswaifudoesnotexist.net)、生成房间照片(thisairbnbdoesnotexist.com)的模型。就在近期,包罗论文原作者在内的 NVIDIA 实验室研究人员们揭晓了 StyleGAN2 论文(Analyzing and Improving the Image Quality of StyleGAN,arxiv.org/abs/1912.04958),针对性地修正了 StyleGAN 生成的图像中的缺陷等问题、提高了图像中元素的一致性,从而把图像生成质量带到了新的岑岭。论文地址:StyleGAN arxiv.org/abs/1812.04948 StyleGAN2 arxiv.org/abs/1912.04958代码开源:https://github.com/NVlabs/stylegan2[ 二 ]论文:Bridging the Gap between Training and Inference for Neural Machine Translation ( ACL 2019 )弥补神经机械翻译模型训练和推理之间的缺口作者:中科院盘算所智能信息处置惩罚重点实验室,中国科学院大学,微信 AI 模式识别中心,伍斯特理工学院,华为诺亚方舟实验室推荐理由:神经机械翻译模型的训练方式是给定上下文,预测某一些被掩模的词,但推理历程(真正的翻译历程)是需要从零生成整个句子。

这种偏差问题其实在序列到序列转换任务中恒久普遍存在。这篇论文就研究了这种偏差,并探讨如何弥补这种偏差。

作者们提出的解决方案是,生成条件在「基于参考文本中的词」和「解码器自己的输出中预选择词」两种之间切换,论文的实验做得很是完善,效果令人信服。凭据 ACL 2019 论文奖评选委员会的意见,这种方法适用于当前的纯学习训练范式,也能为计划采样带来革新;而且,这不仅可能影响原来针对的机械翻译任务的未来研究和应用,也能用来普各处革新其它的序列到序列转换模型。这篇论文也被选为 ACL 2019 最佳论文。论文地址:https://arxiv.org/abs/1906.02448 [ 三 ]论文:Grandmaster Level in StarCraft II Using Multi-agent Reinforcement Learning ( Nature )通过多智能体强化学习在星际2中到达「Grandmaster」段位作者:DeepMind Oriol Vinyals、Demis Hassabis、Chris Apps & David Silver 等推荐理由:2019 年 1 月,DeepMind 开发的星际 2 AI「AlphaStar」首次亮相就击败了人类职业选手。

虽然其时的角逐规则显着对 AI 方有利,但我们已经感受到了 AI 并不是靠操作速度、而主要是靠优秀的计谋取告捷利的。厥后,在公正规则的、基于星际 2 天梯的大规模人机 1v1 角逐中,AlphaStar 继续发挥出了优秀的体现,取得了「Grandmaster」段位,或许为所有活跃玩家的前 0.15%。这也成为了 AlphaStar 论文揭晓在《Nature》杂志 2019 年 10 月刊所需要的最后一个实验。

AI 在游戏中胜过人类固然不是第一次了,不外 DeepMind 开发 AlphaStar 并不仅仅(和其它游戏 AI 一样)使用了大量的盘算能力,他们使用的群体强化学习(群体进化、保留多种差别计谋)等设计也改善了通常强化学习做法的问题,提高了智能体在庞大情况中的体现。不完全信息、高维一连行动空间的长序列建模问题的解决方案日趋成熟。论文地址:https://www.nature.com/articles/s41586-019-1724-z (开放阅读版https://storage.googleapis.com/deepmind- media/research/alphastar/AlphaStar_unformatted.pdf)详细先容:https://www.leiphone.com/news/201901/aDDh5MOlOsU22WvK.html[ 四 ]论文:Learning the Depths of Moving People by Watching Frozen People ( CVPR 2019 )通过视察静止的人学习预测移动的人的深度作者:谷歌 AI 研究院 Zhengqi Li, Tali Dekel, Forrester Cole, Richard Tucker, Noah Snavely, Ce Liu, William T. Freeman推荐理由:这篇论文要解决的任务「从单个摄像头预计运动物体的深度」乍看上去是无法完成的。

这篇论文用了很巧妙的方法,一方面,作者们把 YouTube 上用户们自己上传的「时间静止」视频作为数据集,它们提供了海量的、天然的、带有人物的三维空间回放,经由传统方法还原之后就可以作为标注数据,免去了收罗之苦。这实际上提醒我们,除了用传统众包方法专门收集数据集之外,网络上另有许多公然数据经由处置惩罚以后也可以成为很有价值的训练数据集。另一方面,在用深度模型学习空间知识、学习预测深度的同时,作者们还增加了分外的结构让网络能够提取邻近的帧之间的变化信息,提高了网络处置惩罚运动物体的能力。最终效果是,只需要单个摄像头视角的输入,模型就可以输出稳定、高准确率的三维深度预测,对于运动的物体也有很好效果。

这篇论文也获得了 CVPR 2019 最佳论文荣誉提名奖。论文地址:https://arxiv.org/abs/1904.11111详细先容:https://www.leiphone.com/news/201905/comu6TnFl5ejaAG1.html代码开源:https://github.com/google/mannequinchallenge[ 五 ]论文:The Lottery Ticket Hypothesis:Finding Sparse, Trainable Neural Networks ( ICLR 2019 )彩票假说:找到稀疏、可训练的神经网络作者:MIT 盘算机科学与人工智能实验室 Jonathan Frankle, Michael Carbin推荐理由:作为缩小网络体积、降低运算资源需求的技术门路,网络稀疏化和知识蒸馏一起获得了越来越多的关注。现在最常用的稀疏化方法是先训练一个大网络然后剪枝,稀疏的网络也可以获得和浓密网络差不多的性能。

既然稀疏的网络可以有和浓密网络差不多的性能,这篇论文里作者们就提出一个斗胆的假设,看作是想要的稀疏网络原来就在浓密网络里,我们只需要把它找出来就可以 —— 更详细地,如果从随机初始化的网络随机做 n 次迭代可以获得训练好的浓密网络,从随机初始化的网络里做类似数目的迭代也可以找到体现差不多的稀疏网络。只不外,找到谁人稀疏网络很是依赖好的初始值,而想在随机出好的初始值简直就像抽彩票。这就是论文焦点的「彩票假说」。

作者们设计了算法确认「是否抽到了好的号码」,也用一系列实验验证了假说、展示了好的初始值的重要性。甚至,从好的初始值出发获得的稀疏网络可以获得比浓密网络更好的体现。

这篇论文获得了 ICLR 2019 的最佳论文奖。斗胆的「彩票假说」连忙引发了猛烈讨论。作者们做了后续研究揭晓了 Stabilizing the Lottery Ticket Hypothesis(arxiv.org/abs/1903.01611);Uber AI 实验室揭晓了一篇论文 Deconstructing Lottery Tickets: Zeros, Signs, and the Supermask(arxiv.org/abs/1905.01067)先容了他们对这个现象的深入探究效果,展现了「彩票假说」在碰运气之外的合理性;论文 Sparse Networks from Scratch: Faster Training without Losing Performance(arxiv.org/abs/1907.04840)也紧接着提出「彩票假设」之类的稀疏网络生成方式盘算价格太高,他们的新方法可以直接从稀疏的网络结构开始训练,对盘算资源需求更少、训练更快,并到达和浓密网络相近的体现;FB 田渊栋组也揭晓了 One ticket to win them all: generalizing lottery ticket initializations across datasets and optimizers(arxiv.org/abs/1906.02773)并被 NeurIPS 2019 吸收。

论文地址:https://arxiv.org/abs/1803.03635详细先容:https://www.leiphone.com/news/201905/ZwDWnaSGZHDveLiO.html代码开源:https://github.com/google-research/lottery-ticket-hypothesis [ 六 ]论文:On the Variance of the Adaptive Learning Rate and Beyond关于自适应学习率的变化以及更多作者:UIUC Liyuan Liu、韩家炜,微软研究院 高剑峰 等推荐理由:这篇来自韩家炜团队的论文研究了深度学习中的变差治理。在神经网络的训练中,Adam、RMSProp 等为了提升效果而加入了自适应动量的优化器都需要一个预热阶段,否则在训练刚刚启动的时候就很容易陷入欠好的、可能有问题的局部最优,而这篇论文中提出的 RAdam 能为优化器提供好的初始值。借助一个动态整流器,RAdam 可以凭据变差巨细来调整 Adam 优化器中的自适应动量,而且可以提供一个高效的自动预热历程;这些都可以针对当前的数据集运行,从而为深度神经网络的训练提供一个扎实的开头。

同一时期另有另一篇研究革新优化历程的论文《LookAhead optimizer: k steps forward, 1 step back》(arxiv.org/abs/1907.08610),它的焦点思路是维持两套权重,并在两者之间举行内插,可以说是,它允许更快的那一组权重「向前看」(也就是探索),同时更慢的那一组权重可以留在后面,带来更好的恒久稳定性。这种做法带来的效果就是降低了训练历程中的变差,就「淘汰了超参数调治的事情量」,同时「在许多差别的深度学习任务中都有更快的收敛速度、最小的盘算开销」(凭据论文作者自己的先容)。这两篇论文不仅都对神经网络的优化历程提出了有效革新,而且两者还可以配合使用。

这些结果都既增进了我们对神经网络损失空间的明白,还是很是有效的工具。论文地址:https://arxiv.org/abs/1908.03265代码开源:https://github.com/LiyuanLucasLiu/RAdam(RAdam),https://github.com/lonePatient/lookahead_pytorch/blob/master/(LookAhead)详细先容:RAdam 和 LookAhead 可以合二为一 https://www.leiphone.com/news/201908/SAFF4ESD8CCXaCxM.html[ 七 ]论文:Reasoning-RCNN: Unifying Adaptive Global Reasoning Into Large-Scale Object Detection ( CVPR 2019 )Reasoning-RCNN: 在大规模目的检测中应用统一的自适应全局推理作者:华为诺亚方舟实验室,中山大学推荐理由:随着目的识此外规模越来越大、粒度越来越细,种别不平衡、遮挡、分类模糊性、物体尺度差异性等等问题越来越显着。

我们很容易想到,人类视觉识别能力中的一个重要环节是「基于知识的推理」,好比辨认出了 A 物被 B 物遮挡之后,对这两个物体的识别都能更准确。这篇论文就把这种思想融入到了 RCNN 模型中,作者们为模型设计了显式的知识知识,而且用基于种别的知识图把图像中物体的语义知识表现出来。一方面,在感知模型中加入知识、加入基础的推理能力是构建「视觉智能」的趋势;另一方面,其它研究者虽然在更早的研究里就提出过「从图像的目的识别生成关系图」,可是关系图生成了以后有什么作用呢,这篇论文就展示了,可以用图进一步改善目的识别任务自己的体现。

除此之外,作者们还做了许多革新,让模型更适应大规模物体识别、增强阶段之间的联系、优化识别效果。最终,模型的 mAP 在多个数据集上都有大幅提高。

作者们的方法比力轻量,可以用在种种目的识别主干网络上,也可以集成种种差别的知识泉源。论文地址:http://openaccess.thecvf.com/content_CVPR_2019/html/Xu_Reasoning-RCNN_Unifying_Adaptive_Global_Reasoning_Into_Large-Scale_Object_Detection_CVPR_2019_paper.html代码开源:https://github.com/chanyn/Reasoning-RCNN[ 八 ]论文:Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning ( ICML 2019 )在多智能体强化学习中把社交影响作为固有念头作者:MIT,DeepMind,普林斯顿大学推荐理由:随着多智能体强化学习研究越来越多,为智能体设计/让智能体学会行动协和谐信息交流成了一个重要课题。这篇论文中作者们的着力点就是在多智能体情况下,让智能体从其他智能体身上学会固有的社交念头。

他们的方法是,如果一个智能体能影响其他智能体、让它们在协同和相同方面都有更好的体现,那就奖励它。更详细地,作者们在论文中展示了,如果一个智能体让其他智能体的行为发生了较大的改变,那奖励它就更有可能勉励差别的智能体之间有更多的配合信息交流。

这样的机制会让智能体形成归纳偏倚,更有意愿学会协同运动,即便这些智能体都是各自独立地训练的。而且影响力的奖励是使用一种漫衍式的方式来盘算的,能够有效解决突发通信的问题。这篇论文获得了 ICML 2019 最佳论文荣誉提名。同期另有另一篇来自 Facebook AI 研究院的论文 Learning Existing Social Conventions via Observationally Augmented Self-Play (arxiv.org/abs/1806.10071)从另一个角度设计了协调机制:在加入一个团体之前,新的智能体要通过视察和重放机制学习这个团地当前的行为模式(人类角度的「民俗习惯」),让自己能够融入,制止加入团体之后它的计谋无法获得奖励(即便在无互助的竞争性情况下可以获得奖励)。

不外或许还是前一篇学会固有社交念头更高明一点?相比之下它可是明显白白地促进了智能体都变得更协调、更主动相同啊(笑)。论文地址:https://arxiv.org/abs/1810.08647 [ 九 ]论文:Weight Agnostic Neural Networks权重无关的神经网络作者:谷歌 AI Adam Gaier 和 David Ha推荐理由:现代的神经网络研究都有一个牢固的模式,牢固网络架构,通过优化寻找好的毗连权重(训练)。这种老例也引发了一些讨论,「如果我们把网络结构看作先验,把毗连权重看作学到的知识」,那么我们能在多大水平上把知识以结构(先验)的形式集成在模型中呢?以及这样做是好还是坏呢?这篇论文就是一次直接的探索,网络的训练历程不是为了寻找权重,而是在相对牢固且随机的权重下寻找更好的网络结构。

对于集成了好的先验的网络结构,即便网络中所有的权重都统一且随机的也能有好的体现;在此基础上如果能允许划分优化差别的权重,网络的体现就可以更上一层楼。这种方式找到的先验知识也会以网络结构的形式直接体现出来,有更好的可解释性。如果说「牢固网络结构,寻找权重」和「牢固权重、寻找网络结构」划分就像「气宗」与「剑宗」,那么现在双方终于都登场了,我们可以期待未来有更多的好戏上演。

论文地址:https://arxiv.org/abs/1906.04358详细先容:https://www.leiphone.com/news/201906/wMjVvtWT2fr8PcxP.html 代码开源:https://weightagnostic.github.io/[ 十 ]论文:XLNet: Generalized Autoregressive Pretraining for Language UnderstandingXLNet:用于语言明白的通用自回归预训练作者:CMU,谷歌 AI推荐理由:基于 BERT 的革新模型许多,XLNet 是其中很是乐成的一个。XLNet 的革新重点在于,1,用基于输入顺序置换的新的掩模方式替代 BERT 的掩模+双向预测(这种机制设计使得 BERT 更像是文本降噪模型,而在生成任务中体现不佳),2,使用了 token 内容和 token 位置分散的双流自注意力机制,3,接纳了和革新 2 匹配的新的掩模方式。这些设计让 XLNet 兼具了序列生成能力(类似传统语言模型)和上下文信息参考能力。再加上选用更大的训练数据集、用更适应长序列的 Transformer-XL 作为主干网络、训练方式对掩模的使用率更高、允许部门预测训练等革新,可以说 XLNet 相对于 BERT 的技术革新是重新到尾的,在作者们测试的所有任务中都取得了比 BERT 更好的体现也是情理之中(虽然有一些任务中提升并不大)。

XLNet 这样的模型泛起代表着 NLP 预训练模型越发成熟,适应的下游任务越来越多、体现越来越好;也代表着一个统一的模型架构就有可能解决种种差别的 NLP 任务。论文地址:https://arxiv.org/abs/1906.08237代码开源:https://github.com/zihangdai/xlnetMore ……除此之外,以下这 10 篇论文也曾在我们的候选列内外,它们各突出之处,我们枚举如下:AI surpasses humans at six-player poker ( Science Magazine) https://science.sciencemag.org/content/365/6456/864在 6 人德州扑克游戏中胜过人类的扑克 AI(这也是 Science 杂志总结的 2019 年 10 大科学突破第 10 名)ALBERT: A Lite BERT for Self-supervised Learning of Language Representationshttps://arxiv.org/abs/1909.11942v1简化版 BERT,但不是简朴的缩小了事,他们用更少的参数获得了更好的体现A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstructionhttps://www.ri.cmu.edu/publications/a-theory-of-fermat-paths-for-non-line-of-sight-shape-reconstruction/ 「非视线内的物体形状重建」,也就是「如何看到墙角后面的工具」是这篇论文的研究课题。虽然这个任务略显冷门,但这篇论文讲明盘算机视觉技术有潜力让更多看似不行能的事情变得可能。获得了 CVPR 2019 最佳论文Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems ( ACL 2019 )https://arxiv.org/abs/1905.08743面向任务的多轮对话系统通常会为差别的任务设计预界说的模版,但差别模版之间的数据共享、数据迁移是一浩劫点。

这篇论文就提出了有效的知识追踪、共享、迁移方法Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised Learning from Monocular Videoshttps://arxiv.org/abs/1811.06152基于单视角视频,凭据运动物体的移动解算三维空间结构的做法在传统盘算机视觉中就有许多研究,这篇论文里把它和深度学习联合以后带来了更好的效果,作者们增加的在线学习能力也让这个方法对差别的数据集、差别的场景有更好的适应性。EfficientNet: Rethinking Model Scaling for Convolutional Neural Networkshttps://arxiv.org/abs/1905.11946研究 CNN 模型的缩放和可拓展性,用更小的模型获得更高的准确率,而且为差别规模的盘算资源提供了一系列优化过的模型。ICML 2019 Spotlight 论文Emergent Tool Use From Multi-Agent Autocurriculahttps://arxiv.org/abs/1909.07528v1通过隐式的课程学习中,在一个具备互动和竞争机制的情况中,差别的智能体之间可以连续地找到新任务,它们也就可以连续地学会新的计谋RoBERTa: A Robustly Optimized BERT Pretraining Approachhttps://arxiv.org/abs/1907.11692专门研究 BERT 的预训练历程并提出一种新的革新思路,用新的预训练目的做更充实的训练。

也就是说,设计一个大模型容易,但还要想措施确定是否已经训练够了。SinGAN: Learning a Generative Model from a Single Natural Imagehttps://arxiv.org/abs/1905.01164这篇论文实验从单张图像学习 GAN,多种差别尺度的 GAN 组成的金字塔结构划分学习图像中差别巨细的小块,整个模型的学习效果得以同时兼顾图像中的全局结构和细节纹理。

ICCV 2019 最佳论文Towards Artificial General Intelligence with Hybrid Tianjic Chip Architecturehttps://www.nature.com/articles/s41586-019-1424-8清华大学团队设计的天机芯片用融合架构同时支持来自盘算机科学的、基于数值的非线性变换的人工神经网络,以及来自神经科学的、基于信号响应的脉冲神经网络。论文揭晓在 Nature 杂志。以上就是我们总结的十大精彩学术论文(以及同样值得看看的另外十篇备选)。

如果你有什么差别的看法,接待留言和我们讨论。


本文关键词:2019年,大,精彩,论文,哪篇,感,动了,你,作者,华体会

本文来源:华体会-www.xinyihuizhan.com

电话
036-440296298