深度学习

摘要：2016年3月7日，谷歌首席科学家，MapReduce、BigTable等系统的创造者，Jeff Dean受邀韩国大学，演讲主题《大规模深度学习》，这里部分来自highscalability的文字和笔者Youtube上的听录。刚好演讲在AlphaGo和李世石比赛之前，观众也问了他的预测，他只是说训练了5个月的机器跟顶尖高手的差距不好说；还有人问道他喜欢…

(1)2009年, 一群在普林斯顿大学计算机系的华人学者, (第一作者为 Jia Deng )发表了论文 “ImageNet: A large scale hierarchical image database), 宣布建立了第一个超大型图像数据库,供计算机视觉研究者使用. 这个数据库建立之初,包含了三百二十万个图像. 它的目的, 是要把英文里的…

摘要：近日雷锋网对深度学习三巨头Hinton、LeCun、Bengio中的前两位做了生平开扒，就差最后一个Bengio了。作为仅存的几个仍然全身心投入在学术界的深度学习教授之一，他在网上能刮到的生平介绍自然比前两位少得多，为大家找到了所有我们能找到的资料，让他不再活在传说中。 1. 根据Bengio的博文自述，在20世纪80年代Bengio还是一个学生的时候…

摘要：最近AlphaGo对李世乭的世纪大战让深度学习再次备受关注。本文是作者Lee Gomes于2015年原载IEEE，由机器之心翻译，也是雷锋网对人工智能领域做出接触贡献的先行者们致敬的《人类群星闪耀时》的第二篇。。虽然是旧文，但是文中大量关于深度学习的探讨依旧值得我们再次翻阅。读完文章，你也许就能明白，为什么Facebook人工智能负责人Yann LeC…

摘要：本文是在“人机大战”AlphaGo 4:1 获胜后，雷锋网采编的《人类群星闪耀时》系列文章的第一篇。谨以此系列向在人工智能和深度学习领域做出了接触贡献的天才们致敬。 20世纪60年代的英国：杰夫·辛顿（Geoff Hinton）还在读高中时，他的同学给他安利了一个说法：大脑的工作就像一张全息图。他深以为然。 80年代初期：辛顿发起了雄心壮志的计划——利…

(1)神经网络计算, 另一个常为人诟病的问题,是过度拟合 (overfitting). 一个拥有大量自由参数的模型,很容易通过调试,和训练数据吻合.但这并不意味着,这就是个好模型. 美国数学家冯纽曼 (John Von Neumann) 曾说, “给我四个参数,我的模型可以拟合一个大象. 给我五个参数, 我可以让它扭动它的鼻子.” 神…

(1)计算速度和数据规模的大幅度提高,也引导出更多算法上的改进. 在网络构架上,一些算法更多地借鉴人脑认知的成功经验: 多提高效率, 少做无用功. 多闭目养神,少乱说乱动. 多关注主要矛盾, 少关心细枝末节. 2003年纽约大学神经科学中心的 Peter Lennie 在论文中指出,人脑的神经元,一般最多 1-4%的比例, 可以同时处于激活状态. 比例更高时…

最近我仔细看了下AlphaGo在《自然》杂志上发表的文章，写一些分析给大家分享。 AlphaGo这个系统主要由几个部分组成： 1. 走棋网络（Policy Network），给定当前局面，预测/采样下一步的走棋。 2. 快速走子（Fast rollout），目标和1一样，但在适当牺牲走棋质量的条件下，速度要比1快1000倍。 3. 估值网络（Value Ne…

(1)主流学术界的研究者,大多注重于在算法上的渐进式提高, 而轻视计算速度和用于训练的数据规模的重要性. 孔丘老师早在两千多年前, 就高瞻远瞩的为深度学习指明了方向: “学而不思则罔, 思而不学则殆”. 用深度学习的语言来说,就是, “光有大数据,算得不快,则还是迷惘 ; 光算得快, 而没有大量的数据来训练,则还是疲倦无所…

导读：本文介绍百度基于Spark的异构分布式深度学习系统，把Spark与深度学习平台PADDLE结合起来解决PADDLE与业务逻辑间的数据通路问题，在此基础上使用GPU与FPGA异构计算提升每台机器的数据处理能力，使用YARN对异构资源做分配，支持Multi-Tenancy，让资源的使用更有效。 深层神经网络技术最近几年取得了巨大的突破，特别在语音和图像识别…

(1)九十年代末, 神经网络研究遇到的困境,除了慢,还是慢. 抛开计算速度的因素,传统神经网络的反向传播算法,捉虫时极为困难,一个根本的问题叫做所谓 vanishing gradient problem (梯度消失问题). 这个问题在1991年, 被德国学者 Sepp Hochreiter第一次清晰提出和阐明原因. 简单的说, 就是成本函数 (cost fu…

15年，Google 开源了用来分类和整理图像的 AI 程序 Inceptionism，并命名为 DeepDream。DeepDream 的开源除了帮助我们深入了解深度学习的工作原理外，还能生成一些奇特、颇具艺术感的图像。不久前，一位研究人员发表了一篇论文，提出了一种风格转换算法，可以将照片与绘画风格结合在一起。 DeepDream 采用卷积神经网络，将图像…

(1)1992 年笔者在纽约州的罗切斯特大学选修计算机课的时候, 学到这样一句话, 印象极为深刻. When in doubt, use brute force. “如果遇到困惑(的问题), 就使用蛮力. “ 此话出自当年 UNIX 系统的发明人之一 Ken Thompson. 他的本意是, 程序设计中,简单粗暴的计算方法, 虽然可能…

「机器人会梦见电子羊吗？」仍不失为一个好问题（译者注：《机器人会梦见电子羊吗？》（Do Androids Dream of Electric Sheep）为菲利普·迪克所著科幻小说，电影《银翼杀手》根据该小说改编而成），但是科学事实已经发展到开始与科幻小说相吻合的程度了。不，我们（目前）还没有造出挣扎于生存危机的自主机器人，但是我们距离人们所谓的「人工智能」…

用百度搜索“吴恩达”，弹出来的搜索页面除了他个人简介之外，还有大量的媒体采访，事实上，这位斯坦福大学计算机科学系和电子工程系副教授加入百度担任百度首席科学家后，成为了百度对外展示其技术公司底色的一面镜子，吴恩达研究的领域及其广泛，但最重要是还是深度学习这块，而他负责百度研究院后，其重心主要在人工智能和语音识别上，这也和百度的搜索以及无人驾驶技术戚戚相关，这一…