深度学习

1 基础 Andrew NG 的 Machine earning视频。 连接：主页，资料。 2008年Andrew Ng CS229 机器学习 当然基本方法没有太大变化，所以课件PDF可下载是优点。 中文字幕视频@网易公开课，英文版视频@youtube，课件PDF@Stanford Tom Mitche 的机器学习视频 他的《机器学习》在很多课程上被选做教材…

(1)循环神经网络, 在文字处理上的表现, 只是小荷才露尖尖角. 自然语言处理, 英文是 Natural Language Processing (NLP).其基本定义为: 把一段文字, 转化成一个数据结构, 力求清晰无误地表达文字的意义. 自然语言处理包括对自然语言的理解和生成, 典型应用如机器翻译, 文字分类, 聊天机器人等等. 通过语言沟通, 是智人和…

深度学习（Deep Learning）属于非常前沿的学科，没有现成的的综合型教材，主要是通过阅读大量论文和代码练习来学习。

  (1)循环神经网络 (RNN)的本质, 是可以处理一个长度变化的序列的输出和输入 (多对多). 广义的看, 如果传统的前馈神经网络做的事, 是对一个函数的优化 (比如图像识别). 那么循环神经网络做的事, 则是对一个程序的优化,应用空间宽阔得多.长短期记忆 (LSTM)的架构, 使有用的历史信息, 可以保留下来,很久以后仍然可以读取.一个有趣的…

(1)2012年十月, Geoffrey Hinton, 邓力和其他几位代表四个不同机构 (多伦多大学, 微软, 谷歌, IBM) 的研究者, 联合发表论文, “深度神经网络在语音识别的声学模型中的应用: 四个研究小组的共同观点” (Deep Neural Networks for Acoustic Modelling in Spee…

Theano是一个Python库，可以在CPU或GPU上运行快速数值计算。这是Python深度学习中的一个关键基础库，你可以直接用它来创建深度学习模型或包装库，大大简化了程序。

(1)RNN和 LSTM 发挥威力的重要应用之一, 是语音识别.一直到2009年之前, 主流的语音识别技术, 依靠的是统计学上的两个算法模型, 高斯混合模型 (Gaussian Mixture Model)和隐藏马尔科夫模型 (Hidden Markov Model). 马尔科夫模型, 是一个概率的模型. 其核心思想, 就是一个系统, 下一个时间点的状态, …

学者热议：大数据并非越大越好 越发展难题越多 哈佛大学文理研究生院院长孟晓犁：大数据：越发展，难题越多 大数据这两年一直是热词。发展中的大数据确实带来了很多有用信息，但也使我们遇到越来越多的难题。其中最大的难题就是如何去伪存真，将那些带来误导的噪音去除。 因此，发展中的大数据需要的不仅是专业的数据信息人才，而是需要更多善于和各个领域的大数据打交道的人，这对统…

(1)迄今为止我们讨论的神经网络模型, 都属于一种叫做前馈网络 (feedforward network) 的东西. 简而言之, 前馈网络, 信息从底层不断往前单向传输,故而得名. RNN (Recurrent Neural Network), 也称循环神经网络, 多层反馈神经网络, 则是另一类非常重要的神经网络. 本质上, RNN 和前馈网络的区别是, 它…

(1)2013 年的 ImageNet 竞赛, 获胜的团队是来自纽约大学的研究生 Matt Zeiler, 其图像识别模型 top 5 的错误率, 降到了 11.5%. Zeiler 的模型共有六千五百万个自由参数, 在 Nvidia 的GPU 上运行了整整十天才完成训练. 2014年, 竞赛第一名是来自牛津大学的 VGG 团队, top 5 错误率降到了 …

(1)2012年神经网络模型在ImageNet 竞赛中的突破,引起了工业界强大的兴趣. Hinton 教授和他的两个研究生, Alex Krizhevsky 和 Ilya Sutskever, 2012 年底成立了一个名叫 DNNresearch (深度神经网络研究)的公司, 三个月后就被谷歌以五百万美元收购. Hinton 从此一半时间留在多伦多大学,另外…

摘要：与传统的浅层机器学习相比，深度学习具有优秀的自动提取抽象特征的能力，并且随着分布式计算平台的快速发展，大数据的处理能力得到极大的提升，使得近年来DL在工程界得到广泛的应用，包括图像识别，语音识别，自然语言处理等领域，并取得比传统机器学习更好的效果提升。另一方面，智能推荐系统，本质上是从一堆看似杂乱无章的原始流水数据中，抽象出用户的兴趣因子，挖掘出用户的…

在前不久著名的人机大战中，通过 “深度学习” 战胜围棋九段李世石的 Alphago 再次引起外界对人工智能和深度学习的关注，各种深度学习类的公司也开始备受外界追捧，很多大公司开始纷纷在这个领域进行布局。这不，最近一家非常著名的深度学习创业公司 MetaMind 就被 Salesforce 看上了。目前，Salesforce 已经收购了 MetaMind，不过…

摘要：将大数据 + 深度学习用于竞猜，足球魔方做了一款足球版的同花顺 AlphaGo 让人工智能、深度学习、神经网络等词语走向了大众，但其实这些名词背后的技术应用在通过下围棋在被大众认知前，已经有很多公司在用了。 比如面向足彩爱好者的足球魔方，呈现给用户直观的赛事赔率背后，运用的就是上面那些一般人都只知道名词的技术。他们在 8年 前开始做足球赛事数据挖掘相关…

摘要：本讲座选自清华语音语言实验室副主任王东于2016年1月19日在RONGv2.0系列——”语言语音语义与大数据技术”专场上所做的题为《语音识别中的大数据与小数据学习》的演讲。 谢谢大家。刚才刘老师已经把很多的东西说得很清楚了，我觉得我已经可以走了J。但是既然来了，还是应该给大家说一说。刘老师在一个比较宏观的场景下给大家介绍了整体的…