从突围看宠辱不惊？

(1)游戏公司 Atari 在1977年推出的 Breakout （突围）电脑游戏，主要开发者是苹果公司的创始人之一， Steve Wozniak. 乔布斯的角色是 Atari 和 Wozniak 中间的掮客. Atari 起先告诉乔布斯，游戏如果四天内开发出来，将支付 700 美元的报酬乔布斯许诺和 Wozniak 平分这笔钱但Wozniak 不知道的是，…

本文是 硅谷王川：深度学习有多深？发散的大脑（22） 的续篇。

本文是 硅谷王川：深度学习有多深？双陆棋和神经网络（21） 的续篇。

本文是硅谷王川：深度学习有多深？多巴胺的诱惑（20） 的续篇

(1) 多巴胺,英文名 Dopamine, 是一种有机化合物, 学名 4-(2-Aminoethyl)benzene-1,2-diol, 4-(2-氨基乙基)-1,2-苯二酚, 在大脑中它的作用是在神经元之间传递信号的介质. 多巴胺作为神经介质 (neurotransmitter)的功能, 最早在1957年由瑞典化学家 Arvid Carlsson 发现, …

(1)动态规划理论的核心, 用以 Richard Bellman 老师名字命名的 贝尔曼方程 (Bellman Equation)表示. 贝尔曼方程的核心, 就是: 用大白话说, 就是 目前状态的最大价值 = 最大化［ 眼前的回报 + ｛未来的最大价值，贴现到现在｝ ］ 而动态规划要解决的问题，无非就是求解方程里的最优价值函数 V(x) 而已． 使用贪婪算法…

(1)迄今为止我们讨论的人工智能的问题,都还是局限在”认知”方面的应用, 比如图像识别,语音识别,自然语言处理,等等. 这类问题的特点是,机器获得大量原始数据的培训. 每一个输入,都有标准的”输出”的答案. 这种学习方式,也称为”有监督学习”. 但是生活中大多数问题,是没有标准正确答案的…

(1)影响 GPU运算速度的技术指标有好几个. 一般人讨论计算速度时, 大多在说芯片时钟的速度. 芯片频率越高, 时钟的一个周期越短, 速度越快. 但这只是计算能力中的一个维度. 如果你看过我的这篇关于集装箱的文章《王川：集装箱震撼世界》 集装箱船运的效率, 除了轮船航行的速度 (类似芯片的速度) 以外, 更重要的是轮船的吨位, 装卸货的时间, 港口等待的时…

(1)回顾深度学习技术在图像识别,语音识别和自然语言处理上的突破, 可以看到的是一个很清晰的主脉络: 计算速度加快, 缩短了新算法的测试周期,成功的新算法, 迅速彻底地淘汰老算法. 谷歌的资深研究者 Jeff Dean 这样描绘算法测试速度的重要性: 如果一个实验要一个月才会出结果, 没有人会去测试.如果要花费一到四周, 那么只有特别高价值的测试才值得去做.…

(1)循环神经网络, 在文字处理上的表现, 只是小荷才露尖尖角. 自然语言处理, 英文是 Natural Language Processing (NLP).其基本定义为: 把一段文字, 转化成一个数据结构, 力求清晰无误地表达文字的意义. 自然语言处理包括对自然语言的理解和生成, 典型应用如机器翻译, 文字分类, 聊天机器人等等. 通过语言沟通, 是智人和…

  (1)循环神经网络 (RNN)的本质, 是可以处理一个长度变化的序列的输出和输入 (多对多). 广义的看, 如果传统的前馈神经网络做的事, 是对一个函数的优化 (比如图像识别). 那么循环神经网络做的事, 则是对一个程序的优化,应用空间宽阔得多.长短期记忆 (LSTM)的架构, 使有用的历史信息, 可以保留下来,很久以后仍然可以读取.一个有趣的…

(1)2012年十月, Geoffrey Hinton, 邓力和其他几位代表四个不同机构 (多伦多大学, 微软, 谷歌, IBM) 的研究者, 联合发表论文, “深度神经网络在语音识别的声学模型中的应用: 四个研究小组的共同观点” (Deep Neural Networks for Acoustic Modelling in Spee…

(1)RNN和 LSTM 发挥威力的重要应用之一, 是语音识别.一直到2009年之前, 主流的语音识别技术, 依靠的是统计学上的两个算法模型, 高斯混合模型 (Gaussian Mixture Model)和隐藏马尔科夫模型 (Hidden Markov Model). 马尔科夫模型, 是一个概率的模型. 其核心思想, 就是一个系统, 下一个时间点的状态, …

(1)迄今为止我们讨论的神经网络模型, 都属于一种叫做前馈网络 (feedforward network) 的东西. 简而言之, 前馈网络, 信息从底层不断往前单向传输,故而得名. RNN (Recurrent Neural Network), 也称循环神经网络, 多层反馈神经网络, 则是另一类非常重要的神经网络. 本质上, RNN 和前馈网络的区别是, 它…