硅谷王川：深度学习究竟有多深?再论计算速度的蛮力（16）

(1)回顾深度学习技术在图像识别,语音识别和自然语言处理上的突破, 可以看到的是一个很清晰的主脉络:

计算速度加快, 缩短了新算法的测试周期,
成功的新算法, 迅速彻底地淘汰老算法.

谷歌的资深研究者 Jeff Dean 这样描绘算法测试速度的重要性:

如果一个实验要一个月才会出结果, 没有人会去测试.
如果要花费一到四周, 那么只有特别高价值的测试才值得去做.
如果一到四天就可以出结果,那勉强可以忍受.
如果一天之内就可以出结果, BOOM! 研究的效率大大提高,新成果不断涌现.

(2)深度学习在图像识别上的突破, 一下子让支持向量机 (SVM) 的统计算法过时.

循环神经网络和长短期记忆 (RNN/LSTM) 在语音识别上的突破,也让传统的 GMM/HMM 技术被人冷落.

新算法彻底替代老的算法后, 积累多年经验的老科学家,老程序员, 发现自己原先的一些知识突然过时无用了. 一个在行业浸淫多年的老同志, 可能突然被才入行的年轻人用新的工具超越.

那种江河日下的无奈之痛,向谁可以倾诉

然而科学技术不相信眼泪,只有放下包袱,才能开动机器. 只有保持随时从零开始的心态,才能跟上甚至引领时代的步伐.

(3)世界兵器的演化史上, 其实有不少类似的例子可以借鉴.

古代战士开弓的羽箭速度, 可达每秒60-100 米, 但射程大多不超过三百米.

十九世纪后, 步枪的精度和射程不断提高. 子弹速度每秒200 – 1500 米, 射程最高可以到六公里以上. 弓箭手的技能变得过时, 被狙击手替代.

但早先的单发步枪,装填子弹极为麻烦,一分钟大多只能打不到十发子弹.

Hiram Maxim (中译:马克沁) 在1883年发明的机关枪, 则把一分钟发射的子弹数目提高到接近600发. 1893年十月二十五日, 700名装备马克沁重机枪的英国殖民军, 和六千名用步枪和弓箭武装的津巴布韦战士在津巴布韦的 Shangani 发生遭遇战. 英军仅死亡四人, 而津巴布韦方伤亡则高达一千五百人.

新的机枪手, 需要的技能就只是瞄准,击发和供弹而已, 操作大大简化.

核武器的出现,更是根本地颠覆了军事战略家的思维.

1961年十月, 前苏联在北极圈内四千米高空投放的五千万顿量级的氢弹 (又称 “沙皇炸弹”),数百公里之内的建筑全部夷为平地,蘑菇云一千公里以外都可以看到, 其当量相当于整个二次大战中投放炸弹总和的十倍.

(4)如果把人工智能的探索比成一场战争,我们现在也许刚刚在步枪取代弓箭的时代 (就像神经网络的算法,取代统计学和符号主义的算法一样), 但进步速度则快了很多.
在这个时代,最重要的不是对某个具体算法的耳熟能详 (好比学习装填子弹和射击的技能), 而是研究如何持续更快地提高运算速度,打破各种计算瓶颈,来缩短新算法测试的周期.

这需要对 CPU, GPU 这些底层硬件的计算构架, 以及指引硬件性能进步的摩尔定律的未来路线图, 有深刻的理解.

作者简介：王川，投资人，中科大少年班校友，现居加州硅谷。个人微信号9935070,公众号 investguru