(1)
多巴胺,英文名 Dopamine, 是一种有机化合物, 学名 4-(2-Aminoethyl)benzene-1,2-diol, 4-(2-氨基乙基)-1,2-苯二酚, 在大脑中它的作用是在神经元之间传递信号的介质.
多巴胺作为神经介质 (neurotransmitter)的功能, 最早在1957年由瑞典化学家 Arvid Carlsson 发现, Carlsson 四十三年之后才因此发现获得诺贝尔奖.
多巴胺对于人脑的运作至关重要. 在普通人的印象中,多巴胺的释放是和食物,烟酒,性快感或者毒品联系在一起的.当人们获得各种快乐的奖励时,大脑释放大量多巴胺,让人们沉迷而无法自拔.
所以也有人称其多巴胺为”快感化学物” (pleasure chemical):
快感/奖励, 导致多巴胺的释放.
(2)
早在 1901 年, 俄国科学家巴普洛夫发现一个有趣的现象: 通常狗在被喂食之前,会流口水. 但如果在给狗喂食之前,先摇摇铃铛,训练几次后,狗只要听到铃响,还没有看到食物时,就会马上开始流口水.
随着检测技术的提高, 科学家对多巴胺的机制有了新的理解.
在一个实验中,科学家每次在老鼠吃东西之前,按响蜂鸣器. 训练几次后,只要一按蜂鸣器, 老鼠大脑的多巴胺浓度大增.真正吃到食物时,多巴胺的浓度又降下来了.类似的实验,在猴子身上也有相仿的结果.
多巴胺的释放, 来自对于奖励的预期,而不是奖励本身.
(如下图, 当奖励的信号 (signal) 出现时, 多巴胺大增,而真正获得奖励 reward 时,多巴胺的浓度已经降回来了.)
(3)
剑桥大学的Wolfram Schultz 博士在进一步研究中,有了新的发现.
对猴子大脑释放的多巴胺浓度的不断监测中,他发现如果猴子获得比预期更多的苹果汁,或者在没有预想到的时间喝到苹果汁,多巴胺分泌则大增.如果本来期待的苹果汁没有喝到,多巴胺的分泌大减.
研究的结论是: 多巴胺的释放,取决于获得的奖励和预期之间的差值, Delta.
现实和预期的差别, 促成了多巴胺的释放, 这是学习和进步的源动力.
快乐,来自超越预期的惊喜和它带来的多巴胺释放.但如果没有新的花样超越大脑的预期,多巴胺浓度下降,生活趋于平静,这就是人们常说的夫妻之间的”七年之痒”.如果短暂的分别降低了未来的期望值,那么重逢之后的多巴胺排放,如滔滔江水,这就是所谓的 “小别胜新婚”了.
关于多巴胺驱动大脑的机制,还有许多极为微妙复杂的细节, 此处暂不赘述.
(4)
时间差分学习 (Temporal Difference Learning, 下面简称为 TD学习) 思想的雏型, 上世纪五十年代就被不同的学者提出.
它的核心思想, 就是在每个时间点通过计算现实和预期的差值,来微调价值函数值. 这和大脑多巴胺释放的机制,不谋而合.
它和蒙特-卡洛(MC)模拟的区别在于, MC 模拟要在一个轮回之后,再更新各个节点的价值函数. 而 TD 是在每个时间点, 根据观察到的结果不断评估,微调.
打个简单的比方,如果把”过河”作为一个要解决的问题, 动态规划的解决办法,就是耗费大量时间测算河水的深浅,河里的石头大小,分布,然后计算最优的过河方案. 它的缺点是耗时过长, 很可能方案算出来的时候,你的孙子都已经出生了.
MC 模拟,就好比派一大群志愿者强行渡河,有些人在渡河中会摔跤甚至淹死,但经过大量先烈前赴后继的实验后,也可以找到最佳方案.
而TD 算法,就是”摸着石头过河”.
当现实和预期存在差别时,有的人选择破口大骂,有的人选择视而不见/掩耳盗铃.而有的人则使用 TD 算法,根据这个差值, 实时的更新自己的世界观和策略. 使用 TD 算法的人,将会有更大的概率,在生存竞争中传递自己的基因.
TD 算法真正名声大噪, 要到 1992年, 在一个古老游戏上的应用.
本文为专栏文章，来自：硅谷王川，内容观点不代表本站立场，如若转载请联系专栏作者，本文链接：https://www.afenxi.com/24599.html 。
