早期的人工神经网络#
深度学习的概念源于人工神经网络的研究，早期的神经网络模型试图模仿人类神经系统和大脑的学习机理。1943 年，神经生理学家沃伦・麦卡洛克（Warren McCulloch）和逻辑学家沃尔特・皮茨（Walter Pitts）联合发表了重要论文《神经活动中内在思想的逻辑演算》（A logical calculus of the ideas immanent in nervous activity ）。在论文中，他们模拟人类神经元细胞结构提出了麦卡洛克 - 皮茨神经元模型（McCulloch-Pitts Neuron Model，简称 MP 模型，见图 3.1），首次将神经元的概念引入计算领域，提出了第一个人工神经元模型，从此开启了神经网络的大门，表 3.1 是生物神经元与 MP 模型。 
 [image] 
生物神经元 神经元 输入信号 权值 输出 总和 膜电位 阈值 
M...