霍普菲尔德曾利用他的物理学背景研究分子生物学中的理论问题，在一次会议中接触到大脑结构的研究后，他对简单神经网络的动力学产生了兴趣。神经元的共同作用产生了单个神经网络所不具备的新特性。
1980年，霍普菲尔德离开普林斯顿大学，横跨整个大陆，前往加州理工学院担任化学与生物学教授，那里的充足计算资源让他自由地发展自己的神经网络理论。
物理学基础启发了他，尤其是他对磁性材料的理解。这种材料的特性来源于其原子的自旋——每个原子都像一个微小的磁体，他运用这一物理学知识构建了含有节点和连接的模型网络。
霍普菲尔德的网络设计使得每个节点能存储一个值，最初这些值为0或1，类似黑白照片中的像素。他用一个与物理学中自旋系统能量等价的概念来描述网络的总体状态，并通过一个公式来计算这个能量，这个公式涉及所有节点的值及其连接的强度。通过输入图像初始化节点，然后调整网络的连接强度，以达到能量最低的状态。当输入另一个模式时，网络逐个检查节点，看改变节点的值是否能降低网络的能量。这个过程持续进行，直到再也无法改进为止，通常网络能够重现其训练过的原始图像。
这种方法特别之处在于它能同时存储多个图像，并在这些图像非常相似时区分它们。霍普菲尔德将这一寻找最佳状态的过程比作在有摩擦力的起伏地面上滚动一个球，直到球滚入最近的低谷并停下。如果网络被赋予一个接近最优状态的模式，它也会向前“滚动”，直至达到能量最低的“低谷”，找到与之最接近的存储模式。
联想记忆存储和重建数据中的模式
霍普菲尔德和其他研究者继续改进了这些网络的细节，比如让节点存储任何值，而不仅限于0或1，使网络能存储更多图像，并在它们非常相似时也能加以区分。只要信息是由许多数据点构成的，这种网络就能识别或重建它们。
记忆一幅图像是一回事，但要解释图像所展示的内容则需要更多技巧。
就像小孩子能够识别不同的动物，并自信地说这是狗、猫或松鼠一样。他们有时可能会犯错，但很快就能准确无误地进行识别。无需通过图解或概念解释，孩子也能理解“物种”或“哺乳动物”等概念。通过几个例子的学习，每种动物的不同分类在孩子的脑海中逐渐形成了清晰的图像。人们通过体验周围环境，学会了如何识别猫，理解一个词，或者感知房间中的变化。
霍普菲尔德网络是一种联想记忆模型，其设计灵感来源于大脑从部分或含噪声的输入中重构完整模式的能力。这个网络通过为每种可能的状态分配一个特定的能量值，并通过逐步降低能量表面来最小化能量，以此回忆出与输入最匹配的存储记忆。网络的权重决定了能量景观的形状，并通过学习我们想要记忆的模式及其相关数据点来调整，进而降低这些模式的能量值。
拥有足够多神经元的霍普菲尔德网络几乎能够实现完美记忆，并在任务如模式补全中表现出色。你可以把它想象成一位记忆力极强的古典音乐家，能从几个音符中识别并完美复现一部经典作品。虽然其记忆和补全能力令人印象深刻，霍普菲尔德网络的局限性在于它只能复现已经学习过的内容，无法创造新的模式或理解数据的深层结构。
当霍普菲尔德发表他的关于联想记忆的文章时，辛顿正在美国宾夕法尼亚州匹兹堡的卡内基梅隆大学工作。他此前在英国研究实验心理学和人工智能，并思考机器是否能以类似于人类的方式学习处理和分类信息，以及如何解释信息类别。
他与同事特伦斯·谢诺夫斯基（Terrence Sejnowski）一起，从霍普菲尔德网络的基础出发，采用了统计物理学的观点开发了一种新方法。
统计物理学涉及的是由许多相似组分组成的系统，比如气体中的分子。追踪单个气体分子是困难甚至不可能的，但可以综合考虑这些分子以确定气体的整体性质，如压力或温度。在这些系统中，每个分子以不同的速度移动，运动方式多样，但最终形成相同的集体属性。
这些系统中组分的共存状态可以通过统计物理学来分析，其发生概率也可以被计算出来。某些状态比其他状态更可能发生决于系统的能量，可以通过十九世纪物理学家路德维希·玻尔兹曼（Ludwig Boltzmann）的方程来描述。
辛顿的网络算法就是利用这些方程，他的方法最终以“玻尔兹曼机”（Boltzmann machine）的名字在1985年发表。
作为波尔兹曼机发明者之一的：“玻尔兹曼机模型就是我的物理学科背景和杰夫里的计算机思想的结晶之作，涉及我们从心理学、计算物理学和生物学这些不同领域共同汲取的营养。”
3.神奇的“玻尔兹曼机”
在很长一段时间里，计算机被视为一种纯粹的逻辑机器，他们机械地处理数字，得出精准且毫无歧义的结果，没有任何创意或模糊的空间。
就像计算火箭发射轨迹时，实验人员绝不希望计算机突发奇想，提出一个奇异的公式或尝试新方法。
20世纪80年代，波尔兹曼机提供了一种更灵活、更具创造力的信息处理方法，引入了一种前卫的思想。
玻尔兹曼机使用两种不同类型的节点：一组“可见节点”用于输入信息，另一组构成隐藏层。隐藏节点及其连接对整个网络的能量有显著影响。
多种类型的神经网络
这种机器通过一套特定规则运行，每次更新一个节点的值。最终机器会达到一种状态，在这种状态下，节点的模式可以变化，但网络的整体属性保持不变。每种可能的模式都对应一个特定的概率，这个概率是根据玻尔兹曼方程计算出的网络能量来确定的。当机器运行完成时，它能创造出一个全新的模式，使得玻尔兹曼机成为生成模型的一个早期例子。
约翰·霍普菲尔德和杰弗里·辛顿从20世纪80年代开始在这一领域进行深入研究，为2010年左右机器学习的革命奠定了基础。现代计算机神经网络的规模，得益于获取大量数据和计算能力的显著提升，通常由多个层组成，这些被称为深度神经网络，其训练过程称为深度学习。
霍普菲尔德在1982年发表的关于联想记忆的文章为该领域的发展提供了视角。他在实验中使用了一个包含30个节点的网络，如果所有节点相互连接，则连接数为435。每个节点上有一个值，加上连接有不同的强度，总共有不到500个参数需要跟踪。他还尝试了一个有100个节点的网络，但这对于当时的计算机来说过于复杂。
许多研究人员正在探索机器学习的应用领域，哪种技术最可行还有待观察，同时围绕这项技术的开发和使用的伦理问题也引起了广泛讨论。玻尔兹曼机通过提供的训练样本进行学习，不是通过指令。它通过更新网络连接中的值来训练，以使输入到可见节点的示例模式在机器运行时具有尽可能高的出现概率。如果在训练过程中重复同一模式多次，该模式的概率会进一步提高。训练还影响新模式的输出概率，这些新模式与机器训练时的示例相似。
训练好的玻尔兹曼机能够在先前未见过的信息中识别出熟悉的特征。比如遇到朋友的兄弟姐妹时，可以立即看出他们有亲属关系。同样，玻尔兹曼机能识别一个全新的样本，只要它属于训练材料中已存在的类别，并能将其与不相似的材料区分开来。
玻尔兹曼机的原始形式效率较低，需要较长时间才能找到解决方案。随后进行的各种改进使得这些机器更加有趣和高效，辛顿对此继续进行了研究。后来的版本进行了“瘦身”，即去除了一些单元之间的连接，这一改变证明可以提高机器的效率。
在20世纪90年代，虽然许多研究人员对人工神经网络失去了兴趣，但辛顿是少数几位仍然坚持在该领域工作的研究者之一。
他还推动了一轮新的、激动人心的研究成果；2006年，他与同事西蒙·奥辛德罗（Simon Osindero）、谢意威（Yee Whye Teh）和鲁斯兰·萨拉霍丁诺夫（Ruslan Salakhutdinov）开发了一种通过一系列层叠的玻尔兹曼机对网络进行预训练的方法。这种预训练为网络中的连接提供了一个更好的起点，优化了识别图片元素的训练过程。
