玻尔兹曼机通常作为更大网络的一部分使用,例如在根据观众偏好推荐电影或电视剧。
现在如此规模的计算机神经网络,都是通过获取可用于训练网络的大量数据以及计算能力的巨大提升发展而来的。现今的人工神经网络通常是巨大的,由许多层组成。这些被称为深度神经网络,它们的训练方式被称为深度学习。
4.情理之中的诺奖
2012年12月,辛顿从多伦多市踏上了一辆前往太浩湖的巴士,可他并没有找个座坐下来,他已经七年没有坐下了。“我最后一次坐下是在2005年。”他说,“那是一个错误。”
十几岁那年,辛顿帮母亲搬一个取暖器时受了背伤,从此落下病根。等到临近五十岁,他再也不敢坐下,因为腰椎间盘有滑脱的风险,一旦滑脱能疼到好几周无法下床。他在多伦多大学办公室工作时用的是站立式办公桌。而在吃饭时,他会在地上铺一块小泡沫垫,跪坐在桌边,像和尚在祭坛前祈祷。
在功成名就前,“不敢坐下”的辛顿却生生坐了30年“冷板凳”。
杰弗里·辛顿出生于1947年,他的曾祖父是计算机科学的先驱、著名逻辑学家乔治·布尔(George Boole)。布尔的夫人玛丽也是一位女权主义哲学家和数学爱好者,她的姓氏“Everest”与珠穆朗玛峰的英文名相同,这一名称来源于她的叔叔乔治·埃佛勒斯,他是珠穆朗玛峰的命名者。
辛顿在学术生涯初期专注于哲学和心理学,后转向人工智能,成为深度学习和神经网络的先行者。
辛顿似乎一直不太走运,正当他开始追求神经网络研究目标时,他的导师希金斯(Christopher Longuet-Higgins)教授却在明斯基(Marvin Lee Minsky)的影响下改变了方向,转而支持AI的符号主义,并声称联结主义的神经网络是没有前途的。
杰弗里·辛顿
这本书几乎摧毁了神经网络领域的前景,宣称神经网络(尤其是单层感知器)是无稽之谈。它对神经网络领域造成了巨大打击,使得1972年成为神经网络研究的历史低点。
面对逆流,希金斯试图说服辛顿放弃神经网络,转向符号主义人工智能。但辛顿坚持自己的研究,向希金斯保证:“再给我六个月时间,我会证明这是行得通的。”
如此这般,每隔六个月辛顿都会重复这句话,两人争论了五年,辛顿终于坚持研究备受冷落的神经网络并熬到了博士毕业。
辛顿的观点总是独树一帜。他认为,明斯基对感知机的批评实际上揭示了神经网络需要解决的问题,“这是前进的一部分,而非放弃的理由”。他坚信大脑的工作方式不是简单地执行人类编写的“智能程序”。比如编写程序教孩子学习语言,实际上孩子们是通过经验学习,而不是靠死记硬背程序中的步骤。
在完成博士学位几年后,辛顿去了美国进行博士后研究。在加利福尼亚,他找到了一群支持神经网络的同行,包括David Rumelhart等人,他们在圣地亚哥形成了一个认为神经网络非常有前景的研究小组。这些同行支撑了他能在20世纪70年代的AI寒冬中继续他的神经网络研究。
1986年,辛顿与大卫·鲁梅尔哈特(David Rumelhart)和罗纳德·威廉姆斯(Ronald Williams)共同发表了一篇关于通过反向传播误差来学习的论文,这篇论文为神经网络中的多层结构提供了计算机学习的新方法,并推翻了之前关于感知机的限制性看法。他在人工智能领域的贡献特别是在生成式AI技术上最为显著,包括对OpenAI旗下的ChatGPT的早期发展。
尽管取得了巨大的科学成功和认可,辛顿对于他所推动的技术的潜在风险和道德后果越来越感到担忧。2023年,他选择离开谷歌,并公开表达了对AI潜在威胁的担忧。
他曾在X(原推特)上发文,解释离职是为了能自由讨论AI的风险。辛顿对自己教导机器学习的成果感到怀疑甚至愤怒,担心其一生的工作可能最终导致人类的灭亡,现在他认为自己的最终使命是向世界发出警告。今年3月,他在一次采访中提到曾与谷歌首席科学家杰夫·迪恩(Jeff Dean)讨论过AI可能带来的人类生存危机。
并警告说,智能超越人类的AI可能通过语言操纵人类,阻止人类关闭它们。
而约翰·霍普菲尔德最初是一位固态物理学家,他的职业生涯跨越了多个科学领域。
约翰·霍普菲尔德
在超过六十年时间里,他利用丰富的知识和经验探索生物与生化领域中隐藏的物理原理。
生长在一个物理学家家庭的霍普菲尔德,从小就沉迷于动手制作模型飞机和矿石收音机(Crystal Radio)。他的父母制定了一个独特的规则:只要他能够把物品重新组装好,就可以尽情拆解家中的任何设备。他可以随意拆解家中的任何物品。这一切共同塑造了霍普菲尔德,使他成为未来领域跨界研究的先驱。
无论是宇宙学、生物学、半导体,还是人脑的研究,物理学一直是他灵感的源泉。
美国富兰克林研究所(The Franklin Institute)评价他是一位真正的“科学冒险家”,不受学科界限的约束,总是致力于提出问题、探索解决方案,并在问题解决后迅速转向新的挑战。无论是宇宙学、生物学、半导体,还是人脑的研究,物理学一直是他灵感的源泉。
霍普菲尔德的学术生涯始于斯沃斯莫尔学院(Swarthmore College),他在那里获得了物理学学士学位,后在1958年于康奈尔大学(Cornell University)获得物理学博士学位。随后他加入了贝尔实验室,开始了他的固态物理学家生涯。
1974年,霍普菲尔德对遗传学做出了重大贡献,他提出了“动态校正”(Kinetic proofreading)机制,该机制解释了基因表达过程中的高准确性,对蛋白质合成和免疫系统的外来物质识别至关重要,对RNA转录的准确性研究产生了深远影响。
1982年,霍普菲尔德开发了神经网络模型,解释了大脑如何存储和回忆记忆。他的模型揭示了神经元系统如何通过相互作用产生稳定的记忆,并能根据部分信息重构整体记忆。不仅为复杂系统的研究提供了新的视角,还激发了新一代物理学家将研究扩展到其他科学领域。