第二章 AI复兴:深度学习+大数据=人工智能(第13/24页)
2000年后,计算机产业的发展带来了计算性能、处理能力的大幅提高,尤其是以谷歌为代表的前沿企业在分布式计算上取得了深厚积累,成千上万台计算机组成的大规模计算集群早已不再是稀罕物。而互联网产业的发展则使搜索引擎、电子商务等公司聚集了数以亿计的高质量的海量数据。大计算能力和大数据,正是深度学习这件深藏不露的千古神兵所等待的两大时机。
终于,万事俱备,只欠东风。2006年,深度学习泰斗杰弗里·辛顿及其合作者用一篇名为《一种深度置信网络的快速学习算法》40的论文宣告了深度学习时代的到来——当然,这么说有些夸张。准确描述是,深度学习在2010年前后的兴起是建立在以杰弗里·辛顿为代表的一众大师级人物数十年的积累基础之上的,2006年前后的一系列关键论文只是加速了深度学习的实用化进程。
千古神兵重新披挂上阵!
我们可以由今天的深度学习追溯到它的核心计算模型——人工神经网络的诞生之日。早在通用计算机问世前的1943年,神经科学家沃伦·麦卡洛克(Warren Mc Culloch)和沃尔特·彼茨(Walter Pitts)就提出了一种大胆假说,描述了人类神经节沿着网状结构传递和处理信息的模型。这一假说一方面被神经科学家用于研究人类的感知原理;另一方面则被计算机科学家们借鉴,用于人工智能的相关研究。后者也被学术界称为人工神经网络。
20世纪40年代,唐纳德·赫布(Donald Hebb)尝试将人工神经网络用于机器学习,创建出早期的“赫布型学习”(Hebbian Learning)理论。1954年,计算机科学家韦斯利·A.克拉克(Wesley A.Clark)在麻省理工学院尝试在计算机上实现赫布型学习的基本模型。1958年,弗兰克·罗森布拉特(Frank Rosenblatt)提出了“感知机”(Perceptron)的概念,这是一个基于人工神经网络的两层计算结构,用于简单的模式识别。1965年,A.G.伊瓦赫年科(Alexey Grigorevich Ivakhnenko)提出建立多层人工神经网络的设想,这种基于多层神经网络的机器学习模型后来被人们称为“深度学习”,伊瓦赫年科有时也被称为“深度学习之父”。
1969年是人工神经网络遭遇滑铁卢的一年。麻省理工学院的图灵奖得主、人工智能大师、人工神经网络的早期奠基人之一马文·闵斯基(Marvin Minsky)在这一年和西摩尔·派普特(Seymour Papert)出版了《感知机》(Perceptrons)一书,书中讨论了当时人工神经网络难以解决的“异或难题”(非专业读者完全不需要了解这个古怪的名词指的到底是什么东西)。有些讽刺的是,马文·闵斯基既是人工神经网络的早期奠基人之一,也是人工神经网络在1969年后陷入停滞的始作俑者。他在《感知机》一书中对“异或难题”的讨论打消了大多数研究者继续坚持人工神经网络研究的心思。不少人至今仍认为,马文·闵斯基在《感知机》里是持悲观态度并站在人工神经网络发展的对立面的,但另一些人则认为,马文·闵斯基当时是持开放的讨论态度,而不是打算消极放弃。无论这段公案的真实情况如何,马文·闵斯基都是值得我们尊敬的人工智能大师。2016年年初,马文·闵斯基去世时,曾经对乔布斯和苹果影响巨大的教父级人物艾伦·凯(Alan Kay)是这样评价马文·闵斯基的:
“马文是为数不多的人工智能先驱之一,他用自己的视野和洞见,将计算机从一部超强加法器的传统定位中解放出来,并为其赋予了新的使命——有史以来最强大的人类力量倍增器之一。”41