解析诺贝尔物理学奖得主辛顿:差点入职百度 AI落地关键人物

 邮箱网  0条评论  2183次浏览  2024年10月11日 星期五 09:55

分享到: 更多
北京时间10月8日,诺贝尔物理学奖揭晓,约翰·霍普菲尔德(John J. Hopfield)与杰弗里·辛顿(Geoffrey E. Hinton)因“使用物理学训练人工智能神经网络”获奖。值得注意的是,霍普菲尔德是正统的物理学家出身,但辛顿的学术经历并不包括物理学,而是聚焦人工智能领域。

新京报贝壳财经记者梳理发现,辛顿的主要学术成就包括三大项:证明反向传播算法、发明玻尔兹曼机、改进卷积神经网络。而这些成就是今日AI技术发展乃至落地不可或缺的“拼图”,例如辛顿研发的深度卷积神经网络AlexNet在2012年赢得ImageNet图像识别大赛(华裔AI科学家李飞飞主导的比赛)冠军,让业界将AI研究路线从当时主流的符号学转换成了神经网络,后者“一炮而红”,直接促使了AI识图功能的“大爆发”,当今随处可见的人脸识别技术正来源于此。

此外,辛顿还“桃李满天下”,他的学生包括前OpenAI首席科学家伊利亚·苏茨克维(Ilya Sutskever)、Meta首席科学家杨立昆(Yann LeCun)等,“徒子徒孙”更是遍布人工智能业界。


诺贝尔奖现场连线杰弗里·辛顿(Geoffrey E. Hinton)

物理奖为何颁发给人工智能科学家?

诺贝尔奖官方称,今年的两位诺贝尔物理学奖得主利用物理学工具开发了今天强大机器学习的基础方法。约翰·霍普菲尔德创造了一种联想记忆,可以存储和重建图像及其他类型的数据模式。杰弗里·辛顿发明了一种能够自主发现数据属性的方法,从而执行识别图片中特定元素等任务。

新京报贝壳财经记者发现,之所以诺贝尔物理学奖同时颁给了这两人,是因为辛顿的工作建立在霍普菲尔德的基础之上。根据诺贝尔奖官网提供的科普文章,霍普菲尔德从物理学中磁性物质原子自旋找到了灵感:相邻原子的自旋相互连接可以使域形成同一方向的自旋,他利用描述自旋相互影响的物理学建立了一个带有节点和连接的模型网络,即“Hopfield网络”,如果把其中的节点看做图片中的像素,就可以记忆不同的颜色,而不只是黑色和白色,这一方法还为相似图片的识别提供了技术基础。

当霍普菲尔德发表关于联想记忆的文章时,辛顿正在美国卡内基梅隆大学工作,他之前曾在英国学习过实验心理学和人工智能,并致力于了解机器是否能以和人类相似的方式识别并分类信息。他从Hopfield网络着手,并使用统计物理的方式将其进行了延展,最终发明了玻尔兹曼机。

诺贝尔奖官方科普文章写道:辛顿使用了19世纪物理学家玻尔兹曼创造的一个统计物理学方程,并在1985年发表了一个神经网络方法,命名为“玻尔兹曼机”,该神经网络可以不从指令中学习,而是从给定的示例中学习。训练有素的玻尔兹曼机可以识别它以前没有看到的信息中的熟悉特征,“想象一下,你遇到了一个朋友的兄弟姐妹,你马上就能看出他们一定是亲戚。同样,只要曾经学过类似类别的样本,玻尔兹曼机可以马上识别出一个全新的同类样本,并将其与不同的样本区分开来。”

值得称道的是,玻尔兹曼机在最初发布时相当低效,需要很长时间才能找到解决方案。20世纪90年代,许多研究人员对人工神经网络失去了兴趣,但辛顿仍然继续在这一领域工作。2006年,辛顿再度开发出一种方法,用一系列层状玻尔兹曼机器对网络进行预训练,这种预训练为网络中的连接提供了一个更好的起点,从而优化了训练,可以识别图片中的元素。

北京师范大学系统科学学院教授,集智俱乐部创始人张江表示,辛顿在 Hopfield网络基础上做了扩展,得到一种能够区分输入和输出的二分网络,其中一部分接收输入数据,另一部分则起到记忆作用,这种网络称为“受限的玻尔兹曼机”。将多种这样的网络串联起来,还可以形成深度的网络,这也构成了第一个可以被称为“深度神经网络”的架构。

现如今,玻尔兹曼机通常被用作更大网络的一部分,例如,它可以根据观众的喜好推荐电影或电视剧,这一技术已经深入了当今人们的生活,例如短视频平台的“猜你喜欢”功能。

“获奖者的工作已经带来了最大的好处。在物理学中,我们在广泛的领域使用人工神经网络,例如开发具有特定特性的新材料。”诺贝尔物理委员会主席 Ellen Moons 说。“辛顿以玻尔兹曼机为基础,帮助启动了当前机器学习的爆炸性发展。”诺贝尔奖官网如此写道。

不过,在辛顿本人看来,玻尔兹曼机并不是神经网络当前取得巨大进展的主要推动力,推动AI应用飞跃的是反向传播算法。

“正是通过反向传播,神经网络才能够学习各种任务,比如识别图像、理解语音、处理自然语言等。当前的许多AI技术,比如 GPT 语言模型和医学图像分析,都依赖于反向传播算法,而不是玻尔兹曼机。因此,反向传播算法才是真正促使现代AI应用广泛普及的关键技术。”辛顿在诺贝尔奖官方现场连线时表示。

辛顿的传奇人生:“带火”李飞飞 被百度微软等争抢 因担忧AI风险从谷歌离职

事实上,辛顿早就因为在人工智能领域的杰出贡献获得了图灵奖,还被誉为深度学习的“三巨头”之一,以及人工智能“教父”。在AI圈中,辛顿也与不少知名人士有着各种各样的交集。

例如被誉为“AI教母”的华裔科学家李飞飞之所以有这样高的声誉,重要原因之一是因为她领导了图像标记数据集Image Net项目,并举办了大规模视觉识别挑战赛。该挑战赛2012年的获奖者——“名不见经传”的AlexNet深度卷积神经网络算法,将图像识别差错率从25.8%一举降至16.4%,震撼业界,从而才有了深度学习的爆发。

而AleNet的作者正是辛顿与他的两个学生伊利亚·苏茨克维以及亚历克斯·克里泽夫斯基(Alex Krizhevsky)。

值得注意的是,辛顿在AlexNet爆火后,立刻收到了百度的邀约。在连线杂志知名作者凯德·梅茨(Cade Metz)所著的《深度学习革命》一书中,当时还在百度领导多媒体部的余凯(现为地平线CEO)向李彦宏介绍深度学习方面的进展,并且推荐了辛顿。百度立即向辛顿提出了一个“出价1200万美元聘请辛顿及其学生”的合约。

根据《深度学习革命》书中的描述,辛顿当时咨询了律师后,做出决定:和两名学生创建一家初创公司,并对该公司进行拍卖。最终,百度、谷歌、微软、DeepMind围绕辛顿和他的两名学生进行了一轮大竞价,价格甚至炒到了4400万美元。最终,百度虽然出价最高,但由于辛顿早已“心有所属”,他和两名学生最后选择了谷歌。辛顿承认,“为研究找到合适的归宿,比获得最高竞标价格更重要。”

此后,辛顿的学生们也都各自离开“独挑大梁”,如苏茨克维后来成为了OpenAI的联合创始人以及首席科学家,再后来又陷入了该公司著名的“CEO山姆奥特曼被逼宫”事件,最终离职创业。另一名学生克里泽夫斯基则入职了DeepMind成为研究员。

纵观辛顿的人生,他并非一个“正统科学家”形象。在研究人工智能之前,他学习过心理学、生物学、化学、认知科学甚至当过木匠,他的研究生涯大部分时间都在“反抗主流”,例如在AI研究停滞不前之时,他一直坚持耕耘当时小众的神经网络方向,才有了后续AI技术的爆发。

但当AI进入风口后,辛顿又在2023年从谷歌离职,只是为了“能直言不讳地谈论人工智能的危险,因为我们目前很难阻止坏人利用人工智能做坏事。”他的思想可能也间接影响了学生苏茨克维,毕竟相比山姆奥特曼对AI发展的“加速主义”,辛顿和苏茨克维赞同的“对齐主义”主张更多关注AI风险,在AI发展之前对齐AI与人类的价值观。

辛顿十分关注AI研究,他曾对外表示,尽管ChatGPT将使AI研究变得更加高效,影响 AI 研究过程,但长期来看,AI 发展太快了,容易超越人类,人类需要把控好AI技术带来的风险。

在诺贝尔奖公布的连线现场,辛顿表示:“人工智能的影响将与工业革命相媲美。然而,不同的是,机器学习和人工智能不仅仅是在体力上超越人类,而是会在智力上超过人类。我们现在尚未真正体验到比我们更聪明的事物,这种经历将是前所未有的。在许多领域,特别是医疗保健,神经网络将为所有行业提供更好的服务,使他们更高效。人们在未来可以借助智能助手在更短时间内完成与之前相同的工作量,这将大大提高生产力。”

“不过,我们也不能忽视可能带来的负面影响,尤其是当这些技术失控时的潜在威胁。我们需要关注如何合理控制这项技术的发展,以确保它不会产生无法预见的负面后果。”辛顿说。

新京报贝壳财经记者 罗亦丹 编辑 陈莉 校对 柳宝庆

标签:百度AI诺贝尔物理学奖

我的评论:

请  后发表评论。