晚上七点,城中高端私宴包厢。
到场的人不算多,但这里坐着的人都算是国内深度学习领域里有些名气的人。
除了林晨教授,还有清大的朱教授,浙大的高教授等人都来了。
众人都知道漆昊的实力,他出现后大家纷纷主动打招呼,态度一个比一个好,没有丝毫长辈架子。
吃了一会儿,他们闲聊的话题也从日常琐事落到了最核心的学术前沿上。
朱教授这个时候抛出了一个消息:“跟大家同步一个圈内刚传出来的内部消息,不算正式官宣,但可信度百分百。”
“上周斯坦福大学人工智能实验室,举办了一场闭门非公开学术沙龙,仅限全球顶尖课题组负责人参与,不对外公开,不录视频,不发会议摘要。”
“有人私下带回了消息,说他们团队已经攻克了深度网络层数堆叠的核心难题。”大家瞬间惊讶了起来。
在场都是深耕深度学习多年的研究者,没人不清楚这句话的意思。
他们目前都遇到过梯度消失,特征退化,准确率断崖下跌的问题,谁能率先突破这个难题,谁就能直接拿下本年度深度学习领域的最高话语权。
朱教授看着众人震惊的神色,继续补充道:“对方团队不仅完成了百层级稳定网络的训练迭代,效果精度远超现有所有模型,目前他们开始申请专利技术,论文方面也已经准备投递了。”
一石激起千层浪。
包厢内一下响起议论,所有人的脸色都不太好看。
“彻底解决了?
百层网络稳定迭代?
这进度也太快了!”
“难怪最近国外相关领域的论文更新量骤降,原来是憋着大招呢!”
“坏了,我课题组今年的核心课题,就是深度网络层数扩容和稳定性优化,跟他们的研究方向高度重合,他们要是率先发刊,拿下专利,我们的攻坚就都白费了。”
“所以我今天把大家叫过来,就一个意思。”
“这种科研上的意外,发生了就发生了,各家手上的课题,能加快的加快,能收缩的收缩,别再想着大而全了,抢时间,抢窗口期,真被人家一锅端了,明年基金委那边,大家的日子都不好过。”
一圈人纷纷点头,交头接耳地商量起来,有人已经掏出手机给组里研究生发消息了,大晚上的,不知道多少无辜的研究生要开始享受007的美好生活了。
漆昊一直没说话。
等到讨论声稍微停了,他才开口问了一句:“朱教授,对方有具体的技术资料流出来吗?”
朱教授摇摇头:“闭门会,不让录音不让拍照,具体的资料没有,不过据当时在场的一个老朋友转述,对方团队的思路,是在权重初始化和层间归一化机制上做文章。”
“斯坦福这次的核心突破思路,主打深层权重自适应正则化重构,抛弃了传统随机失活的浅层优化逻辑,从网络结构底层修正特征退化问题。”
“不过具体的理论推导,算法公式和架构细节完全保密,对方闭口不透露半分,只展示了最终的实验效果,目前圈内没人知道他们具体是怎么实现的。”
众人纷纷皱眉,陷入沉思。
自适应正则化重构,听起来只是在传统正则化方案上做优化升级,可业内所有人都试过无数次,始终无法解决深层网络的结构性缺陷,根本达不到斯坦福展示的完美效果。
就在全场陷入沉默,所有人都满心焦虑的时候,漆昊出声了:“常规的自适应正则化优化,只能修正浅层,中层网络的权重扰动误差,无法解决深层堆叠带来的梯度链式衰减问题。”
“网络层数突破五十层后,反向传播的梯度会经过数十次矩阵乘法累积,哪怕单次衰减幅度极小,叠加后也会指数级趋近于零,必然出现梯度消失……”
“所以我认为按照现有理论体系,单纯优化自适应正则化逻辑,很难实现六十层以上深度网络的稳定正向迭代。”
朱教授说:“斯坦福那边是突破了理论局限,还是找到了全新的优化路径,这个我们都不知道,他们既然做出了成果,肯定是解决了这些死结。”
漆昊回答:“不清楚,有可能是新的数学建模思路,也有可能是重构了正则化的逻辑,具体细节没有数据支撑,无法下定论。”
他心里其实已经隐隐有了一个模糊的想法,这个想法和吉洪诺夫正则化有关系。
传统深度学习用到的L2正则化,只是吉洪诺夫正则化最简单的初级应用。
业内一直把吉洪诺夫理论当成老旧的基础数学工具,没人想到将其深度改造,适配深层网络的结构特性。
只是这个思路目前还很模糊,关键的数学推导链条存在断层,暂时无法形成完整的理论。
见他神色陷入沉思,在场众人都以为他也被这则重磅消息打乱了节奏,纷纷出声劝慰。
“漆老师你也别太有压力,科研竞争本就是如此,有抢先突破,就有滞后追赶,输赢都是常态,斯坦福底蕴深厚,资源顶尖,被他们抢先一步很正常,不用太放在心上。”
“是啊漆老师。”林晨连忙附和。
本章未完,请翻下一页继续阅读.........