Facebook、普林斯顿大学和麻省理工学院的 AI 研究人员近日宣布联合出版了一本名为《The Principles of Deep Learning Theory: An Effective Theory ApFaproach to Understanding Neural Networks(深度学习理论原理：理解神经网络的一种有效理论方法)》的书籍。目前，该书的手稿已经公开提供。

根据介绍，在基本层面上，该书提供了一ce个从第一性原理(first principles)理解深度神经网络(DNN)的理论框架。对于 AI 从业者来说，这种理解可以大大减少训练这些 DNN 所需的试验和错误的数量。例如，它可以揭示任何给定模型的bo最佳超参数，而不需要通过今天所需的时间和计算密集型实验。

Facebook AI 研究科学家 Sho Yaida 称，DNN 是现代 AI 研究的关键要素之一。但对于包括大多数 AI 研究人员在内的人都认为，DNN 太ok过复杂，无法从第一性原理的角度来理解。这一问题的存在意味着，尽管业界已通过实验和反复试验在 AI 方面取得了很大进展，但研究人员对 DNN 的许多关键特性仍一无所知，而这些特性恰恰使得 DNN 极其有用。他认为，如 联果研究人员对这些关键特性有更深入的了解，可能会带来一些显著的进步，并开发出强大得多的 AI 模型。

Yaida 将 AI 与工业革命初期的蒸汽机进行了比较。并表示，虽然蒸汽机永远改变了制造业，但直到接下来的一个世同 纪热力学定律和统计力学原理得到发展，科学家们才能够在理论层面上充分解释它是如何工作的以及为什么工作。虽然缺乏了解的这个问题并没有阻止人们改进蒸汽机，但热机原理的发现却大大加快了改进的步伐。

YaidaMI 指出，AI 领域目前就正处于类似的关头。DNN 被视为黑匣子，因太过复杂导致无法从第一性原理的角度来理解。因此，AI 模型通过反复试验加以微调，类似于人们改进蒸汽机的方式。不过 Yaida 也表示，试错并不一定是T 坏事，它可以结合多年形成的经验来巧妙进行。但试错也只是描述 DNN 及其实际运作方式的统一理论语言的替代品。

公告指出，此书只是重新构想 AI 科学这一更大项目的第一步，该项目既源自第一性原理，同时又专注等发于描述现实模型的实际工作方式。如果成功，这种深度学习的一般理论可能会支持更强大的人工智能模型，甚至可能引导我们建立一个研究智能通用方面的框架。

值得注意的是，虽然书中描述的框架可以扩展到现代 AI 社区使用的布研真实世界 DNN。但此书本身最主要的还是关注最简单的深度学习模型(深度多层感知器)。

有了这个新的有效理论，我们希望 AI 理论家能够推动对神经网络有更深入、更全面的理解。还有很多的东西需要计算，但这项工作有望究手使这个领域更接近了解这些模型的哪些特定属性使它们能够智能地执行。我们还希望这本书能够帮助 AI 社区减少有时会限制当前进展的试错循环。我们希望帮助从业者快速设计更好的模型——效率更高、性能更好、训练更稿：快。特别是，那些设计 DNN 的人将能够在没有任何训练的情况下选择最佳超参数，并选择最佳算法和模型架构以获得最佳结果。

更多详情可查看官方博客。

本文转自OSCHINA

本文标题：Facebook 联同 MIT 等解释发布研究手稿：解释深度学习实际工作原理的理论

本文地址：https://www.oschina.net/news/147068/facebook-mit-ai-researchers

• ·标签: 读书郎 学生平板 AI+教育 教育硬件
• ·意大利准备拨款40亿欧元支持芯片产业 利好英特尔
• ·标签: 游戏
• ·标签: 值得买科技 什么值得买 星罗创想 日晟星罗
• ·“微软6月24日发布下一代Windows”上热搜 网友：来抢鸿蒙风头的吧？
• ·云安全日报210617：思科小型企业220系列交换机发现劫持用户会话漏洞,需要尽快升级
• ·IBM第四季度营收不及预期 盘后股价大跌近7%
• ·云安全日报210507：思科SD-WAN管理软件发现执行任意代码漏洞,需要尽快升级
• ·谷歌编程模式迎来剧变：超七成新代码已由AI代劳
• ·标签: 捷豹路虎 潘庆 蒂姆·霍华德 奇瑞
• ·AI技术加入数据中心节能新战场
• ·标签: 奥动 换电 上海电巴 V2S2G
• ·云安全日报210329：Debian垃圾邮件过滤器发现注入攻击漏洞，需要尽快升级
• ·消息称IBM正探索出售IBM Watson Health业务 专注于云计算业务
• ·零一万物宣布高管任命 联合创始人沈鹏飞领衔 加速ToB/ToG“一把手工程”
• ·微软推出针对最新行业云定位的零售云