《深度学习》伊恩·古德费洛 | 一部AI圣经

英文版原书三位作者的权威地位自不必说，引进后国内团队所付出的心血也确实让人钦佩。这本书应该算是译者团队+GitHub上80多位热心网友一起努力的结果，势必会成为人工智能领域的经典图书。

笔记摘录

层次：让计算机从经验中学习，并根据层次化的概念体系来理解世界，而每个概念则通过与某些相对简单的概念之间的关系来定义。

这些机器学习算法的性能在很大程度上依赖给定数据的表示。然而，对于许多人物来说，我们很难知道应该提取哪些特征。解决这个问题的途径之一是使用机器学习来发掘表示本身，二不仅仅把表示映射到输出。这种方法我们称之为表示学习。

深度学习通过其他较简单的表示来表达复杂表示，解决了表示学习中的核心问题。

就像计算机程序的长度不存在单一的正确值一样，架构的深度也不存在单一的正确值。

控制论Cybernetics，联结主义Connnectionism，深度学习Deep Learning。

先行模型无法学习异或XOR函数。这导致了神经网络热潮的第一次大衰退。

联结主义的中心思想史，当网络将大量简单的计算单元连接在一起时可以实现智能行为。

在那个时候，人们普遍认为深度网络是难以训练的。现在我们知道，20世纪80年代就存在的算法能工做得非常好，但是知道2006年前后都没有体现出来。这可能仅仅由于其计算代价太高，而以当时可用的硬件难以进行足够的试验。

最重要的进展是，现在我们有了这些算法得意成功训练所需的资源。

监督深度学习算法在每类给定约5000个标注样本情况下一般讲达到可以接受的性能，当至少有1000万个标注样本的数据集用于训练时，它将达到或超过人类表现。

几十年来，我们的机器学习模型中每个神经元的连接数量已经与哺乳动物的大脑在同一数量级上。

神经图灵机，能学习读取存储单元和向存储单元写入任意内容。这种自我变成技术正处于起步阶段，但原则上未来可以适用于几乎所有的任务。

在强化学习中，如DeepMind的AlphaGo，一个自主的智能体必须在没有人类操作者指导的情况下，通过试错来学习执行任务。

内容简介

《深度学习》由全球知名的三位专家Ian Goodfellow、Yoshua Bengio 和Aaron Courville撰写，是深度学习领域奠基性的经典教材。全书的内容包括3个部分：第1部分介绍基本的数学工具和机器学习的概念，它们是深度学习的预备知识；第2部分系统深入地讲解现今已成熟的深度学习方法和技术；第3部分讨论某些具有前瞻性的方向和想法，它们被公认为是深度学习未来的研究重点。

《深度学习》适合各类读者阅读，包括相关专业的大学生或研究生，以及不具有机器学习或统计背景、但是想要快速补充深度学习知识，以便在实际产品或平台中应用的软件工程师。

作者简介

Ian Goodfellow，谷歌公司(Google) 的研究科学家，2014 年蒙特利尔大学机器学习博士。他的研究兴趣涵盖大多数深度学习主题，特别是生成模型以及机器学习的安全和隐私。Ian Goodfellow 在研究对抗样本方面是一位有影响力的早期研究者，他发明了生成式对抗网络，在深度学习领域贡献卓越。

Yoshua Bengio，蒙特利尔大学计算机科学与运筹学系(DIRO) 的教授，蒙特利尔学习算法研究所(MILA) 的负责人，CIFAR 项目的共同负责人，加拿大统计学习算法研究主席。Yoshua Bengio 的主要研究目标是了解产生智力的学习原则。他还教授“机器学习”研究生课程(IFT6266)，并培养了一大批研究生和博士后。

Aaron Courville，蒙特利尔大学计算机科学与运筹学系的助理教授，也是LISA 实验室的成员。目前他的研究兴趣集中在发展深度学习模型和方法，特别是开发概率模型和新颖的推断方法。Aaron Courville 主要专注于计算机视觉应用，在其他领域，如自然语言处理、音频信号处理、语音理解和其他AI 相关任务方面也有所研究。