深度学习-吴恩达

教程内容收集整理自网络，如有侵权，请联系删除！

目录

01.神经网络和深度学习

1.第一周 深度学习概论

• 1.1 欢迎
• 1.2 什么是神经网络？
• 1.3 用神经网络进行监督学习
• 1.4 为什么深度学习会兴起？
• 1.5 关于这门课
• 1.6 课程资源

  2.第二周 神经网络基础

• 2.1 二分分类
• 2.2 logistic 回归
• 2.3 logistic 回归损失函数
• 2.4 梯度下降法
• 2.5 导数
• 2.6 更多导数的例子
• 2.7 计算图
• 2.8 计算图的导数计算
• 2.9 logistic 回归中的梯度下降法
• 2.10 m 个样本的梯度下降
• 2.11 向量化
• 2.12 向量化的更多例子
• 2.13 向量化 logistic 回归
• 2.14 向量化 logistic 回归的梯度输出
• 2.15 Python 中的广播
• 2.16 关于 python _ numpy 向量的说明
• 2.17 Jupyter _ ipython 笔记本的快速指南
• 2.18 （选修）logistic 损失函数的解释

  3.第三周 浅层神经网络

• 3.1 神经网络概览
• 3.2 神经网络表示
• 3.3 计算神经网络的输出
• 3.4 多个例子中的向量化
• 3.5 向量化实现的解释
• 3.6 激活函数
• 3.7 为什么需要非线性激活函数？
• 3.8 激活函数的导数
• 3.9 神经网络的梯度下降法
• 3.11 随机初始化

  4.第四周 深层神经网络

• 4.1 深层神经网络
• 4.2 前向和反向传播
• 4.3 深层网络中的前向传播
• 4.4 核对矩阵的维数
• 4.5 为什么使用深层表示
• 4.6 搭建深层神经网络块
• 4.7 参数 VS 超参数
• 4.8 这和大脑有什么关系？

  5.人工智能行业大师访谈

• 1. 吴恩达采访 Geoffrey Hinton
• 2. 吴恩达采访 Pieter Abbeel
• 3. 吴恩达采访 Ian Goodfellow

  02.改善深层神经网络：超参数调试、正则化以及优化

  1.第一周 深度学习的实用层面

• 1.1 训练开发测试集
• 1.2 偏差_方差
• 1.3 机器学习基础
• 1.4 正则化
• 1.5 为什么正则化可以减少过拟合？
• 1.6 Dropout 正则化
• 1.7 理解 Dropout
• 1.8 其他正则化方法
• 1.9 归一化输入
• 1.10 梯度消失与梯度爆炸
• 1.11 神经网络的权重初始化
• 1.12 梯度的数值逼近
• 1.13 梯度检验
• 1.14 关于梯度检验实现的注记

  2.第二周 优化算法

• 2.1 Mini-batch 梯度下降法
• 2.2 理解 mini-batch 梯度下降法
• 2.3 指数加权平均
• 2.4 理解指数加权平均
• 2.5 指数加权平均的偏差修正
• 2.6 动量梯度下降法
• 2.7 RMSprop
• 2.8 Adam 优化算法
• 2.9 学习率衰减
• 2.10 局部最优的问题

  3.第三周 超参数调试、Batch正则化和程序框架

• 3.1 调试处理
• 3.2 为超参数选择合适的范围
• 3.3 超参数训练的实践：Pandas VS Caviar
• 3.4 正则化网络的激活函数
• 3.5 将 Batch Norm 拟合进神经网络
• 3.6 Batch Norm 为什么奏效？
• 3.7 测试时的 Batch Norm
• 3.8 Softmax 回归
• 3.9 训练一个 Softmax 分类器
• 3.10 深度学习框架
• 3.11 TensorFlow

  4.人工智能行业大师访谈

• 1. 吴恩达采访 Yoshua Bengio
• 2. 吴恩达采访 林元庆

  03.结构化机器学习项目

  1.第一周 机器学习（ML）策略（1）

• 1.1 为什么是 ML 策略
• 1.2 正交化
• 1.3 单一数字评估指标
• 1.4 满足和优化指标
• 1.5 训练开发测试集划分
• 1.6 开发集合测试集的大小
• 1.7 什么时候该改变开发_测试集和指标
• 1.8 为什么是人的表现
• 1.9 可避免偏差
• 1.10 理解人的表现
• 1.11 超过人的表现
• 1.12 改善你的模型的表现

  2.第二周 机器学习（ML）策略（2）

• 2.1 进行误差分析
• 2.2 清除标注错误的数据
• 2.3 快速搭建你的第一个系统，并进行迭代
• 2.4 在不同的划分上进行训练并测试
• 2.5 不匹配数据划分的偏差和方差
• 2.6 定位数据不匹配
• 2.7 迁移学习
• 2.8 多任务学习
• 2.9 什么是端到端的深度学习
• 2.10 是否要使用端到端的深度学习

  3.人工智能行业大师访谈

• 1. 采访 Andrej Karpathy
• 2. 采访 Ruslan Salakhutdinov

  04.卷积神经网络

  第一周 卷积神经网络

• 1.1 计算机视觉
• 1.2 边缘检测示例
• 1.3 更多边缘检测内容
• 1.4 Padding
• 1.5 卷积步长
• 1.6 三维卷积
• 1.7 单层卷积网络
• 1.8 简单卷积网络示例
• 1.9 池化层
• 1.10 卷积神经网络示例
• 1.11 为什么使用卷积？

  第二周 深度卷积网络：实例探究

• 2.1 为什么要进行实例探究？
• 2.2 经典网络
• 2.3 残差网络
• 2.4 残差网络为什么有用？
• 2.5 网络中的网络以及 1×1 卷积
• 2.6 谷歌 Inception 网络简介
• 2.7 Inception 网络
• 2.8 使用开源的实现方案
• 2.9 迁移学习
• 2.10 数据扩充
• 2.11 计算机视觉现状

  第三周 目标检测

• 3.1 目标定位
• 3.2 特征点检测
• 3.3 目标检测
• 3.4 卷积的滑动窗口实现
• 3.5 Bounding Box预测
• 3.6 交并比
• 3.7 非极大值抑制
• 3.8 Anchor Boxes
• 3.9 YOLO 算法
• 3.10 候选区域

  第四周 特殊应用：人脸识别和神经风格转换

• 4.1 什么是人脸识别？
• 4.2 One-Shot 学习
• 4.3 Siamese 网络
• 4.4 Triplet 损失
• 4.5 面部验证与二分类
• 4.6 什么是神经风格转换？
• 4.7 什么是深度卷积网络？
• 4.8 代价函数
• 4.9 内容代价函数
• 4.10 风格代价函数
• 4.11 一维到三维推广

  05.序列模型

  第一周 循环序列模型

• 1.1为什么选择序列模型
• 1.2数学符号
• 1.3循环神经网络
• 1.4通过时间的方向传播
• 1.5不同类型的循环神经网络
• 1.6 语言模型和序列生成
• 1.7 对新序列采样
• 1.8带有神经网络的梯度消失
• 1.9 GRU 单元
• 1.10 长短期记忆（LSTM）
• 1.11 双向神经网络
• 1.12 深层循环神经网络

  第二周 自然语言处理与词嵌入

• 2.1 词汇表征
• 2.2 使用词嵌入
• 2.3 词嵌入的特性
• 2.4 嵌入矩阵
• 2.5 学习词嵌入
• 2.6 Word2Vec
• 2.7 负采样
• 2.8 GloVe 词向量
• 2.9 情绪分类
• 2.10 词嵌入除偏

  第三周 序列模型和注意力机制

• 3.1 基础模型
• 3.2 选择最可能的句子
• 3.3 定向搜索
• 3.4 改进定向搜索
• 3.5 定向搜索的误差分析
• 3.6 Bleu 得分（选修）
• 3.7 注意力模型直观理解
• 3.8 注意力模型
• 3.9 语音辨识
• 3.10 触发字检测
• 3.11 结论和致谢