深度学习-吴恩达
教程内容收集整理自网络,如有侵权,请联系删除!
目录
01.神经网络和深度学习
1.第一周 深度学习概论
- 1.1 欢迎
- 1.2 什么是神经网络?
- 1.3 用神经网络进行监督学习
- 1.4 为什么深度学习会兴起?
- 1.5 关于这门课
- 1.6 课程资源
2.第二周 神经网络基础
- 2.1 二分分类
- 2.2 logistic 回归
- 2.3 logistic 回归损失函数
- 2.4 梯度下降法
- 2.5 导数
- 2.6 更多导数的例子
- 2.7 计算图
- 2.8 计算图的导数计算
- 2.9 logistic 回归中的梯度下降法
- 2.10 m 个样本的梯度下降
- 2.11 向量化
- 2.12 向量化的更多例子
- 2.13 向量化 logistic 回归
- 2.14 向量化 logistic 回归的梯度输出
- 2.15 Python 中的广播
- 2.16 关于 python _ numpy 向量的说明
- 2.17 Jupyter _ ipython 笔记本的快速指南
- 2.18 (选修)logistic 损失函数的解释
3.第三周 浅层神经网络
- 3.1 神经网络概览
- 3.2 神经网络表示
- 3.3 计算神经网络的输出
- 3.4 多个例子中的向量化
- 3.5 向量化实现的解释
- 3.6 激活函数
- 3.7 为什么需要非线性激活函数?
- 3.8 激活函数的导数
- 3.9 神经网络的梯度下降法
- 3.11 随机初始化
4.第四周 深层神经网络
- 4.1 深层神经网络
- 4.2 前向和反向传播
- 4.3 深层网络中的前向传播
- 4.4 核对矩阵的维数
- 4.5 为什么使用深层表示
- 4.6 搭建深层神经网络块
- 4.7 参数 VS 超参数
- 4.8 这和大脑有什么关系?
5.人工智能行业大师访谈
- 1. 吴恩达采访 Geoffrey Hinton
- 2. 吴恩达采访 Pieter Abbeel
- 3. 吴恩达采访 Ian Goodfellow
02.改善深层神经网络:超参数调试、正则化以及优化
1.第一周 深度学习的实用层面
- 1.1 训练开发测试集
- 1.2 偏差_方差
- 1.3 机器学习基础
- 1.4 正则化
- 1.5 为什么正则化可以减少过拟合?
- 1.6 Dropout 正则化
- 1.7 理解 Dropout
- 1.8 其他正则化方法
- 1.9 归一化输入
- 1.10 梯度消失与梯度爆炸
- 1.11 神经网络的权重初始化
- 1.12 梯度的数值逼近
- 1.13 梯度检验
- 1.14 关于梯度检验实现的注记
2.第二周 优化算法
- 2.1 Mini-batch 梯度下降法
- 2.2 理解 mini-batch 梯度下降法
- 2.3 指数加权平均
- 2.4 理解指数加权平均
- 2.5 指数加权平均的偏差修正
- 2.6 动量梯度下降法
- 2.7 RMSprop
- 2.8 Adam 优化算法
- 2.9 学习率衰减
- 2.10 局部最优的问题
3.第三周 超参数调试、Batch正则化和程序框架
- 3.1 调试处理
- 3.2 为超参数选择合适的范围
- 3.3 超参数训练的实践:Pandas VS Caviar
- 3.4 正则化网络的激活函数
- 3.5 将 Batch Norm 拟合进神经网络
- 3.6 Batch Norm 为什么奏效?
- 3.7 测试时的 Batch Norm
- 3.8 Softmax 回归
- 3.9 训练一个 Softmax 分类器
- 3.10 深度学习框架
- 3.11 TensorFlow
4.人工智能行业大师访谈
- 1. 吴恩达采访 Yoshua Bengio
- 2. 吴恩达采访 林元庆
03.结构化机器学习项目
1.第一周 机器学习(ML)策略(1)
- 1.1 为什么是 ML 策略
- 1.2 正交化
- 1.3 单一数字评估指标
- 1.4 满足和优化指标
- 1.5 训练开发测试集划分
- 1.6 开发集合测试集的大小
- 1.7 什么时候该改变开发_测试集和指标
- 1.8 为什么是人的表现
- 1.9 可避免偏差
- 1.10 理解人的表现
- 1.11 超过人的表现
- 1.12 改善你的模型的表现
2.第二周 机器学习(ML)策略(2)
- 2.1 进行误差分析
- 2.2 清除标注错误的数据
- 2.3 快速搭建你的第一个系统,并进行迭代
- 2.4 在不同的划分上进行训练并测试
- 2.5 不匹配数据划分的偏差和方差
- 2.6 定位数据不匹配
- 2.7 迁移学习
- 2.8 多任务学习
- 2.9 什么是端到端的深度学习
- 2.10 是否要使用端到端的深度学习
3.人工智能行业大师访谈
- 1. 采访 Andrej Karpathy
- 2. 采访 Ruslan Salakhutdinov
04.卷积神经网络
第一周 卷积神经网络
- 1.1 计算机视觉
- 1.2 边缘检测示例
- 1.3 更多边缘检测内容
- 1.4 Padding
- 1.5 卷积步长
- 1.6 三维卷积
- 1.7 单层卷积网络
- 1.8 简单卷积网络示例
- 1.9 池化层
- 1.10 卷积神经网络示例
- 1.11 为什么使用卷积?
第二周 深度卷积网络:实例探究
- 2.1 为什么要进行实例探究?
- 2.2 经典网络
- 2.3 残差网络
- 2.4 残差网络为什么有用?
- 2.5 网络中的网络以及 1×1 卷积
- 2.6 谷歌 Inception 网络简介
- 2.7 Inception 网络
- 2.8 使用开源的实现方案
- 2.9 迁移学习
- 2.10 数据扩充
- 2.11 计算机视觉现状
第三周 目标检测
- 3.1 目标定位
- 3.2 特征点检测
- 3.3 目标检测
- 3.4 卷积的滑动窗口实现
- 3.5 Bounding Box预测
- 3.6 交并比
- 3.7 非极大值抑制
- 3.8 Anchor Boxes
- 3.9 YOLO 算法
- 3.10 候选区域
第四周 特殊应用:人脸识别和神经风格转换
- 4.1 什么是人脸识别?
- 4.2 One-Shot 学习
- 4.3 Siamese 网络
- 4.4 Triplet 损失
- 4.5 面部验证与二分类
- 4.6 什么是神经风格转换?
- 4.7 什么是深度卷积网络?
- 4.8 代价函数
- 4.9 内容代价函数
- 4.10 风格代价函数
- 4.11 一维到三维推广
05.序列模型
第一周 循环序列模型
- 1.1为什么选择序列模型
- 1.2数学符号
- 1.3循环神经网络
- 1.4通过时间的方向传播
- 1.5不同类型的循环神经网络
- 1.6 语言模型和序列生成
- 1.7 对新序列采样
- 1.8带有神经网络的梯度消失
- 1.9 GRU 单元
- 1.10 长短期记忆(LSTM)
- 1.11 双向神经网络
- 1.12 深层循环神经网络
第二周 自然语言处理与词嵌入
- 2.1 词汇表征
- 2.2 使用词嵌入
- 2.3 词嵌入的特性
- 2.4 嵌入矩阵
- 2.5 学习词嵌入
- 2.6 Word2Vec
- 2.7 负采样
- 2.8 GloVe 词向量
- 2.9 情绪分类
- 2.10 词嵌入除偏
第三周 序列模型和注意力机制
- 3.1 基础模型
- 3.2 选择最可能的句子
- 3.3 定向搜索
- 3.4 改进定向搜索
- 3.5 定向搜索的误差分析
- 3.6 Bleu 得分(选修)
- 3.7 注意力模型直观理解
- 3.8 注意力模型
- 3.9 语音辨识
- 3.10 触发字检测
- 3.11 结论和致谢