一、什么是机器学习
Machine Learning = Looking for Function 寻找函数！
二、深度学习Deep Learning
类神经网络的函数。
函数输入有向量、矩阵、序列等；函数出有连续值、类别、文本、图片等。
三、学习分类
1. 监督学习 Supervised Learning
训练数据+标记。
常见的有回归Regression、分类Classification、结构化学习Structure Learning。
2. 无监督学习
3. 强化学习Reinforcement Learning
用于不知道如何标注资料的时候。
例如下围棋、象棋、飞行器等。
4. 自监督学习 Self-Supervised Learning
从没有标注的数据上先进行预训练Pre-train。
基础模型Foundation Model，常用的有BERT。
适用于下游任务。
5. 生成对抗网络Generative Adversarial Network
只需要收集到数据和标签，不必关心关联，而由网络自动关联。
例如读大量的语言和文本而不必有关联，从而实现语言识别。
6. 异常检测Anomaly Detection
机器能够回答我不知道。
面对自己不知道的东西进行异常的标注。
7. 可解释性AI Explainable AI
DL具有不可解释性。
8. 模型攻击Model Attack
适用加噪的数据进行模型的测试从而使得模型判断错误。
9. 迁移学习-领域自适应Domain Adaptation
当我们的测试数据不同于我们的训练数据。
如何调整我们的模型。
10. 网络压缩Network Compression
11. 终生学习Life-Long Learning
12. 元学习Meta Learning
让机器学会如何学习。
不再是人类设计算法，而是机器自己学习算法。
Few-shot Learning小样本学习是一种元学习的例子。
四、一般过程
1.构建含有未知参数的模型（函数）
权重、偏置等。
2.定义损失函数
损失评估的当前参数数值的好坏。
损失函数有均方误差、绝对值误差等。
3.最优化问题
让损失函数最小。
方法：梯度下降。
由于局部最小值和全局最小值的问题，在GD下又有许多优化的优化算法。
常用的有Adam。
还可以调节学习率、正则化项等超参数。
结束条件：设定更新epochs、更新量小于某一个阈值。
4.模型评估
包括模型在训练集上的评估、测试集上的评估。
五、神经网络的本质
神经网络就是无限逼近一个能够解决问题的函数。
将上边的过程使用矩阵写出来，式子就变成了：
接着进行梯度下降，即使用反向传播：
其中的sigmoid、ReLu等被称为激活函数。
深度学习：
当层数过多的话又会出现过拟合的问题。
六、深度学习的历史
感知机（1958）→ 多层感知机（1980s） → 反向传播（1989） → GPU（2009）…
七、网络架构
1.全连接前馈神经网络
输入层、隐藏层、输出层。