监督学习
监督学习主要处理两大类问题：分类问题 and 回归问题
非监督学习
上述特征提取：当面对一个数据时，这个数据有很多特征，有些特征对最终结果没有贡献。例如：人的胖瘦和人的信用评级没有什么关系，这里可以把“胖瘦”这个特征去除掉。
上述特征压缩：说的是，我们并不扔掉任何特征，但是有的时候，特征之间的关联性特别强。这个时候，可以去除一些特征，就能很好地表达结果。
特征压缩定义：尽量少的损失信息的情况下，将高维的特征向量压缩成地位的特征向量
红点是异常的点。
半监督学习
一部分数据有“标记”或者“答案”，另一部分数据没有
增强学习
批量学习(Batch Learning)
- 优点：简单
- 问题：如何适应环境变化？ 解决方案：定时重新批量学习
- 缺点：每次重新批量学习，运算量巨大
在线学习(Online Learning)
参数学习
想办法学到a和b，一旦学到了参数，就不再需要原有的数据集。
非参数学习
- 不对模型进行过多假设
- 非参数不等于没参数
