线性模型
regression： generalized linear model （link function）
classfication: sigmod -> LDA
(Q: classfication and discrimination )
多分类： OvO ,投票
OvR,唯一or置信度最高
MvM,ECOC(error correcting output codes) 纠错输出码
决策树
信息增益->基尼系数（划分后纯度尽可能高） CART
剪枝：前剪枝，后剪枝
对于连续值：选择划分点使用二分法计算信息增益
对于缺失值：引入缺失比例
多变量决策树：轴平行->斜决策树
神经网络
神经元->感知机：激活函数（sigmod） 权重 阈值
+隐藏层：多层网络 功能神经元 ->error backpropagation
局部最优： 多组参数初始化，模拟退火，随机梯度下降，遗传算法
深度学习：1. pre-train -> fine-tune 2.weight sharing
支持向量机
超平面划分 支持向量 最大间隔
线性不可分 ->高维映射 -> 核函数
支持向量回归：核方法
贝叶斯分类器
集成学习
同质 弱分类器 集成