优点：实现简单，计算简单；
缺点：不能拟合非线性数据.
4.最近领算法——KNN
KNN即最近邻算法，其主要过程为：
计算训练样本和测试样本中每个样本点的距离（常见的距离度量有欧式距离，马氏距离等）；
对上面所有的距离值进行排序；
选前k个最小距离的样本；
根据这k个样本的标签进行投票，得到最后的分类类别；
如何选择一个最佳的K值，这取决于数据。一般情况下，在分类时较大的K值能够减小噪声的影响。但会使类别之间的界限变得模糊。一个较好的K值可通过各种启发式技术来获取，比如，交叉验证。另外噪声和非相关性特征向量的存在会使K近邻算法的准确性减小。
近邻算法具有较强的一致性结果。随着数据趋于无限，算法保证错误率不会超过贝叶斯算法错误率的两倍。对于一些好的K值，K近邻保证错误率不会超过贝叶斯理论误差率。
KNN算法的优点
· 理论成熟，思想简单，既可以用来做分类也可以用来做回归；
· 可用于非线性分类；
· 训练时间复杂度为O(n)；
· 对数据没有假设，准确度高，对outlier不敏感；
缺点
· 计算量大；
· 样本不平衡问题（即有些类别的样本数量很多，而其它样本的数量很少）；
· 需要大量的内存；
5.决策树
易于解释。它可以毫无压力地处理特征间的交互关系并且是非参数化的，因此你不必担心异常值或者数据是否线性可分（举个例子，决策树能轻松处理好类别A在某个特征维度x的末端，类别B在中间，然后类别A又出现在特征维度x前端的情况）。它的缺点之一就是不支持在线学习，于是在新样本到来后，决策树需要全部重建。另一个缺点就是容易出现过拟合，但这也就是诸如随机森林RF（或提升树boostedtree）之类的集成方法的切入点。另外，随机森林经常是很多分类问题的赢家（通常比支持向量机好上那么一丁点），它训练快速并且可调，同时你无须担心要像支持向量机那样调一大堆参数，所以在以前都一直很受欢迎。
决策树中很重要的一点就是选择一个属性进行分枝，因此要注意一下信息增益的计算公式，并深入理解它。
信息熵的计算公式如下:
其中的n代表有n个分类类别（比如假设是2类问题，那么n=2）。分别计算这2类样本在总样本中出现的概率p1和p2，这样就可以计算出未选中属性分枝前的信息熵。
现在选中一个属性xixi用来进行分枝，此时分枝规则是：如果xi=vxi=v的话，将样本分到树的一个分支；如果不相等则进入另一个分支。很显然，分支中的样本很有可能包括2个类别，分别计算这2个分支的熵H1和H2,计算出分枝后的总信息熵H’=p1H1+p2H2,则此时的信息增益ΔH=H–H’。以信息增益为原则，把所有的属性都测试一边，选择一个使增益最大的属性作为本次分枝属性。
决策树自身的优点
· 计算简单，易于理解，可解释性强；
· 比较适合处理有缺失属性的样本；
· 能够处理不相关的特征；
· 在相对短的时间内能够对大型数据源做出可行且效果良好的结果。
缺点
· 容易发生过拟合（随机森林可以很大程度上减少过拟合）；
· 忽略了数据之间的相关性；
· 对于那些各类别样本数量不一致的数据，在决策树当中,信息增益的结果偏向于那些具有更多数值的特征（只要是使用了信息增益，都有这个缺点，如RF）。
5.1Adaboosting
Adaboost是一种加和模型，每个模型都是基于上一次模型的错误率来建立的，过分关注分错的样本，而对正确分类的样本减少关注度，逐次迭代之后，可以得到一个相对较好的模型。是一种典型的boosting算法。下面是总结下它的优缺点。
优点
· adaboost是一种有很高精度的分类器。
· 可以使用各种方法构建子分类器，Adaboost算法提供的是框架。
· 当使用简单分类器时，计算出的结果是可以理解的，并且弱分类器的构造极其简单。
· 简单，不用做特征筛选。
· 不容易发生overfitting。
关于随机森林和GBDT等组合算法，参考这篇文章：机器学习-组合算法总结
缺点：对outlier比较敏感
6.SVM支持向量机
高准确率，为避免过拟合提供了很好的理论保证，而且就算数据在原特征空间线性不可分，只要给个合适的核函数，它就能运行得很好。在动辄超高维的文本分类问题中特别受欢迎。可惜内存消耗大，难以解释，运行和调参也有些烦人，而随机森林却刚好避开了这些缺点，比较实用。
优点
· 可以解决高维问题，即大型特征空间；
· 能够处理非线性特征的相互作用；
· 无需依赖整个数据；
· 可以提高泛化能力；