4. 逻辑回归 ：逻辑回归是一种强大的统计方法，它使用一个或者更多的解释变量对一个二项式结果建模。它通过使用logistic 函数估计概率，这是累积 logistic 分布，来度量分类变量和一个或者更多的自变量之间的关系。
通常，回归可以被用于在现实世界的应用，如：
信用评分
度量营销活动的成功率
预测某一产品的收入
在一个特定的日子里会发生地震吗?
5. 支持向量机(SVM) ：支持向量机是一个二分类算法。给出N维空间的一组二分类的点，支持向量机产生一个 N-1 维的超平面将这些点分成两组。假设你在一张纸上有一些线性可分的二分类的点，支持向量机将会找到一条直线，将这些点分成两类，并位于离所有这些点尽可能远的位置。
就规模而言，其中一些最主要的问题已经使用支持向量机解决了(通过适当的修改)，如，入广告显示，人类的剪接位点识别，基于图像的性别检测，大规模图像分类等等。
6. 集成方法 ：集成方法是构建一组分类器，然后通过对预测结果进行加权投票来对新的数据点进行分类。原始的集成方法是贝叶斯平均，但最近的算法包括纠错输出编码，bagging, 和boosting。
那么集成方法是怎样工作的，为什么他们会优于单个的模型?
他们拉平了输出偏差：如果你将具有民主党倾向的民意调查和具有共和党倾向的民意调查取平均，你将得到一个中和的没有倾向一方的结果。
它们减小了方差：一堆模型的聚合结果和单一模型的结果相比具有更少的噪声。在金融领域，这被称为多元化——多只股票的混合投资要比一只股票变化更小。这就是为什么数据点越多你的模型会越好，而不是数据点越少越好。
它们不太可能产生过拟合：如果你有一个单独的没有过拟合的模型，你是用一种简单的方式(平均，加权平均，逻辑回归)将这些预测结果结合起来，然后就没有产生过拟合的空间了。
非监督学习
7. 聚类算法 ：聚类是将一组对象进行分组，使得同一组(簇)内的对象相似性远大于不同组之间的相似性。
每一种聚类算法都不太一样，这里有一些：
基于质心的算法
基于连通性的算法
基于密度的算法
概率聚类
降维
神经网络/深度学习
8. 主成分分析(PCA) ：主成分分析是一个统计过程，它使用正交变换，将一组可能相关的变量的一组观测值变换成线性不相关的变量，这些变量称为主成分。
PCA的应用包括压缩，简化数据使它们更容易学习，可视化。注意，选择是否使用主成分分析，领域知识是非常重要的。当数据充满噪声时，主成分分析是不合适的(主成分分析的所有成分都有很高的方差)。
9. 奇异值分解(SVD) ：在线性代数中，SVD是分解一个实数的比较复杂的矩阵。对于一个给定的m*n的矩阵M，存在一个分解M = UΣV，这里U和V是酉矩阵，Σ是一个对角矩阵。
PCA 是 SVD 的一个简单应用，在计算机视觉中，第一个人脸识别算法，就运用了 PCA 和 SVD 算法。使用这两个算法可以将人脸表示为 “特征脸”线性组合，降维，然后通过简单的方法匹配人脸的身份;虽然现代的方法复杂得多，但许多仍然依赖于类似的技术。
10. 独立成分分析(ICA) ：独立成分分析是一种统计方法，用来揭示随机变量集测试，信号集中的隐藏因素。独立成分分析为观测到的多变量的集合定义生成模型，它通常作为大型的样本数据数据库。在这个模型中，数据变量被假定为与一些潜在的未知变量的线性混合，混合系统也不知道。潜在变量被假设为非高斯并且相互独立的，它们被称为所观察到的数据的独立成分。