- 特征工程（包括各种离散化、组合、选择）
- 模型选择、模型融合（即ensemble）
能把这两点做好，实属不易，但其实在工业界，特征工程和模型融合是否需要做到极致，是要看具体问题的。有些业务的数据维度本身就很稀少，并不足以支撑庞大的特征体系；有些业务需要很强的可解释性（比如金融领域），于是很多模型不能直接用；有些业务则要系统的实时性和稳定性，过于复杂的ensemble虽然能提升一点指标，但也许得不偿失。
上图当中的粉色部分是最常用的一些步骤，简单梳理一下：先确定DM问题的类型，然后对数据集划分，接着对常见的数值变量和类别变量做相应处理，可以进行特征选择，最后选择合适的模型做预测，评估模型并输出结果。下面将详细展开。
4.1. 问题定义
首先搞清楚要解决的问题属于哪一类，结合上节所讲，我们一般通过观察y标签类来定义DM问题的类型。
4.2. 数据集划分
在明确了问题的分类后，我们将对数据集划分成训练集(Training Data)和验证集(Validation Data)（补充：很多时候还要划分出测试集(Test Data)，先用训练集验证集的交叉验证来寻找模型的最优超参数，模型调优完毕后，最终用测试集来评估模型最终效果，具体参考我之前在公众号发布的『新手数据挖掘中的几个常见误区』第二节）。划分方式如下：