几个关于数据挖掘的问题解答

什么是数据挖掘,数据挖掘要解决什么问题?大家都知道数据挖掘最花时间就是在变量清洗上,如何清洗变量?如何将挖掘成果很好的展示给用户?这些问题也许通过下面这些问答你可以找到自己的答案。

数据挖掘

1.如何定位挖掘目标?

答:数据挖掘的目的是为了解决所提出的业务问题,因此,只要把所要解决的业务问题加以清晰化,应该不难将之转化为相应的挖掘目标。

2.确定目标后如何选择算法?

答:确立了数据挖掘的目标,就可以基本上明确需要建立什么样的数据挖掘模型了。不同的模型,使用的挖掘算法不同,客户分群常用聚类分析(最常用的是K- means),分类预测模型(如客户流失、客户响应,欺诈检测)则使用决策树、Logistic回归以及神经网络等算法,关联分析(如交叉销售)一般使用 经典的Apriori算法。另外,数据本身对挖掘算法的选用有一定的影响,例如K-means算法就对异常值很敏感。

3.算法选择后如何确定变量?

答:我个人认为,变量的选取,特别是衍生变量,需要一定的业务知识,以及对挖掘问题的一个准确的把握。

通常我们研究分析的对象都是客户(或手机号、帐号),所获得的数据大体上有客户基本属性、客户行为数据、客户交易数据等等。一般都需要根据这些数据衍生出 新的变量,以支持建模。创建衍生变量,通常依据业务实际情况以及经验判断。目前,使用较广的一种衍生变量的方法是RFM分析。

在建模之前所确定的变量,并不一定是模型最终用来训练的变量,也就是说,并不一定是对模型显著的变量。可以采取一些方法删除一些不显著的变量,例如变量聚 类、主成分分析、相关性分析等。当然,也可能会手动删除变量,如看到缺失值占大部分或只有一个值的变量,就可删除该变量。

4.变量确定后如何对挖掘结果进行展示?也就是如何让客户理解挖掘的结果?

答:在建模之后很重要的一步就是结果解释,也就是说,需要将模型结果翻译成让业务人员明白的结果。就SAS软件来说,不同模型得到的模型结果一般不同,就Logistic回归模型来说,模型结果包括:模型参数,以及ROC等几种评估曲线对应原始宽表,得到新的数据表,其中包含目标变量的预测值。就聚类模型来说,模型结果包括:

模型参数分成几类,各类的特征,以及相应的可视化结果对应原始宽表,得到新的数据表,其中包含模型得出的类标号

5.采样的目的是什么,如何进行模型的数据采样?

答:当可用的数据量非常庞大时,模型训练的效率就会降低,甚至机器崩溃。这时,抽取有代表性的样本来建模是很有必要的。
一般是根据目标变量值的情况来选择,通常使用随机抽样。当然也有系统抽样、欠抽样、过抽样等等。
例如,在不均衡分类模型(如客户流失),一般所感兴趣的目标变量值(即为1,流失)仅占总体的5%左右,这时,可采取过抽样的方法来抽取样本,抽样之后, 值为0的个数与值为1的个数之比为1:1,这样就均衡了,建模效果会好一些。当然,一般抽取总体的多少来做样本进行建模,不同行业可能有不同的标准,更多 的还是依据过往经验来决定。

6.采样是否是为了得到变量值(连续变量、分类变量)?

答:抽样是为了提高建模效率,并不是为了得到变量值。

7.什么是模型训练?模型训练的结果是否就是得到变量值?

答:在建模过程中,通常采取交叉验证的方法,将数据挖掘宽表拆分成两个(或三个)部分,一个是用来拟合初步的模型,称为训练集,另一个是用来验证模型的准 确性,也可用来调整模型;还可以分为三部分,除前面两个数据集之外,还有一个测试集,它是针对模型的错误率的,可以用来得到最终的无偏估计。

一般分为两部分。

所谓模型训练,就是使用训练集的数据来拟合得到一个初步的模型,但这个模型并未经过验证评估。

模型训练的结果,准确来说,是一个模型,一些模型规则。

更多详细信息,请您微信关注“计算网”公众号: