因此,理解数据挖掘技术及其在电力企业中的应用就显得非常必要。数据挖掘技术数据挖掘技术是通过对海量数据进行建模,并通过数理模型对企业的海量数据进行整理与分析,以帮助企业了解其不同的客户或不同的市场划分的一种从海量数据中找出企业所需知识的技术方法。如果说云计算为海量分布的电力数据提供了存储、访问的平台,那么如何在这个平台上发掘数据的潜在价值,使其为电力用户、电力企业提供服务,将成为云计算的发展方向,也将是大数据技术的核心议题。电力系统是一个复杂的系统,数据量庞大,特别是在电力企业进入大数据时代后,仅仅是电力设备运行和电力负荷的数据规模就已十分惊人。因此,光靠传统的数据处理方法就显得不合时宜,而数据挖掘技术的实现为解决这一难题提供了新的出路。数据挖掘技术在电力系统负荷预测和电力系统运行状态监控、电力用户特征值提取、电价预测等方面有很好的应用前景。有关数据挖掘技术的思考我国电力市场化运行过程中,电力市场运行模式大体经历了垄断模式、发电竞价模式、电力转运模式,现在正在积极过渡到配电网开放模式。在这个过渡阶段,高质量的数据更是大数据发挥效能的前提,先进的数据挖掘技术是大数据发挥功效的必要手段。国际数据公司(InternationalDataCorporation,IDC)指出,在大数据时代下,新的数据类型与新的数据分析技术的缺失将是阻碍企业成为其行业领导者的重要因素。
该问题同样存在于电力企业中。但是,先进的数据挖掘技术只有在高质量的大数据环境下才能提取出隐含的、有用的信息,否则,即使数据挖掘技术再先进,在充满噪音的大数据环境中也只能提取出毫无意义“垃圾”信息。为此,电力企业为了应对电力大数据时代下数据质量对数据挖掘技术带来的挑战,应该考虑设立首席数据官(chiefdataofficer,CDO),进行专门的数据管理工作,定义元数据标准,保证数据质量。国内一些企业目前只是设立了首席信息官(chiefinformationofficer,CIO),但是由于CIO只是技术专家,很难系统全面地开展数据挖掘工作,这就使得这些企业渐渐失去了充分利用大数据的优势。因此,传统的数据管理方式已经很难满足大数据时代下对数据质量的要求,在电力大数据时代下,如何提高数据的质量,电力企业任重道远。
大数据时代下电力企业数据挖掘技术的实现途径大数据时代下,由于数据信息量巨大,使得数据挖掘是知识的自发现过程。在无明显目标的情况下需要从不同的数据源获得数据,然后对数据进行预处理,并使用模糊识别等算法对数据进行挖掘分析。为此,中国人民大学网络与移动管理实验室开发出了一种采用面向领域的DeepWeb数据集成技术,进而实现对Web数据自动集成和处理。分析认为大数据时代下电力企业数据挖掘技术主要由数据收集、数据整理、数据管理、数据分析、数据展示等过程组成,整个过程如图所示。数据来源层实现大数据收集工作得益于移动设备、无线射频识别技术(radiofrequencyidentification,RFID)、互联网、自动记录系统等技术设备,数据来源层主要存放了电力企业内部大量的事务型数据,以及会对电力企业决策产生影响的外部性数据。同时,为了使所获得的数据更具代表性,电力企业要尝试收集不同数据源产生的数据,为数据挖掘的后续工作做好准备。