时至今日，我们的数据管理能力日益提升，但数据分析能力则相对落后。尽管工具与流程皆已齐备，但仍然缺少充足的数据科学家人员。在今天的文章中，我们将专注于能够交付实际分析结论的大数据应用，同时追踪其发展及当前状态，最终借此窥探大数据技术的未来发展方向。
早期大数据技术采纳方指明令人感兴趣的跨行业发展可能性
根据2012年《福布斯》杂志发表的文章，早期大数据技术采纳方主要来自金融服务、电信、制造(特别是消费级产品)以及政府领域。
早期采纳方在起步阶段会使用其新近安装的大数据基础设施(例如HDFS、MapReduce以及NoSQL数据库等等)以实验各类新型应用。根据 Pacific Crest公司收集到的数据，各早期采纳方往往希望利用这些方案处理数据中心日志信息(包括服务器、路由器以及各类物联网传感器等)，旨在实现网络分析与 IT系统性能监控。在此基础之上，亦有相当一部分企业尝试利用大数据技术进行财务数据(欺诈检测)与Web数据(情感分析以实现个性化体验)分析。
用例
早期采纳方比例 网络分析 29% IT系统日志分析 28% 传感器数据分析 19% Web行为数据分析 16%基因组数据分析
9% 社交媒体情感分析 6% 欺诈检测 6%表1 大数据应用早期实验方向
早期采纳方比例 网络分析 29% IT系统日志分析 28% 传感器数据分析 19% Web行为数据分析 16%
基因组数据分析
9% 社交媒体情感分析 6% 欺诈检测 6%
初步实验对于了解大数据基础设施收益、潜力与不足之处非常重要。然而根据CapGemini于2014年发布的报告，试水性实验的成功比例并不算 高。其失败原因主要有三：1)将数据分散在多个不同团队中，因此访问难度较原始设计更高。2)数据被安置于遗留系统当中，导致将其导出至大数据基础设施变 得非常困难。3)缺少统一而明确的全局性数据管理与数据分析方案，这使得工作人员难以从数据内提取信息。而随着此类问题的一一克服，近来我们发现成功案例 变得愈发普遍。事实上，目前全球各地对于大数据基础设施及其附加方案的兴趣都呈现出快速升温之势(见图一)。
图一 各行业与地区大数据投入数据。
企业客户持续投资给初创公司带来可观的风投支持积极性
企业向大数据技术投入的资金呈现增长之势。根据NewVantage指出，受访企业中有27%表示其将在2017年之前向大数据项目投入超过5000万美元资金。而在2014年面向同样企业对象的调查中，这一比例仅为5.4%。
目前，价值万亿美元的行业，包括医疗卫生、保险、农业、能源、医药、教育、汽车、运输以及物流等等，都在积极探索如何利用大数据利器解决自己面临的 现实难题。举例来说，汽车制造商希望分析消费者的信息娱乐选择以提供更理想的车载信息娱乐体验，同时亦需要分析车辆性能数据以提供预防性维护建议。另外， 无线运营商也希望了解消费者如何使用其数据，从而更好地提供内容并实现营收。
考虑到以上提到的企业投资与变革力度，风险投资商们则更为积极地为大数据初创企业提供资金，如图三所示。单在2015年年内，风投方为大数据初创企业提供的资金总额就高达67亿美元，超过2014年的60亿美元。
图二 截至2016年2月大数据应用总体态势图
出于同样的理由，大数据初创企业也开始迎来一波收购浪潮。其中包括AOL收购Convertro，谷歌收购Adometry，苹果收购 Topsy，Teradata收购Aster Data与Think Big Analytics，Salesforce收购Edgespring等等。最近，我们还见证了微软收购Revolution Analytics，HDS收购Pentaho以及Advance收购1010Data。除此之外，小规模收购亦层出不穷，包括Amazon收购 Amiato等。
如图二所示，目前风投方的主要关注重点在于大数据基础设施与工具。尽管基础设施与工具部署同样显示出旺盛的生命力，但这里我们姑且将注意力集中在大数据应用身上。
大数据应用的崛起
信息技术中的每个新兴领域(例如商务智能、客户端/服务器计算、云计算以及移动计算等)通常都需要经历三个发展阶段：