从小样本到大数据：概念与误区
“大数据”这个词早期是IBM和EMC鼓吹的一种商业概念，自诞生之日就有概念包装的商业基因。明白这一道理就不会过分纠结“到底什么是大数据”，“多大数据算大数据”之类的问题。这一概念包含了我们在面对海量数据环境下的哲学迷思、技术困境、解决方案和由此引发的商业机会。
探讨大数据问题前我们先回顾另一个数据界的经典问题——小样本问题。小样本的“小＂表面指的是数据样本少，本质则是说现存样本对特征空间的刻画能力不足。
“过拟合”问题是小数据时代的核心问题之一，也成就了vapnik这样的理论巨匠及svm算法。大数据，其显性特征是超出一般算法或一般硬件计算处理能力的“大”规模数据；其伴随的另一个特征，就是拥有足以刻画样本特征空间以外的＂超额＂样本。前者显性特征推动了并行/云计算的软硬件发展，后者则从商业模式和数据分析的方法论层面推动了行业变化。
怎么理解这些＂超额的样本＂带给我们的价值呢？显然，通过数据刻画对象的全局特征，获得全体统计规律及关联规则并不需要这些“超额的样本”，因此才有“大数据是不是越多越好”，“大数据是否需要抽样”这样的辩论，这是在大数据时代之前关心的问题。可以说，纠结于这些问题的人还未触及大数据的核心价值。归纳一下就是：大数据时代之前，我们处理的是小样本或适度抽样后的小数据进行群体规律的知识发现（KDD）；在大数据时代，我们依赖从小样本挖掘出的或原本就已知的经验规则，通过搜索海量样本数据发现目标个体来兑现商业价值。
从理论到价值：政府应用实例
大数据在何处？这些拥有富矿的金主包括：工业、金融、通信、科研机构、互联网企业等。除此之外，还有一个超级矿山拥有者——政府。以美国为例，在公开的美国政府网站Data.gov上，大约有超过40万各种原始数据文件，涵盖农业、金融、就业等近50个分类。美国官方称这么做的目的是“方便公众更便捷地获得联邦政府数据，并通过鼓励创新突破政府的围墙而创造性地使用这些数据”。同时，各行业大数据又能极大改进政府的决策行为。
近些年大数据对国家及政府领域的应用案例开始涌现：
1.情感测量及幸福指数
2008年，法国总统萨科齐组建了一个专家组，成员包括以诺贝尔经济学奖获得者约瑟夫·斯蒂格里茨和阿马蒂亚·森在内的20多名世界知名专家，进行了一项名为“幸福与测度经济进步”（Happiness and Measuring Economic Progress）的研究。该项研究将国民主观幸福感纳入衡量经济表现的指标，以主观幸福程度、生活质量及收入分配等指标来衡量经济发展。
佛蒙特大学计算实验室的项目Hedonometer
（1）2011年：幸福度来自旅行的远度
佛蒙特大学的克里斯多夫·丹佛斯主持研究了幸福度与地理位置的关系，他们在2011年从从Twitter上筛选带有博主地理位置的Tweet。全世界逾18万用户发布的3700万条tweet中，约1%的微博含有这类经纬度信息。
研究发现，人们通常会有两个最常去的地方，且这两个地方相距不远，应该就是家和工作地。为了评估博主的幸福额度，佛蒙特大学的研究小组研制了一种“幸福测试仪”（hedonometer）：这种测试仪能检测出文本中表示积极、快乐情绪的词汇（比如，“新鲜的”、“极好的”、“咖啡”和“午餐”）以及表示消极情绪的词汇（比如，“没有”、“不”、“讨厌”、“该死的”、“无聊的”）。幸福测试仪会以此为根据评出每一条微博的幸福指数。研究团队发现，离家越远，人们所发微博中含有的开心词汇就越多。
（2）2011年：人们没有以前快乐
2011 12月21日消息，美国佛蒙特大学学者对Twitter上的用词进行分析后，最终得出“人们没有以前快乐”的结论。研究称，自2009年4月以来，人们的幸福感总体呈下行趋势。该研究报告的主要作者、佛蒙特大学的应用数学家Peter Dodds表示，“人们的幸福感正在下降。”这是多兹团队对6300万Twitter用户所发tweet时用的460亿个单词分析得出的结论。
更多详细信息，请您微信关注“计算网”公众号：
