据外媒报道,希拉里在大选投票开始前曾一路领先,在各种统计数据上她都力压特朗普,大多数人坚信她会成为美国首任女总统。不过结果大家也知道,希拉里输了。于是人们开始怪罪数据,觉得它们并非万能。
不过,其实希拉里的败选并非数据之错,真正出问题的是预测和分析,而这两项任务是人类来主导的。数据还是那个数据,但分析的人却缺乏深度。
大数据之辩
关于这次大选预测和分析失误的争论一般都集中在两点:1.民调方式是否出错;2.民调数据未能反映社会真实状况。
确实,许多民调都低估了特朗普支持者的实力。上周二的大选也成了民调行业的又一个黑历史,此前它们就因为预测错误而广遭质疑,同时,它们还面临着数个结构性难题。不过,民调的本意并非用来预测,它们只是盛满数据点众多篮子中的一个。
本次大选结果跌破眼镜的主要原因是我们未能跳出民调的牢笼并找出提升政治预测准确度的数据集,而这将成为情绪波动时代预测大选的关键。
数据的准确度并未降低,只是我们必须以创新的眼光看待它。
就拿数据分析公司Predata来说,它们就换了个方式来理解数据。鉴于路边采访的民调逐渐向互联网转变,该公司专门开发了采集网民民意变化信号的方法,为了收集这些信号,该公司每天都要分析成千上万个数据点。
人类的失误,非大数据之过
在希拉里必胜新闻的刺激下,分析师错估了形势,忽视了特朗普在佛罗里达和其他摇摆州的巨大领先优势。这不是数据之错,而是人之失误。
所有的数据集和数据预测模型,即使是那些依靠人工智能来分析的预测,从一定程度上来说,都会带有它们创造者的偏见。因此,无论是民调还是预测,都带有极强的主观性。收集数据、处理数据、解析数据的过程是大数据分析的必由之路,我们需要懂得的是这些数据到底能告诉我们什么,懂得它的潜力和极限并学会在不同背景下如何精确的对其进行分析。
弥合极客与诗人间的鸿沟
在大选上,极客(即数据科学家)与诗人(新闻报道者)之间存在巨大的文化差异,上周二的大选结果也显示,两者都无法独占真理。如果想在纷繁的数据中去伪存真,就必须将两者的观点结合起来。
也就是说,想要正确预测大选,我们不但要掌握第一手数据,还得重视各种观点犀利的报道,这样才能将数据与现实相结合,得出两者之间的交集。
在大数据的海洋中,人类依然是一叶扁舟,大选预测的偏差并不是我们放弃这一科学方法的理由。相反,这次挫折是让我们时刻保持谦虚,在失败中成长的催化剂。只有借助灵活的思想和对极限的认识,我们才能让大数据分析重回正轨。