作为经济实惠的分布式计算开源框架，Hadoop无疑引起了技术人士的关注，他们以前使用昂贵的专有软件来处理庞大的数据集，费钱又费力。但如果说Hadoop的Java明星光环已经开始淡去，那么正在取代它的则是另一项可能更有前途的技术，那就是Apache Spark。
Apache Spark在大数据阶梯上的极速蹿升是一个非常值得注意的现象，不仅IBM等大公司纷纷拥抱该技术，而且几乎所有的BI和可视化工具提供商都使用这项基于内存的技术来进行批处理、交互处理和流处理。有些人认为，Spark在应用和受欢迎程度方面终将超越Hadoop，甚至已经超越。
Flink和Beam诞生
Spark基本上已经取代了Hadoop的批处理引擎MapReduce，更别说Spark的SQL、机器学习和流处理能力。但永不满足的大数据界希望改进这套得到Databricks公司支持、用Scala语言编写的多用途框架。于是Apache Flink和Apache Beam应运而生，成为了Spark在大数据框架之战中的劲敌。
2016年3月，Cloudera公司的卡丁向Data Artisans公司的Flink项目表达了敬意。当时他说：“Flink在架构设计上可能要比Spark好上那么一点点。”与此同时，基于谷歌Cloud Dataflow API的Apache Beam受到了Talend公司一位法国大数据架构师的支持。Beam雄心勃勃，想要用同一组API统一所有的大数据应用开发，并通过“Runner”这种执行引擎支持Spark、Flink和Google Dataflow。
历史性的民调失灵
毫无疑问，当今的政治民意调查已经成为应用统计(也就是“大数据分析”)的一个运用领域。以前，严谨的民意调查只需要通过白页上的选民名字和电话号码就可以进行。但现在，民意调查机构如果想从形形色色的选民中获取具有代表性的样本，就必须建立细致的权重模型。
民意调查机构未能就2016年6月的“英国脱欧”公投准确评估选民情绪。如果说这还只是让人感到意外的话，那么唐纳德·特朗普(Donald Trump)在11月份的总统选举中击败希拉里·克林顿(Hillary Clinton)，与几乎所有的政治民意调查结果截然相反(只有一项调查例外)，则可以说是大数据分析在2016年甚至可能是近十年来的最大惨败。
大数据黑客入侵
数据明显具有价值，无论保险公司和会计师怎么说。所以坏人会想要窃取个人和企业的数据也真的去窃取了，完全不足为奇。2016年发生了多起引人注目的数据泄露事件，比如美国民主党全国委员会的电子邮件服务器被攻陷，雅虎10亿用户的数据被黑。而这还没算上雅虎曾在2016年9月承认，黑客入侵了该公司5亿用户的账户。
IdentityForce制作的“2016年网络安全耻辱墙”上还包括：美国司法部(3万名DHS和FBI职员的数据失窃);美国国税局(70万名纳税人的记录泄露);威瑞森(150万客户的记录泄露);甲骨文(33万台MICROS收银机被入侵);Dropbox(承认6,800万个账户被入侵);AdultFriendFinder.com(4.12亿用户的记录泄露)。
新的数据初创公司
2016年对大数据的风险投资较2015年减少了大约10%，但这没有阻止科技创业者成立新公司，希望挖到大数据金矿。2016年的新来者包括：
SnappyData，致力于统一Spark和Pivotal的GemFire数据网格; Panoply，为AWS Redshift 用户开发ETL 软件; Cosmify，利用机器学习挖掘客户信息; Bonsai，这家AI公司在Strata + Hadoop World大会上赢得了创业展示比赛; Armorway，利用深度学习实现网络安全; Leyvx，将Flash和Spark结合起来; Jask，利用AI进行网络安全分析; Alluvium，致力于缩小“机器与人”的差距; Pachyderm，这家容器公司在Strata + Hadoop World大会上赢得创业展示比赛; Skry，区块链智能供应商; Wavefront，利用大数据来监控IT。
实时Kafka
人人都喜欢的大数据总线Apache Kafka在2016年如鱼得水，这要归功于对分析高速移动数据的新要求。Kafka才面世五年，但这部由LinkedIn开发的消息队列系统已经成为管理流数据和实时数据管道的事实标准。
Kafka由杰伊·克雷普斯(Jay Kreps)和尼哈·纳赫德(Neha Narkhede)创造，得到了两人领导的Confluent公司团队的支持，是2016年最受欢迎的大数据项目之一。由于人们对实时分析的兴趣高涨，这个开源项目的采用率正在飙升。随着批处理范式不断与实时数据处理相融合，如果克雷普斯的Kappa架构超越目前流行的Lambda架构，请不要感到惊讶。
开源数据项目
并非所有的大数据产品都是由盈利性企业开发。最有前途的新技术很多都是开源项目。2016年引人注目的开源大数据项目包括：