挑战二：数据挖掘分析模型建立
步入大数据时代，人们纷纷在谈论大数据，似乎这已经演化为新的潮流趋势。数据比以往任何时候都更加根植于我们生活中的每个角落。我们试图用数据去解决问题、改善福利，并且促成新的经济繁荣。人们纷纷流露出去大数据的高期待以及对大数据分析技术的格外看好。然而，关于大数据分析，人们鼓吹其神奇价值的喧嚣声浪很高，却鲜见其实际运用得法的模式和方法。造成这种窘境的原因主要有以下两点：一是对于大数据分析的价值逻辑尚缺乏足够深刻的洞察；其次便是大数据分析中的某些重大要件或技术还不成熟。大数据时代下数据的海量增长以及缺乏这种大数据分析逻辑以及大数据技术的待发展，正是大数据时代下我们面临的挑战。
大数据的大，一般人认为指的是它数据规模的海量。随着人类在数据记录、获取及传输方面的技术革命，造成了数据获得的便捷与低成本，这便使原有的以高成本方式获得的描述人类态度或行为的、数据有限的小数据已然变成了一个巨大的、海量规模的数据包。这其实是一种片面认识。其实，前大数据时代也有海量的数据集，但由于其维度的单一，以及和人或社会有机活动状态的剥离，而使其分析和认识真相的价值极为有限。大数据的真正价值不在于它的大，而在于它的全面：空间维度上的多角度、多层次信息的交叉复现；时间维度上的与人或社会有机体的活动相关联的信息的持续呈现。
另外，要以低成本和可扩展的方式处理大数据，这就需要对整个IT架构进行重构，开发先进的软件平台和算法。这方面，国外又一次走在我们前面。特别是近年来以开源模式发展起来的Hadoop等大数据处理软件平台，及其相关产业已经在美国初步形成。而我国数据处理技术基础薄弱，总体上以跟随为主，难以满足大数据大规模应用的需求。如果把大数据比作石油，那数据分析工具就是勘探、钻井、提炼、加工的技术。我国必须掌握大数据关键技术，才能将资源转化为价值。应该说，要迈过这道坎，开源技术为我们提供了很好的基础。
因此，现在已经有很多企业开始意识到，要想真正在Hadoop平台上做数据分析、数据挖掘的应用，有两种选择，要么就是汇聚一个懂数据、懂分析、懂编程又要有技巧的技术团队来操作，要么就是选择某家商业公司推出的成熟的大数据平台。
总而言之，目前尽管计算机智能化有了很大进步，但还只能针对小规模、有结构或类结构的数据进行分析，谈不上深层次的数据挖掘，现有的数据挖掘算法在不同行业中还难以通用。
挑战三：数据开放与隐私的权衡
数据应用的前提是数据开放，这已经是共识。有专业人士指出，中国人口居世界首位，但2010年中国新存储的数据为250PB，仅为日本的60%和北美的7%。目前我国一些部门和机构拥有大量数据但宁愿自己不用也不愿提供给有关部门共享，导致信息不完整或重复投资。2012年中国的数据存储量达到64EB，其中55%的数据需要一定程度的保护，然而目前只有不到一半的数据得到保护。
下面，我们来看一下美国在数据开放方面的做法。美国政府提供政策和经费保障，使数据信息中心群成为国家信息生产和服务基地，保障数据信息供给不断，利用网络把数据和信息最便捷、及时地送到包括科学家、政府职员、公司职员、学校师生在内所有公民的桌上和家庭中，把全社会带进了信息化时代。
纵观国内，我国政府、企业和行业信息化系统建设往往缺少统一规划和科学论证，系统之间缺乏统一的标准，形成了众多“信息孤岛”，而且受行政垄断和商业利益所限，数据开放程度较低，以邻为壑、共享难，这给数据利用造成极大障碍。制约我国数据资源开放和共享的一个重要因素是政策法规不完善，大数据挖掘缺乏相应的立法，毕竟我国还没有国家层面的专门适合数据共享的国家法律，只有相关的条例、法规、章程、意见等。无法既保证共享又防止滥用，一方面欠缺推动政府和公共数据的政策，另一方面数据保护和隐私保护方面的制度不完善抑制了开放的积极性。因此，建立一个良性发展的数据共享生态系统，是我国大数据发展需要迈过去的一道砍。
开放与隐私如何平衡，亦是一大难题。任何技术都是双刃剑，大数据也不例外。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私，逐步加强隐私立法，将是大数据时代的一个重大挑战。