“很多人都不理解究竟什么是大数据，大家都感到很困惑。”LogLogic公司首席营销官Mandeep Khera这样说。最近，LogLogic与IT安全研究公司Echelon One共同完成了一项大数据管理调查。调查发现，有49%的企业比较或者非常关心大数据管理问题，而有38%的企业并不明白什么是大数据，另外有27%的企业表示他们对大数据一知半解。此外，调查还发现，59%的企业没有部署相关工具来管理IT系统中的数据，而是转向独立系统和其他系统，甚至是使用电子表格。此次调查的对象是207位来自各行各业的主管或以上级别的个人。
“大数据是大量的非结构化数据。如果管理得当，我们能从中挖掘出有效信息，帮助企业解决安全、运营和法规遵从等问题。所有企业都正在从企业内部各种来源，以及云基础设施中收集越来越多的数据，而很多企业还没有使用正确的工具和流程来管理这些数据。如果这种模式继续下去，我们将会看到，这样做的企业会远远落于他人之后。因为他们无法获取对系统的洞察力。”Khera解释说。
在此次调查中，62%受访者表示他们已经在管理1TB以上的数据，以后还会有更多数据。全球数据量正在以疯狂的速度增长。据称，目前存在的90%数据来自于过去的两年间，这些数据来自传感器、交易记录、图像和视频、社交媒体、日志等。
这就是大数据。如果正确使用大数据，它将为你提供梦寐以求的情报和洞察力。在安全方面，它可以让你看到网络中正在发生的事情，以保护企业免受高级持续性威胁和恶意软件。同时，还能通过优化服务器和供应链管理来提高运营效率。它甚至还可以帮助你处理法规遵从的问题。
Khera表示，控制大数据的关键之一是日志管理，日志管理能够整合来自企业范围内的所有日志，建立索引存储库，并以常见的用户界面显示。要利用这些数据，需要具备数据规范化和关联化，以及报告和发送告警的能力。
2012年2月，LogLogic委托IANS对其日志数据管理和法规遵从产品进行信息安全投资分析（简称为ISIA）。在走访了几位存在大数据管理问题的LogLogic客户后，IANS表示：“大数据的日志管理与一般数据的日志管理之间的主要区别是，如何管理规模庞大的日志信息。如果没有简单易用的用户界面或者提供快速访问的索引存储库，几乎不可能从数据漩涡中找出有效情报。大数据管理解决方案必须跟上新信息产生的速度，这对于告警方面尤为重要。如果索引时间太长，关键的告警消息将被延迟，从而会造成严重的问题。”
现实的情况是，只有54%的受访者使用日志管理解决方案来管理日志数据，很多企业还是沿用系统日志（syslog）或者电子表格进行日志管理。而LogLogic的调查显示，33%的受访者没有对日志进行管理。大数据管理任重而道远。