中国IDC圈12月28日报道:看一看所有与大数据相关的活动,我们应该问一个问题:究竟有多少大数据在实际上是有用的。根据常识稍微思考一下,我们就会发现只有一小部分。
我已经与数据打交道超过40年。在前互联网的时代,我们经历了所谓的数据过载(dataoverload)。结果后来我们发现数据本身其实是没有价值的,只有一小部分被证明对实际商业决策有直接影响。铭记历史教训,现在最关键的问题已经变成了找到真正有用的数据。数据的量的确增加了,但值得注意的是:大部分的增长都来源于非结构化数据。
让我先根据Webopedia的定义来解释什么是非结构化数据。非结构化数据是指没有任何相同结构的数据。例如,图片、视频、电子邮件、文件和文本都被认为是一个数据集内的非结构化数据。
尽管每个单独的文档可能都包含基于其创建程序的特定结构或格式,非结构化数据也可以被认为是“结构松散的数据”,因为数据源其实是具有结构的,但数据集内的所有数据包含的结构可能不尽相同。与此相反,数据库则是一种常见的“结构化”数据。
所以回顾历史,我们现在讨论的除了数据超载还加上了一个新的变数——代表了大部分新增数据量的非结构化数据。非结构化数据代表着新的量的产生。我认为,具有强大的数据分析能力同时能很好地把握行业标准并遵守规则的公司可以提供精确的过滤解决方案,从而为用户鉴别出最有价值的数据。
多剥一点洋葱(Onion)
尽管有众多关于过滤和分析结构化数据的解决方案不断出现,例如Splunk企业版,它可收集、索引和处理所有应用程序、服务器和设备(物理、虚拟和云中)生成的可转移操作的机器数据。在讨论“Hadoop会带来什么”时,有很多人在争论其优缺点,在这里我就不多加讨论了。
我的观点是,真正的挑战是提供价格可取的,关于更复杂的过滤和实时分析非结构化数据的解决方案。虽然所有类型的数据总量预计在未来五年中将增长800%,其中80%将是非结构化数据。
我建议具备数据建模、分析、OCL、本体模型的数据挖掘等能力的公司,可以通过提供既针对结构化又针对非结构化数据的解决方案来获得一定优势。时至今日,仍然没有公司可以真正提供能在海量大数据中精确定位和寻找的“神器”。
本体论在大数据中扮演什么角色?
本体论
正规来说,本体论将知识表示为在一个领域内的分层结构,并通过一个共享的词汇表来表示这些概念的类型、性质和相互关系。
本体论是用于组织信息的结构框架,可作为一种知识展现用于人工智能、语义网、系统工程、软件工程、生物信息学、图书馆学、企业书签和信息架构。领域本体的创建也定义本体论和其企业组织架构方面应用的基础。
本体论为什么重要?
因为它使我们在寻找关键数据或趋势时不需要整合系统和应用程序。它是如何应用的,哪些是实现它功能的重要元素?
本体论结合了一个本质上非常灵活、基于图形的语义模型和语义搜索,从而降低复杂数据集成的时间尺度和成本。本体论正在重新思考后谷歌世界中数据采集、数据关联和数据迁移的项目。
为什么会有人想要发展本体论?
开发本体的最常见的目标之一是共享人们或软件代理之间的对信息结构的相同理解。例如,假设几个不同的网站都包含医疗信息或提供医疗电子商务服务。如果这些网站共享和发布信息时所使用的术语背后潜在的本体论是相同的,那么计算机代理可以从这些不同的网站中提取和聚合信息。代理也可以使用这些聚合信息来回答用户查询或将其作为其他应用程序的输入数据。
以一些明确的域假设作为具体实施的基础使我们可以在关于域的知识发生改变时很容易地改变这些假设。关于编程语言代码的硬编码假设使得这些假设不仅很难找到和理解,更加难以被改变,特别是对没有编程经验的人。此外,对于领域知识的明确阐述对于必须学会这些术语在领域内代表什么意思的新用户也是很有帮助的。
通常一个领域的本体本身并不是一个目标。开发一个本体就类似于定义一组数据以及供其他程序使用时的结构。解决问题的方法、域独立应用程序和软件代理都是将本体和基于本体的知识库作为数据来使用的。