Aster Data Systems最近发布了应用于数据库的MapReduce,这是其nCluster数据库的一个组件。
InfoQ已经详细 介绍了MapReduce,它最初是由Google工程师引入的一种编程模型,旨在提供一种可伸缩的方法来处理大数据集。
nCluster是由Aster推出的一个高并行处理(MPP)数据库。其网站这样描述了nCluster的并行架构:
Aster nCluster构建于独特、多层的nCluster架构之上,它包含三种独立的节点类:Queens、Workers及Loaders。针对分析处理,该三层设计将角色完全隔离并封装起来。每层都可以独立扩展以响应负载变化——当需要时扩充容量(Workers)、加载带宽(Loaders)或者执行并发(Queens)。
Aster nCluster提供的MapReduce实现利用相同的架构,为数据库中执行MapReduce计算留有了余地:
就像针对标准SQL查询的高并发执行环境一样,Aster nCluster为数据库中的并行数据分析及传输实现了灵活的MapReduce函数。Aster nCluster应用于数据库的MapReduce函数很容易编写,而且可以与SQL语句无缝集成。它们依靠SQL查询来操纵底层数据并提供输入。该函数可以操纵输入数据并提供输出,而这些输出又可以被SQL查询使用或者写到数据库表中。
SQL/MR是由Aster引入的一个特殊的SQL MapReduce函数库,可在nCluster平台中用来调用map-reduce算法。Aster支持多态函数和动态类型,同时MapReduce计算可用Java、Python、C++等语言开发。
请访问Aster Data Systems站点以了解有关应用于数据库的Map Reduce及nCluster数据库的更多信息。
查看英文原文:Aster In-Database MapReduce
更多详细信息,请您微信关注“计算网”公众号: