Kylin 大数据时代的OLAP利器

  1.Kylin对Kerberos认证的支持

  2.Kylin非Hadoop节点的部署支持

  3.多数据源的支持

  综合分析现实的场景之后,我们选择了公司内最大的hadoop集群作为Kylin Olap的计算引擎集群,保证有充足的存储以及计算资源。 HBase采用一个独立的集群,避免Hbase查询和Hadoop集群任务之间的互相干扰。数据源Hive允许用户自定义,目前已支持同Hadoop集群下不同Hive 以及不同Hadoop集群下的不同Hive节点使用Kylin Olap服务。根据用户数据仓库的实际配置情况可能会出现跨集群的数据源抽取计算, 由于公司同城机房有专线网络,数据仓库Hive里的源数据量也远小于Kylin实际的聚合后的数据存储(存于Hbase,数据量大小一般为数据源Hive中的10倍以上), 因此可认为这样的开销可以认为带来的影响不大,并且在我们的测试中得到了印证。

  Kylin OLAP与猛犸以及有数的结合

  为了让Kylin更快更好的融入到大数据平台中,OLAP小组已计划在不久之后全面与猛犸大数据平台进行打通和整合, Kylin Olap 将深度内嵌于猛犸,用户可以基于猛犸平台完成Kylin Olap的简化管理工作。猛犸平台对接控制节点,作为数据模型师的操作入口

  1.Kylin将利用猛犸的用户管理功能

  2.猛犸将接管用户项目的创建以及Cube的管理

  3.猛犸将原有的Hive数据源彻底与Kylin打通,便于Kylin管理用户的数据源

  网易有数会成为Kylin Olap的一个重要的分析师入口,有数将Kylin Olap作为一个单独的数据源进行支持。已有的以及潜在的Hive查询客户可以轻松的将报表迁移到Kylin Olap,使得大数据量下的交互式报表分析称为可能。

  1.有数能基于在猛犸上创建的Cube创建报表

  2.有数会主动识别Kylin Cube定义的维度和度量

  3.用户在Kylin Olap允许的范围内自由操作,完成报表的编辑和查询。