企业数据可能会分散在多个系统中,彼此不能共享数据或者进行相关的分析,从而造成数据孤岛的现象。通过构建统一的大数据平台可以有效的解决大部分场景下的数据孤岛问题,然后仍然存在一些数据因为各种关系无法迁移统一平台上的现象。为了解决此类问题,Inceptor推出了数据源连接器Stargate。
Stargate是连接执行引擎和各种数据源的连接器,可以将多种不同数据源的数据接入引擎做实时的统计分析,而无需事先将数据导入HDFS,从而更加方便用户的业务构建多样化需求。
在语法层面,Inceptor兼容Oracle DB-Link规范,通过创建database link来预先建立和其他数据源的连接池,然后就可以在SQL中通过 table_name@database link的方式在Inceptor中实时访问该数据源的数据,无需其他操作。在执行计划开始后,Stargate通过预先建立的连接从其他数据源中抽取需要的数据,输入进入执行引擎层参与SQL计算。在计算完成后,释放相关的数据库连接以及对应的资源。
目前Stargate支持关系数据库包括Oracle,DB2,Mysql,Teradata以及PostgreSQL。此外,Stargate目前可以接入Holodesk,HDFS,Hyperbase等平台内数据源,未来将支持Elastic Search和Redis作为数据源。
多租户管理组件 Guardian
Guardian提供完整的多租户管理功能,包括租户资源管理,租户权限管理以及安全控制等模块,可以方便企业在统一的大数据平台上的多租户的管理和分配。
Guardian允许对多租户进行CPU和内存资源的配置和管理,不同的租户使用不同的CPU和内存资源池,因而不会互相干扰。此外可以给不同的用户设定不同的优先级来实现服务质量控制(QoS)。
Guardian支持通过SQL对用户磁盘空间的配置和管理,包括对数据空间和临时空间的配额,更改和管理,以方便平台对存储资源的合理分配,管控和计费。