全球首个支持事务一致性的高速SQL on Hadoop引擎:Inceptor

为了更好的满足数据仓库业务场景的需求,Inceptor提供完整的增删改SQL支持,允许从多数据源中加工数据。同时为了有效的保证数据处理的准确性,Inceptor提供了分布式事务的支持,保证了处理过程中数据的ACID,即原子性、一致性、隔离性和持久性。

Inceptor支持以Begin Transaction启动事务,以commit或者rollback来结束事务。事务管理单元通过两阶段封锁协议和MVCC来实现一致性和隔离性的控制,支持Serializable Snapshot Isolation隔离级别,因而可以保证并发情况下的事务一致性。

Inceptor支持SQL 2003中关于增删改查部分的语义规范,支持Insert,Update,Delete,Truncate以及Merge Into原语,支持单条或者从其他数据表以及嵌套查询中更新数据表,并且内置一致性检查功能以防止非法改动。

通过SQL编译器的优化,增删改SQL执行计划通过分布式引擎在集群中并发执行,系统整体的吞吐率能够达到关系数据库的数倍,能够满足批处理业务的高吞吐率要求。另外,通过合理的资源规划,Inceptor在做数据的增删改的同时,允许租户对数据做高速的统计分析。

分布式内存列式存储 Holodesk

了加速交互式分析的速度,Inceptor推出了基于内存或者SSD的列式存储引擎Holodesk。Holodesk将数据在内存或者SSD中做列式存储,辅以基于内存的执行引擎,可以完全避免IO带来的延时,极大的提高数据扫描速度。

除了列式存储加快统计分析速度,Holodesk支持为数据字段构建分布式索引。通过智能索引技术为查询构建最佳查询方案,Inceptor可以将SQL查询延时降低到毫秒级。

Holodesk允许用户对多字段组合构建OLAP-Cube,并将cube直接存储于内存或者SSD上,无需额外的BI工具来构建Cube,因此对于一些复杂的统计分析和报表交互查询,Holodesk能够实现秒级的反应。