技术架构上,基于x86服务器集群的Hadoop平台,通过横向扩展的方式,线性扩展存储和计算资源,避免基于传统IOE架构的下只能进行基于硬件资源的纵向扩展。从而避免计算资源的瓶颈和IO资源的瓶颈。
最后,仅花费40%左右价格,便可以达到甚至超越传统IOE架构的性能。在性价比方面也极具可行性。
经过对国、内外各个厂商的技术调研,中泰证券选取了星环科技的TDH(Transwarp Data Hub)大数据平台。星环科技是目前国内极少数掌握企业级大数据基础软件技术的数据库厂商。在全球大数据去IOE的大背景下,Hadoop已成为公认的传统数据库的替代品。星环产品Transwarp Data Hub ( TDH ) 功能比肩硅谷同行, 五大组件Hyperbase, Stream,Inceptor,discovery,和TOS的性能和SQL兼容性在业界处于领先水平。
测试结果显示,针对海量数据的统计型业务需求,星环科技的产品TDH Inceptor能够提供快速的查询支持,查询时间在秒级或分钟级,大大提高了查询效率。
针对海量数据的多维度查询业务需求,TDH Hyperbase能提供极快的查询支持,测试数据显示,查询结果基本在10s以内,极大的提高相应业务场景的查询效率。而星环科技的TDH平台 能够提供很好的存储过程支持,以满足中泰证券的业务需求。
经过对现有成熟Hadoop产品、技术,以及金融行业相关应用的调研,星环科技的TDH平台技术领先、性能优越、功能全面、运行稳定,能够很好的解决现有平台存储、计算、分析等问题,同时能够满足中泰证券未来业务发展的需要。
利用星环大数据平台,将为打造中泰证券新一代数据平台,为上层应用提供更高效、可扩展的数据服务。利用整体规划、分布实施的策略,依托星环大数据平台改造和提升现有数据仓库系统以及历史数据查询系统的性能和稳定性,同时建设财经新闻搜索、新闻类型分析、新闻聚类、情感分析、知识图谱等基于大数据的分析、挖掘应用,让数据真正发挥价值。