作为全球半导体行业当之无愧的龙头老大,英特尔在x86服务器市场的综合占有率已经超过90%。对于英特尔来说,未来的发力点在哪里?
显然,继续扩大市占率对英特尔来说已经基本没有太大意义。想要赢得更大的发展,帮助下游企业和软件公司,把整个市场的蛋糕扩大,这才是唯一的方向。于是,我们在传统的Xeon处理器之外又看到了Xeon D、Xeon Phi等产品,除此之外还有网络架构OPA以及存储技术3D X Point等等。
当然,除了产品线的扩展,帮助软件企业更好的使用英特尔产品也是把整个市场蛋糕做大的重要一环。而机器学习和数据分析则是英特尔把市场做大的一个机遇。
专有与通用之争的另一种解法
IT硬件行业发展至今,我们可以看出一个相当明显的趋势。任何应用种类的诞生都伴随着一大批专用硬件的崛起。计算领域有超算和通用计算之别;网络有交换机、路由器、防火墙和负载均衡之分;存储有NAS、SAN等。而经过一段时间的发展之后,这些专有设备则会被更加通用的硬件所取代,以提升灵活性。
而在机器学习和数据分析领域,历史似乎有可能继续重演。在这些领域中,由于对性能的巨大需求,各类协处理器开始不断粉墨登场。虽然他们可以在专业领域内提供超过处理器的强大计算能力,但这种计算能力的提升确实已降低系统通用性为代价的。而目前英特尔所作的工作正式竭力避免又一轮专用硬件崛起所带来的通用性和灵活性灾难。其手段便是建立强大的软件团队并与机器学习和数据分析领域中的厂商展开广泛而深入的合作。显然,英特尔注资Cloudera就是这一行为的典型代表。
英特尔公司软件与服务事业部副总裁、系统技术和优化部门大数据技术总监马子雅女士
英特尔公司软件与服务事业部副总裁、系统技术和优化部门大数据技术总监马子雅女士表示:通过使用更新的编译器和针对硬件优化的新一代算法,英特尔可以用软件技术让机器学习系统的可扩展性提升10-70倍。而通过系统规模的扩大,机器学习的周期可以缩短至之前的1/8。而为了让更多的用户都可以获得这些提升,英特尔已经将大部分源代码无偿的回馈给了开源社区。
同时,作为Hadoop和众多开源项目中的核心厂商,Cloudera也与英特尔展开了广泛的合作,力图提升通用硬件在开源应用中的性能表现。马子雅女士表示:为了降低分布式存储系统对存储空间的大量消耗,英特尔和Cloud共同主导了名为HDFS Erasure Coding的开源项目。借助这一技术,分布式存储技术对存储空间的消耗会降低整整一半。而在过去,为了保证数据的可用性,分布式存储通常会把一份数据“一式三份”的存储在不同的物理介质上,而这也就意味着三倍的存储空间。另外,英特尔也通过更新编码器和解码器的方法,将性能提升30倍。
通过英特尔在软件领域的一系列努力我们不难发现,英特尔正在用一种更“软性”的方法提升通用硬件在专用领域的性能表现。从而让用户在不使用专用硬件的前提下也能获得较高的机器学习效率。而这种不需要改动硬件的方法带给用户的不仅是成本的降低,更能避免过度依赖专用硬件所产生的成本不可控、灵活性下降等问题。
软件,很重要
所谓通用硬件与专用硬件的分别其实是系统优化的不同出发点导致的。专用硬件是从硬件角度出发,让硬件去适应软件和算法的结果;而英特尔目前则走的是一条相对相对更中庸的路。换句话说,从英特尔的角度出发,系统优化工作需要先在硬件中打好基础,给后续软件优化预留更多空间,然后通过软件优化使硬件利用率提高,从而达到提升性能的目的。
硬件优化成本高、效果好,而软件方法投入低、见效快,但有提升上限。
而现在,数据分析和机器学习仍处于初生的高速发展阶段,应用更新的速度更快,且存在技术方向发生重大改变的可能性。在这种情况下贸然投入大笔资金来构建专有硬件系统对于大多数企业来说显然是不那么划算的,而此时,软件优化方法就成了目前一种比较理性的选择,更何况这种选择很多时候还是免费和开源的呢?