中国IDC圈7月8日报道,阿里云计算发布大数据产品——ODPS.通过ODPS在线服务,小型公司花几百元即可分析海量数据。ODPS可在6小时内处理100PB数据,相当于1亿部高清电影。此前,全球掌握这种能力的公司仅有Google、亚马逊(333.55, -3.94, -1.17%)等少数几家。
阿里云ODPS团队在一封公开信《人人都可以成为BAT》中表示:工业革命后的200多年里,人类对物理资源的利用登峰造极,对数据资源的利用却仍处于起步阶段。Google、Facebook(65.29, -1.00, -1.51%)、阿里巴巴(滚动资讯)等互联网公司先行一步,触碰到了大数据的魅力。然而,人类拥有的绝大部分数据还无法产生价值。
采用传统方案处理大规模数据,一般得耗资数千万自建数据中心,请专业技术人员维护运作。一旦数据总量超过100TB,技术挑战会非常大。Hadoop开源运动降低了这一成本,不过自建一个像样的Hadoop集群,仍然需要上百万的起步资金。专业的Hadoop人才则更加稀缺。
相比而言,使用ODPS的成本和门槛则低得多。ODPS采取按量收费的模式,目前定价0.3元/GB,即开即用,一个月内免费。根据大部分公司的数据量来测算,一般每月只需花费数百元。
在对外商用之前,ODPS只是阿里巴巴内部秘密使用。阿里小贷最先将ODPS应用到商业领域。如今,超过36万人从阿里小贷借款,最小贷款额为1元,并实现3分钟申请、1秒放款、0人工干预。要做到这一点,阿里小贷每天得处理30PB数据,包括店铺等级、收藏、评价等800亿个信息项,运算100多个数据模型,甚至得测评小企业主对假设情景的掩饰和撒谎程度。阿里小贷每笔贷款成本3毛钱,不到普通银行的1/1000.
据悉,淘宝、支付宝等阿里巴巴最核心的数据业务,都运行在ODPS平台。比如阿里妈妈广告的核心算法,点击预测模型的训练等。ODPS商用,意味着阿里云将这种大数据处理能力对外开放,此举将大幅降低社会创新成本。
目前,全球提供类似服务的仅有Google和亚马逊,国内尚无同类产品可供比较。阿里云方面表示,ODPS将比Google BigQuery更强大,不仅支持更丰富的SQL语法,还将提供MapReduce编程模型和机器学习建模能力,可以服务更多应用场景。(木南)
以下为阿里云ODPS团队公开信《人人都可以成为BAT》全文:
阿里云计算最重要的一款产品——ODPS,正式开放商用。从今天起,花个几百块钱,人人都能来玩大数据。
简单来说,ODPS(Open Data Processing Service)是一项Web服务,大家不用花大钱建数据中心,就能分析海量数据。我们测过,100PB的数据任务可在6小时内跑完。这个数据量相当于1亿部高清电影。
工业革命后的200多年里,人类对物理资源的利用登峰造极。第一次信息革命过去70年了,我们对数据资源的利用却只是刚开了头。Google、Facebook、阿里巴巴等先行一步,摸到了大数据的冰山一角。然而,人类拥有的大部分数据,还无法产生价值。
如何让数据产生价值?先得拥有大规模处理能力,然后才是挖掘、算法和分析。传统的做法是这样的:租个机房,买一堆昂贵的设备搭建数据仓库,再请一帮技术人员来维护运转。一旦触发bug,或者当数据总量超过100TB时,你的工程师们可能会被这些麻烦搞崩溃。
Hadoop开源系统很伟大,大大降低了成本。阿里是中国玩Hadoop玩得最好的几家公司之一,Hadoop支撑了淘宝、支付宝早期业务的快速发展。不过,自建一个像样的Hadoop集群,得百万起步资金,专业的Hadoop人才更是稀缺。门槛还是太高。
有没有更好的方案?从2009年初,写下“飞天”第一行代码时,我们就坚信这一方案存在。我们用了五年时间,写下250万行代码,终于在自主研发的“飞天”平台上成功搭建ODPS.我们把数据海洋里的“水”灌进ODPS,设定好一套参数,拧开水龙头,出来的就是“鲜榨果汁”!
100年前,福特推出了全球第一条流水生产线。一个个零部件扔进流水线,90分钟后,一辆崭新的汽车摆在面前。不知道福特工程师们当时是怎样的心情。当我们拧开ODPS的水龙头时,感受大抵如此。这个比喻还不完全恰当,福特生产线只为福特服务,一条生产线也只能生产一种车型。而ODPS任何人都可以来用,水龙头里流出来的“果汁”,随着原始数据和算法的改变可以千变万化。
我们来看看ODPS都可以榨哪些“果汁”吧。
ODPS之前一直在阿里内部试用。第一个“小白鼠”是阿里小贷。你见过敢贷1块钱给你的银行吗?如今,超过36万人从阿里小贷借款,最小贷款额1块钱,并实现3分钟申请、1秒放款、0人工干预。要做到这一点,阿里小贷每天得处理30PB数据,包括店铺等级、收藏、评价等800亿个信息项,运算100多个数据模型,甚至得测评小企业主对假设情景的掩饰和撒谎程度。另外,阿里小贷每笔贷款成本3毛钱。什么?你问普通银行的贷款成本?先乘个1000再说。