2012年3月19日—26日,我们参加中国电子学会云计算专家委员会组织的“云计算美国之行”访问团,到西雅图和旧金山两地拜访美国多家云计算相关公司,其中既有Amazon、微软、Google、Facebook、Rackspace这样的行业巨头,也有Heroku、Engine Yard、Puppet等新兴云计算公司,还包括CloudCamp为代表的美国云计算社区。虽然行色匆匆,难以进行非常深入的交流,但接触面比较广,对美国云计算产业和技术的发展情况有了更多直观认识。
微软
我们到访的第一站是位于西雅图的微软总部。企业IT走向云计算已成为大势所趋,所以微软与软硬件巨头IBM、HP、Oracle、Dell一样,都在积极布局云计算技术、产品和平台,或收购,或积极研发。
为什么现在云计算如此重要?负责微软企业云战略的Rolf Harms从经济学角度给出了答案:
- Cloud = doing what you do today for less
- Cloud = doing what you do today better
- Cloud = doing things you can’t do today
微软自己的官方网站Microsoft.com迁移到Azure平台后,成本降低了90%,可用性从99.1%提高到99.997%,部署时间却从数周下降到45分钟,改善巨大。
Harms的介绍中有一幅图讲述私有云和公共云的不同使用场景,非常清晰,如图1所示。
图1 私有云与公共云适用场景
而长远看,公共云相比私有云具有明显的价格优势,如图2所示。
图2 私有云与公共云成本比较
云计算大战的焦点之一,是如何降低数据中心的建设和运营成本以及环保问题。Facebook开源Open Compute项目更加剧了数据中心技术方面的竞争。微软也大幅投资云计算数据中心,发展新一代数据中心。这次我们有幸参观了微软在Redmond Ridge的研发数据中心,各方面都非常先进,虽然设备的密度极大(52U/rack),PUE值仍然能够达到1.17。应该说,在纯粹设备上国内并不落后,但这个数千平米的数据中心只有10人负责运营,而支撑Azure平台的主力Quincy数据中心,占地47万平方英尺,运营人员也只有35人,自动化程度惊人。另外负责人介绍,由于设备密度太大,思科现有的交换机已经无法支持,必须开发新一代。
图3 Gartner的IaaS魔力象限
Amazon
云计算的理念其实已经发展了很多年,而作为一个术语而流行始自2006年,但至今仍然免不了众说纷纭,这一点国内外情况倒是差不多。云管理平台企业enStraus副总裁Bernard Golden在美国CIO圈子里颇有名气,他在交流中说到一个很有意思的现象:很多大公司的CIO虽然一方面口口声声云计算还不安全,不能轻率采用,可另一方面已经非常普遍地使用Salesforce、Workday等SaaS软件管理客户和员工等最敏感的信息。不过他也承认,虽然在美国云计算已经成为主流,但大家还是免不了不断的分歧与纷争,因为有太多背景不同的厂商和人说自己在做云计算。
图4 AWS历年发布的服务(出自Jeff-Barr的演示稿)
但有一点是大家都有共识的,那就是Amazon已经在公共云领域比较稳固地建立了自己的优势。2011年12月Gartner的研究表明,AWS自2006年推出以来,一直保持高速的产品研发节奏。AWS云平台无论在执行能力还是在前瞻性上,都在IaaS提供商中处于领先地位。而且它也在向PaaS扩张。
与此对应的是,AWS惊人的指数型发展速度。由图5可见,截止到2011年底,Amazon S3已存储了7620亿对象,年增长率达到192%,而且还在不断加速。另外,据美国调查公司451Group的报告,AWS已经占据了美国59%的IaaS市场份额。
图5 Amazon S3所存对象数的增长(出自Jeff Barr的演示稿)
虽然Amazon很少公布图5那样具体的规模数字,但我们还是可以从各种渠道做一些估算。此前Accenture的Huan Liu曾估算AWS的服务器可能有44.5万台,但一般都认为这个数字可能偏高。James Hamilton去年6月曾透露,AWS当时每天增加的容量足可以支持Amazon最初头五年全球运营,而那时公司营收已经接近30亿美元了。另据4月中旬DeepField的数据,现在每天有1/3的美国互联网用户至少访问一次AWS,它还占据了1%总互联网流量,并已经是全球第四大CDN。
拜访Amazon云计算部门时得知,它现在约有2000多人(其中有相当比例是销售人员),今年还准备扩招500人左右。有熟悉美国企业运作的同行者据此粗略算出,Amazon今年的营收目标至少应该是20亿美元。而2011年Gartner对此数字的估计是10亿。发展速度的确惊人。
云计算最初的用户主要是新兴公司,但现在大型互联网企业和许多大型公司也已经转向AWS。其中视频服务商Netfilix是一个经典案例,这个流量巨大的网站完全放弃了自建数据中心。利用AWS做海量存储、大数据分析和容灾备份的就更多了:SAP、Adobe、三星、爱立信、日立、趋势……
值得注意的是,除了Web应用和海量数据领域,AWS近年也在开拓面向企业云服务的产品,IBM、Microsoft、Oracle、SAP的全线商业产品和各开源产品的都可部署在AWS云服务上。4月底,Amazon又推出应用商店AWS Marketplace,由Amazon负责统一计费,更加方便用户。
Rackspace与OpenStack
此次我们也访问了Rackspace在旧金山的办公室。Rackspace是韩裔美国人Richard Yoo于1998年创办的,最初只是一家普通的ISP。在传统的主机托管厂商之中,较早转型云计算,也成为IaaS领域另一个领导性厂商,市值接近80亿美元,2011年营收超过10亿美元。最近他们透露,总服务器数已经超过8万台,云计算方面已经占到总业务的两成以上,据估计,它的规模是Amazon云平台的五分之一。
图6 与Rackspace创业者关系负责人Robert Scoble合影
Rackspace在云计算领域的领导地位还有一个重要原因——它是目前关注度最高的开源云计算项目之一OpenStack的主要发起者和实际领导者。而OpenStack的核心开发人员有些就在旧金山办公室。到访当天他们显得很忙,未及深谈,后来得知,不久后第五个OpenStack版本Essex发布了。
从技术上说,OpenStack其实与其他开源云技术项目相比并不具备绝对优势。但由于拥抱开源早,路线图明确,很快获得了急需IaaS和私有云平台技术的众多厂商的支持。很大程度上,OpenStack已经成为抗衡Amazon霸主地位的阵营中坚。当然,社区运营和生态系统建设方面,OpenStack也有很多成功经验可供国内企业借鉴。现在参与开发的公司除了Rackspace、Nebula之外,还有Red Hat、Nicira、HP、Canonical、DreamHost、新浪、维基百科、思科甚至Citrix。
在美国的交流中,我们发现除了大家言必称OpenStack之外,VMware主导的开源PaaS项目Cloud Foundry的关注度也较高。有趣的是,两者都将自己的目标定为成为云时代的Linux。相比之下,Citrix最近捐献给Apache的CloudStack(主要创始人是当年Sun JVM的作者Sheng Liang)和老牌的Eucalyptus的人气就差了很多,但它们都与AWS兼容,可以列入Amazon阵营。这三大生态系统之间如何竞合,将是云计算的大看点之一。
云计算推动创业
比AWS等云平台本身发展更重要的是,它们已成为美国云计算和创业生态系统的基石。由于云平台的存在,加上移动互联网的重大机遇,大量创业公司得以迅速兴起,硅谷、纽约、波士顿等各地,到处一派繁荣景象。比如在旧金山,我们到访的一座不起眼的四层小楼里,《Wired》杂志、Wikia和Engine Yard都在其中。AWS的客户名单(数以十万计)中包括许多美国当前热门公司(其他多是广告平台):Pinterest、Dropbox、Instagram、Reddit、Zynga……
图7 AWS上每天访问量最大的客户(出自DeepField的演示稿)
这些新兴企业的网络服务就架设在AWS平台上,从而免除了“为了让灯亮起来就要在IT上花费80%的时间和成本”(Gartner语),可以专注于开发应用、满足用户需求。比如,最近刚以10亿美元(因为大部分是股票,实际价值可能更高)被Facebook收购的Instgram,其技术方案大量采用AWS(主机选择Amazon EC2,图片数据库采用Amazon S3,CDN选用Amazon CloudFront等)。所以虽然Instgram只有13名员工(工程团队仅3人),却构建了最强大的移动端图片分享平台,甚至让Facebook感到了威胁。
除了面向消费者的互联网和移动应用之外,云计算也为技术提供商创造了机遇。本次访问中我们在CloudCenter巧遇Puppet创始人Luke Kanies,并进行了简短的交流。他是一位资深的系统管理员,后转开发,2003年用没学多久的Ruby写出Puppet,是DevOps的最初推动力之一。后以此辞职创业,因为采用开源模式,最初三年公司基本没有收入,是苦苦撑下来的。今天,Puppet已经用于Google、Twitter、Zynga等数千企业,2011年底累计融资2500万美元。Puppet的劲敌,是Amazon的灾难处理大师Jesse Robbins开发的Chef,但他本人现在只担任Opscode的首席社区官。而Rackspace旧金山办公室的负责人Alex Polvi也是系统管理员出身的成功创业代表,他的云管理和监控服务CloudKick去年被Rackspace收购。
图8 AWS其实已经不只是IaaS
值得注意的是,Amazon现在已经并不限于Infrastructure这一层。从图8中还可以很清楚地看到,它也在同时向Platform层发展,加入很多管理和监控服务。这毫不奇怪,IaaS公认利润不高(虽然比Amazon的老本行还是要高一些),PaaS和SaaS才是肥沃之地。而且从用户的角度来看,一站式的服务永远是有吸引力的。
但基于AWS的各种第三方PaaS服务仍然在繁荣发展,我们这次访问的Engine Yard和Heroku都是其中的优秀代表。
Engine Yard是历史最久规、模最大的PaaS平台,有Amazon投资。目前付费用户超过2400个,包括Apple iTunes在欧洲的平台也依靠它们支撑。目前90%的应用为Ruby,其次也支持PHP和Node.js。
而Heroku则是一家以用户体验和技术精湛而著称的PaaS公司,最初主要支持Ruby(Ruby创始人Matz是其首席架构师),现在也覆盖了Python、Java、Scala和Node.js。2010年以2.12亿美元卖给Salesforce,是云计算平台领域最大的并购之一。但有意思的是,收购已经过去一年多,Heroku仍然独立经营,只是从最初的地址搬到了旁边一座更大的楼里,完全保持创业公司的样子,而且平台也丝毫没有要从AWS迁移到自家Salesforce基础设施的打算。同样有趣的是,Facebook不是自建平台,而是在2011年9月与Heroku合作,让后者为Facebook上的社会化应用开发者提供PaaS服务。为了这次合作,Heroku特别增加了PHP支持。而合作也为Heroku带来丰厚回报:用户激增,平台上的应用数超过140万。
有竞争,但合作共赢是主流,大家把更多精力放在产品和创新,为用户提供更好体验上。这种和谐共生的现象,尤其令我们这些见惯了乱景的中国人印象深刻。
今天,一个普通的技术人员可以短时间内借助云计算平台,拥有和巨人对手们相同的计算资源,实现梦想,这才是云计算的真正价值所在。我们需要共同为之努力。