Google BigQuery使用SQL在云端处理大数据

 

如今,大数据的话题正围绕着企业内部部署的系统之中,Google正在建设在云中分析大数据的服务。Google的这项服务被称为BigQuery,Google 产品经理Ju-Kay Kwek在近日在纽约举行的GigaOM会议上表示BigQuery将有助于企业在没有硬件基础设施的情况下分析他们的数据。同时可以建立应用程序和数据共享的所有服务。

BigQuery是Google推出的一项Web服务,该服务让开发者可以使用Google的架构来运行SQL语句对超级大的数据库进行操作。 BigQuery允许用户上传他们的超大量数据并通过其直接进行交互式分析,从而不必投资建立自己的数据中心。Google曾表示BigQuery引擎可 以快速扫描高达70TB未经压缩处理的数据,并且可马上得到分析结果。

但Google目前只为少数客户提供服务,对于何时完全开放服务现在还不确定。参与测试的客户通过各种方式测试BigQuery服务,客户将它们的他们的数据流上传到服务器,然后通过Google的算法和查询语言来分析数据。

 

大数据在云端模型具备很多优势,BigQuery服务无需组织提供或建立数据仓库。而BigQuery在安全性和数据备份服务也相当完善。

Google高管看到了云时代BigQuery模式的机遇,Google内部已经制定相关的工具并在使用。Kwek表示在数据爆炸的时代,(Google 搜索引擎)索引网页就是大数据的问题。同时Google的Gmail也面临同样的问题。而Google成功的关键就在于可保持所产生的所有数据的细粒度。 在线广告商就通过收集范围内相关的数据。例如用户在行为,然后收集这些数据以便更精准的投放广告。

Google产品经理Ju-Kay Kwek还表示,新的BigQuery服务提供了全新的REST API,开发人员可以将此项服务编译进他们的代码中,并且可以有效地实现多任务管理及权限控制。查询的数据表还可以导出到Google的云存储服务中。此外,BigQuery还带来了一个新的Web界面,提供更加清洁的查询结果显示。