2012年11月30日-12月1日,中国IT界技术盛会——Hadoop与大数据技术大会(Hadoop&BigData Technology Conference 2012,简称“HBTC 2012”)在北京新云南皇冠假日酒店隆重开幕。
在移动互联、云计算的大趋势下,整个信息服务产业面临巨大挑战,通过开放技术、构建和加入生态系统,打造核心技术竞争力已经成为产业发展的新焦点。IT技术尤其是网络技术的高速发展使得大数据已经成为企业发展中亟待解决的首要问题。为了有效应对大数据带来的挑战,同时充分利用大数据带来的机遇,国内外的产业界与科技界、甚至各国政府部门都在积极布局、制定战略规划。今年3月,美国政府整合6个部门宣布了2亿美元的“大数据研究与发展计划”,把对大数据的研究上升为国家意志。欧盟也有类似的举措。
在这样的背景下,由中国计算机学会(CCF)主办,中国计算机学会大数据专家委员会承办,普泽天玑、渠达传媒和CSDN协办的HBTC 2012在京隆重举行。大会以“大数据共享与开放技术”为主题,设定了“Hadoop生态系统”、“大数据行业应用”、“大数据共享平台与应用”、“NoSQL与NewSQL”以及“大数据的技术挑战与发展趋势”五个分论坛。HBTC 2012聚焦Hadoop和大数据,并特别邀请了国际著名大数据公司Hortonworks的首席技术官Eric Baldeschwieler,MemSQL 的创始人与首席技术官Nikita Shamgunov,美国俄亥俄州立大学计算机系主任、IEEE Fellow张晓东教授,哈尔滨工业大学的李建中教授,中科院计算所程学旗研究员,国际著名的IT研究与顾问咨询公司Gartner张瑾,以及中国移动通信、IBM、英特尔、Teradata、VMware、Yahoo!、ebay、华为、Informatica、天云、阿里巴巴、百度、腾讯、奇虎360、网易、普泽天玑、精诚资讯等国内外著名互联网公司和IT企业的资深技术与研究人员到场演讲并进行深入交流。
大会背景
本次大会的前身是Hadoop中国云计算大会与CSDN大数据技术大会。Hadoop高可靠、高容错、高扩展、高效率的特性使其在同类的分布式系统中异军突起,并在众多行业和科研领域中被广泛采用。为了更好地发扬Hadoop的开源精神,扩大Hadoop技术在中国的影响,促进Hadoop技术爱好者之间的交流,中科院计算所于2008年发起并组织了第一届Hadoop技术沙龙,并于2009年创建了Hadoop开源社区(hadooper.cn),同年11月,Hadoop in China 2009大会在京成功召开。此后,随着Hadoop技术越来越受到各界的青睐,Hadoop中国云计算大会也从沙龙发展成一个知名的技术会议,2011年第五届“Hadoop中国2011云计算大会”更是达到千人技术大会的盛景。
2012年,面对大数据所带来的巨大挑战与机遇,中国计算机学会于10月正式成立了大数据专家委员会,意在探讨大数据的核心科学与技术问题,推动大数据学科方向的建设与发展,同时构建面向大数据产学研用的学术交流、技术合作与数据共享平台。为了迎接大数据时代的到来,Hadoop中国云计算大会与CSDN大数据技术大会合并,名称正式调整为“Hadoop与大数据技术大会”。
主题丰富 激扬技术与趋势
作为已成功举办了多届的技术会议,HBTC 2012汇聚了业内精华,讲师阵容强大,主题丰富多彩,讲题精准有序,更加突出实践与经验分享。
第一天为主会场演讲,汇聚十余位重磅讲师,激扬技术与趋势。其中,Hortonworks的首席技术官Eric Baldeschwieler曾是Inktomi公司Web服务引擎的技术领导者,雅虎Web搜索总设计师,雅虎Apache Hadoop项目的负责人,曾将20个节点的原型系统发展为42000个节点。他将重点分享“Hadoop的现在与未来”。MemSQL CTO&联合创始人 Nikita Shamgunov拥有计算机科学本科、硕士和博士学位,是世界ACM编程竞赛的冠军。在创建MemSQL之前, Nikita曾在微软公司拥有6年的SQL Server高级数据库工程师的工作经验,是多项专利的所有者。他将针对MemSQL在大数据中的作用、适用范围和案例做纯技术层面的经验分享。
CCF大数据专家委员会副主任李建中教授和CCF大数据专家委员会秘书长程学旗研究员将分别就“大数据计算”和“大数据的热点问题与发展趋势”做主题演讲,深入揭示大数据计算的基本概念、重点研究问题和解决方案,以及大数据研究与应用中的热点问题与产业趋势。作为长期专注研究高性能计算以及分布式系统,包括数据管理以及系统扩展方面的专家,俄亥俄州立大学计算机科学与工程系主任、IEEE Fellow张晓东教授将在演讲中阐述并行处理在大数据分析中所面对的挑战。中国移动通信研究院云计算研究所所长孙少陵将就中国移动“大云”应用Hadoop技术应用和实践经验做深入分享。除此以外,还有来自Teradata、IBM、华为、VMware、英特尔、Yahoo!的技术团队负责人的纯技术性的分享与实践。
技术论坛 聚焦应用和实践
第二天分为五个分论坛:“Hadoop生态系统”、“大数据行业应用”、“大数据共享平台与应用”、“NOSQL与NewSQL”以及“大数据的技术挑战与发展趋势”,国内外数十位Hadoop及大数据技术应用的产学界人士和实践企业代表将探讨大数据技术生态系统的现状和发展趋势,并围绕Hadoop与大数据热点技术和应用实践进行深入解析和经验分享。
“Hadoop生态系统”汇聚业内腾讯、华为、普泽天玑、Facebook、阿里巴巴、VMware、Hortonworks、中国移动研究院等一线专家,重在研讨技术问题与解决方案,分享优化方法与实践经验。其中,Facebook分布式系统专家,曾任职于微软软件开发部门,现是Facebook软件工程师Siying Dong将就“ Facebook开发HDFS和HBase的新进展”做经验分享。腾讯赵伟侧重分享“HIVE在腾讯分布式数据仓库”的实践,淘宝王琤详细介绍了“Hadoop Namenode性能诊断及优化”的方法,Hortonworks核心技术人员戴建勇的“Apache Pig的性能优化”以及阿里巴巴高级研发工程师梁李印的“阿里Hadoop集群架构及服务体系”从不同层面深入探讨互联网行业的Hadoop应用实践。中国移动研究院的“HBase Coprocessor优化与实验”,IBM的“BigInsights高级分析技术”与华为的“HDFS Name Node High Availability”则更多地展示应用优化和技术趋势。
“大数据行业应用”意在探讨Hadoop发展前景,分享实战成果。其中,IDG资本副总裁牛奎光将就“大数据商业模式”进行探讨;阿里代志远分享“海量数据分布式数据库的探索:Wasp”的技术细节;中国移动研究院云计算研究员邓超关注“The Advance and Applications of Big Cloud based Parallel Data Mining Platform in CMRI”;Carbonite China技术总监兼高级架构师卢亿雷将分享“Hadoop在网盘和在线备份的应用与挑战”,网易高级经理蔡迎东的“大型内容推荐系统实践”与奇虎360系统部工程师赵健博的“Hbase系统在搜索网页库的应用”,普泽天玑刘佳的“HBase用例分析”,VMware堵俊平的“Hadoop Virtualization Extensions”,IBM中国研发中心首席架构师陈奇的“大数据时间之旅”会从分别从不同层面进行各自的实战分享。
“大数据共享平台与应用”关注的是平台技术与大数据应用。其中,中国移动研究院齐骥重点分享“大云数据仓库在移动互联网领域”的最新实践,精诚资讯陈昭宇,京东商城架构师李松林,英特尔中国研究主任研究员杨栋,阿里巴巴集团数据交换平台资深专家强琦,Informatica核心技术部资深产品管理总监郑玮以及网易顾费勇,百度基础架构部数据平台技术经理刘立萍会为开发者描述行业中不同的应用场景,揭示行业中的技术应用现状。
“NoSQL和NewSQL”主题论坛围绕数据库技术进行专业研讨。作为Apache HBase的PMC 32名成员之一,拥有14年软件开发经验及两年以上HBase开发经验的Ted Yu会就“Hbase For Enterprise”做深入分享。而甲骨文亚太研发中心研发经理黄超,阿里王玉法和华为高级技术经理Anoop Sam John会就不同技术做深度剖析,分享技术开发者最为关注的数据库应用经验。
“大数据的技术挑战与发展趋势”邀请了清华大学教授朱文武,华东师范大学教授周傲英,南京大学教授黄宜华,启明星辰公司副总裁、首席战略官潘柱廷,北京天云融创科技有限公司副总裁雷涛,百分点创始人柏林森,北京西普在线软件有限公司总经理齐红威和SAS软件研究开发(北京)有限公司总经理刘政,他们会从大数据的安全、共享、高性能分析以及大数据的民主化与社交媒体计算等诸多不同侧面来阐述大数据所面临的技术挑战,展望大数据的技术发展趋势。
开源与分享
秉承开源与分享的精神,HBTC 2012还将同步公开讲师演讲PPT,所有技术爱好者都可以与1000余名开发者一起第一时间获得核心技术资料,分享到来自一线专家的实践经验,展望Hadoop和大数据璀璨的发展未来。
我们期望本次大会能够成为Hadoop技术与大数据应用深度结合的新起点,成为产业界、科技界与政府部门密切合作的新平台,最终为推动我国大数据的产学研用作出重大贡献。