3.3 使用情况
Nutch使用Hadoop作业处理数据。
36大数据知识图谱：
关于Nutch：Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。
4 Rackspace
4.1 背景
Rackspace hosting为企业提供管理系统。在数百台服务器上为100万用户和几千家公司提供邮件服务。
4.2 使用情况
日志分析。发送邮件需要使用多个postfix邮件代理服务器，大部分消息穿越多个Postfix服务器，但每个服务器只知道邮件的目的地，为了给消息建立完整的历史信息，需要用Hadoop处理日志记录。
4.3 使用方式
在数据中心, syslog-ng从source机器传统日志数据到一组负载均衡的collector收集器机器。在收集器上，日志数据被汇集成一个单独的数据流，用gzip格式进行轻量级压缩。
当压缩的日志流到达本地收集器，数据会被写入Hadoop，这一步用简单的python脚本写入即可。
Hadoop集群有15个数据节点，每个节点使用普通cpu和3个500G硬盘。
4.4 计算
每个电子邮件有一个唯一标示符号queue-id。每个电子邮件有一个唯一的message-id，但恶意客户端会重复发送消息，所以message-id会被伪造。
在Postfix日志，需要用queue-id查找message-id。
第一步，以queue-id为健，进行map，把日志log的每个分配给对应的queue-id，然后，执行reduce过程，根据日志消息数值判断queue-id的发送过程是否完整。
第二步，根据message-id对第一步的结果进行分组，以queue-di和message-id同时为键，以它们对应的日志行作为值，在reuce阶段，判断针对某个message-id的所有queue-id是否合理，验证消息是否离开系统。
36大数据知识图谱：
关于Rackspace：
Rackspace （NYSE：RAX）全球三大云计算中心之一，1998年成立，是一家全球领先的托管服务器及云计算提供商，公司总部位于美国，在英国，澳大利亚，瑞士，荷兰及香港设有分部。在全球拥有10个以上数据中心，管理超过10万台服务器。Rackspace的托管服务产品包括专用服务器，电子邮件，SharePoint，云服务器，云存储，云网站等。在服务架构上提供专用托管，公有云，私有云及混合云。
2010年，Rackspace与美国航空航天局（NASA）合作创始了开源云平台OpenStack。2012年Rackspace宣布在自己的云平台使用建立于OpenStack的技术，并开源自己的云平台软件Rackspace Cloud。
5. Cascading
5.1 背景
Cascading是一个开源的Java库，为MapReduce提供抽象层。用Java写Hadoop的MapReduce是有难度的：cascading用简单字段名和数据元组模型代替MapReduce的key-value；cascading引入了比Map和Reduce更抽象的层次，如Function, Fileter, Aggregator和Buffer。
5.2 使用情况
Cascading以字段名和元组的方式，把多个MapReduce的处理简化成一个管道链接起来的形式处理数据。从例子来看非常简洁，需要的代码很少。
6. 用Pig和Wukong探索十亿数据级别的网络图
6.1 图=节点+连接节点的边。
6.2 Infochimps项目，一个发现，共享，出售数据集的全球性网站。用简单的脚本语言-不超过一页，就可以处理TB级别的图数据。
6.3 在Infochimps，有twitter，faceboobk的数据集；有wiki百科数据集；线虫项目神经愿和突触的联系；高速公路地图等等。
6.4 在网络图分析上可以做出很多很好玩的有趣东东。
以上内容来自《Hadoop权威指南》的案例。
更多详细信息，请您微信关注“计算网”公众号：
