案例主要关注三个问题：数据从哪里来？数据如何存储？数据如何计算？
1. Last.fm
1.1 背景
创建于2002年，提供网络电台和网络音乐服务的社交网络。每个月有2500万人使用Last.fm，产生大量数据。现在有了中文版http://cn.last.fm/，界面很不错！
2006年初，Last.fm开始使用Hadoop，几个月后投入实际应用。Hadoop是Last.fm基础平台的关键组件，有2个Hadoop集群，50台计算机，300个内核，100TB的硬盘空间。在集群上，运行数百种各种日常作业，包括日志文件分析，A/B测试评测，即时处理和图表生成。
1.2 图表生成
图表生成是Hadoop在Last.fm的第一个应用。
1.3 数据从哪里来
Last.fm有两种收听信息：用户播放自己的音乐，如pc或者其他设备mp3，这种信息通过Last.fm的客户端或者第三方应用发送到Last.fm，这一类叫scrobble收藏数据；用户收听Last.fm网络电台的节目，以及听节目时候的喜爱，跳过，禁止等操作信息，这一类叫radio listen电台收听数据。
1.4 数据存储
收听数据被发送到Last.fm，经历验证和转换，形成一系列有空格分隔的文本文件，包含用户id-userid，音乐id-trackid，这首音乐被收藏的次数scrobble，这首音乐在电台中收听的次数radio，被跳过的次数skip。真实数据达到GB级别，有更多属性字段。
1.5 数据处理
1.5.1 Unique Listeners作业：统计收听某一首歌的不同用户数，也就说说，有多少个用户听过某个歌，如果用户重复收听，只算一次。
1.5.2 Sum作业：每首歌的收听总数，收藏总数，电台收听总数，被跳过的总数。
1.5.3 合作作业：每首歌的被多少不同用户收听总数，收听总数，收藏总数，电台收听总数，被跳过的总数。
1.5.4 这些数据会被作为周排行榜等在Last.fm主站上显示出来。
2. Facebook
2.1 背景
Facebook社交网络。
开始时，试用一个小Hadoop集群，很成功。同时开始开发Hive，Hive让工程师能用SQL语言处理Hadoop集群的数据，毕竟很多人更熟悉SQL。后来，Facbook运行了世界第二大Hadoop集群，数据超多2PB，每天加入10TB数据，2400个内核，9TB内存，大部分时间硬件满负荷运行。
2.2 使用情况
2.2.1 在大规模数据是以天和小时为单位产生概要信息。如用户数，网页浏览次数，网站访问时间增常情况，广告活动效果数据，计算用户喜欢人和应用程序。
2.2.2 分析历史数据，以设计和改进产品，以及管理。
2.2.3 文件存档和日志查询。
2.3 广告分析
2.3.1 cpc-cost perclick点击数计费，cpm-cost per mille每千人成本。
2.3.2 个性化广告定制：根据个体用户进行不同的内容剪辑。Yahoo!的SmartAds，Facebook的Social Ads，Engagement Ad广告意见/嵌入视频交互。Facebook每天处理1TB数量级广告数据。
2.3.3 用Hive分析A/B测试的结果。
2.3.4 Hadoop和Hive分析人气网站，生物信息公司，原油勘探公司，在线广告。
3.Nutch搜索引擎
3.1 Nutch框架用户建立可扩展的crawler网络爬虫和搜索引擎。
3.2 架构
3.2.1 crawlDb网页数据库：跟踪网络crawler抓取的网页和它们的状态。
3.2.2 fetchlist爬取网页清单：crawler定期刷新web视图信息，下载新的网页。
3.2.3 page content原始网页数据：从远程网站下载，以原始的未世界的格式在本地存储成字节数组。
3.2.4 解析的网页数据：Nutch为html, pdf, open office, ms office, rss提供了解析器。
3.2.5 linkdb链接图数据库：page rank来的。
3.2.6 lucene全文检索索引：倒排索引，基于搜集到的所有网页元数据和抽取到的纯文本内容建立。
更多详细信息，请您微信关注“计算网”公众号：
