当前，用户通过互联网搜索引擎的期望在不断的变化，整个搜索引擎的期望从之前的几周变成现在的几分钟，之前几周之内可以处理几百亿的数据，现在要在几分钟之内处理几万亿的数据，这是个鲜明的矛盾。其实解决方案就是构建一个大数据处理平台，也称之为“基础架构系统”。这个基础架构系统目标首先是海量的目标数据。其次就是在于集群利用率的保证，这个利用率可能是 CPU 利用率，它会为你节省成本。
这里可以简单介绍一下百度内从事开发的平台——baidu stack(如上图)。这个平台分三层，最的底层是网络通讯，是一个高性能的 RPC 框架，它会把所有的网络问题屏蔽掉，让上层的系统在开发中不需要考虑网络拓扑。中间一层是基础服务，包括分布式文件系统，它解决了数据处理。第二就是集群管理系统，它管理的数据可以让程序部署变得代价很小。第三是分布式的协调服务，一方面用做服务发现，另外就是分布式。最上层是核心数据库和数据处理系统。在理解上可以将这套系统和 Hadoop 相关的系统类比。从中间这层说起，Hadoop 有 HDPS，Hadoop 在分布式服务这块使用 Cukaber，比如也有 Storm、Spark 这些。整个基础架构系统的设计思想有两个，第一是分层。无论是 Hadoop 系还是谷歌，他们都使用类似的思想，这个思想主要是分工和借用，让不同分工解决不同问题。另外一个思想就是高效，解决用户对处理速度的期望。百度主要使用 SSD、万兆网卡，这套分布式基础架构完全是用 C++实现的。首先是核心的数据库 Tera，这里列了 Tera 数据库的核心功能，包括全局有序、自动分裂、合并、支持快照。
Tera 的架构可以看(如上简图)，从图上我们可以看到它有核心就是绿色两部分，是 Master 和 TableServer，提供整个数据节点都是 TableServer，所有的访问经过 Master，让它扩展到几千台服务器中。灰色的底层数据都是在分布式文件系统上，自身没有任何数据，被设计成无状态，当一个 TableServer 宕机后，会从另外一个机器拉取数据，不会有任何损失。同样底层的分布式文件系统可以提供很大的帮助，它是通过 Nexus 做的。
这里简单介绍一下 Tera 的核心技术。⽔水平扩展方面能做到无单点;在线分裂、合并;⾃自动负载均衡;通过 LSM-Tree 做到实时同步，并且 Tera 还具有多语言支持的特点。Tera 在百度内部有非常广泛的应用，例如百度的网页库, 百度将万亿量级的网页存储在 Tera 中。
这里再介绍一下如上图的百度文件处理系统(BFS)，不仅在百度，BFS 在外部的使用价值也是很高的。那么 BFS 具有哪些特点呢?首先是持续可⽤：分布式 Master，多机房数据冗余。其次就是实时高吞吐：慢节点处理，元数据管理。