摘要：R是数据科学家中最流行的编程语言和环境之一，在Spark中加入对R的支持是社区中较受关注的话题。作为增强Spark对数据科学家群体吸引力的最新举措，最近发布的Spark 1.4版本在现有的Scala/Java/Python API之外增加了R API（SparkR）。SparkR使得熟悉R的用户可以在Spark的分布式计算平台基础上结合R本身强大的统计分析功能和丰富的第三方扩展包，对大规模数据集进行分析和处理。本文将回顾SparkR项目的背景，对其当前的特性作总体的概览，阐述其架构和若干技术关键点，最后进行展望和总结。
项目背景
R是非常流行的数据统计分析和制图的语言及环境，有一项调查显示，R语言在数据科学家中使用的程度仅次于SQL。但目前R语言的核心运行环境是单线程的，能处理的数据量受限于单机的内存容量，大数据时代的海量数据处理对R构成了挑战。
为了解决R的可伸缩性问题，R社区已经有一些方案，比如parallel和snow包，可以在计算机集群上并行运行R代码。但它们的缺陷在于没有解决数据分布式存储，数据仍然需要在主节点集中表示，分片后再传输给工作节点，不适用于大数据处理的场景。另外，数据处理模型过于简单，即数据分片在工作节点处理后，结果收集回主节点，缺少一个象MapReduce那样通用的分布式数据编程模型。
Hadoop是流行的大数据处理平台，它的HDFS分布式文件系统和之上的MapReduce编程模型比较好地解决了大数据分布式存储和处理的问题。RHadoop项目的出现使得用户具备了在R中使用Hadoop处理大数据的能力。
Apache顶级开源项目Spark是Hadoop之后备受关注的新一代分布式计算平台。和Hadoop相比，Spark提供了分布式数据集的抽象，编程模型更灵活和高效，能够充分利用内存来提升性能。为了方便数据科学家使用Spark进行数据挖掘，社区持续往Spark中加入吸引数据科学家的各种特性，例如0.7.0版本中加入的python API （PySpark）；1.3版本中加入的DataFrame等。
R和Spark的强强结合应运而生。2013年9月SparkR作为一个独立项目启动于加州大学伯克利分校的大名鼎鼎的AMPLAB实验室，与Spark源出同门。2014年1月，SparkR项目在github上开源（https://github.com/amplab-extras/SparkR-pkg）。随后，来自工业界的Alteryx、Databricks、Intel等公司和来自学术界的普渡大学，以及其它开发者积极参与到开发中来，最终在2015年4月成功地合并进Spark代码库的主干分支，并在Spark 1.4版本中作为重要的新特性之一正式宣布。