展望
SparkR目前来说还不是非常成熟，一方面RDD API在对复杂的R数据类型的支持、稳定性和性能方面还有较大的提升空间，另一方面DataFrame API在功能完备性上还有一些缺失，比如对用R代码编写UDF的支持、序列化/反序列化对嵌套类型的支持，这些问题相信会在后续的开发中得到改善和解决。如何让DataFrame API对熟悉R原生Data Frame和流行的R package如dplyr的用户更友好是一个有意思的方向。此外，下一步的开发计划包含几个大的特性，比如普渡大学正在做的在SparkR中支持Spark Streaming，还有Databricks正在做的在SparkR中支持ML pipeline等。SparkR已经成为Spark的一部分，相信社区中会有越来越多的人关注并使用SparkR，也会有更多的开发者参与对SparkR的贡献，其功能和使用性将会越来越强。
总结
Spark将正式支持R API对熟悉R语言的数据科学家是一个福音，他们可以在R中无缝地使用RDD和Data Frame API，借助Spark内存计算、统一软件栈上支持多种计算模型的优势，高效地进行分布式数据计算和分析，解决大规模数据集带来的挑战。工欲善其事，必先利其器，SparkR必将成为数据科学家在大数据时代的又一门新利器。
（责编/仲浩）
作者：孙锐，英特尔大数据团队工程师，HIVE和Shark项目贡献者，SparkR主力贡献者之一。
本文为CSDN原创文章