Tungsten项目和性能优化
根据2015年Spark调查报告，91%用户认为性能是Spark最重要的特征，因此，性能优化始终是Spark开发中的一个重要内容。
在今年年初，我们启动了Tungsten项目——被设计用于提高Spark内核架构的性能和健壮性的重要改进。Spark 1.5中已经提供了Tungsten的初步功能，这其中包括二进制处理(binary processing)，它避免使用Java对象模型那种传统二进制内存布局格式。二进制处理极大地降低了数据密集型任务处理时的垃圾回收压力，除此之外，Tungsten还包括新的代码生成框架，在运行时对用户代码中的表达式计算生成相应经过优化的字节码。2015年发布的四个Spark版本，我们也添加了大量能够经过代码生成的内置函数，例如日期和字符串处理等常见任务。
另外，数据处理性能在查询执行时也非常重要，Parquet已经成为Spark中最常用的数据格式，其扫描性能对许多大型应用程序的影响巨大，在Spark 1.6当中，我们引入了一种新的Parquet读取器，该读取器针对平滑模式(flat schemas)使用一种经过优化的代码路径，在我们的基准测试当中，该新的读取器扫描吞吐率增加了近50%。
Spark流处理
随着物联网的崛起，越来越多的机构正在部署各自的流处理应用程序，将这些流处理程序同传统的流水线结合起来至关重要，Spark通过利用统一引擎进行批处理和流数据处理简化了部署难度。2015年Spark 流处理中增加的主要内容包括：
直接Kafka连接器：Spark 1.3 改进了与Kafka间的集成，从而使得流处理程序能够提供只执行一次数据处理的语义并简化操作。额外的工作提供了容错性和保证零数据丢失。
Web UI进行监控并帮助更好地调试应用程序：为帮助监控和调试能够7*24小时不间断运行的流处理程序，Spark 1.4 引入了能够显示处理时间线和直方图的新Web UI，同时也能够详细描述各离散Streams
状态管理10倍提升。在Spark 1.6当中，我们重新设计了Spark流处理中的状态管理API，新引入mapWithState API，它能够线性地扩展更新的记录数而非记录总数。在大多数应用场景中能够达到一个数量级的性能提升。
结束语
Databricks目前在Spark用户培训和教育方面投入巨大，在2015年，我们与加州大学伯克利分校、加州大学洛杉矶分校合作并提供两个大规模在线开放课程。第一个课程是Apache Spark大数据处理入门，教授学生使用Spark和数据分析;第二个课程是可扩展的机器学习，教授学生使用Spark进行机器学习。这两门课程在edX平台上都是免费的，在我们发布此消息后，目前已经有超过125000个学生注册，我们计算在今年完成对他们的培训。
我们对今年与社区的共同努力所带来的进步感到自豪，也为能够继承努力给Spark带来更丰富的特性感到激动，想了解2016年的开发内容，请继续保持对我们博客的关注。