由于数据传输速率可能相当慢，理想的情况是相比执行计算的数目，每个GPU输入/输出数据的量比较小。切记：第一，任务类型要和GPU的能力相匹配，第二任务可以被Hadoop分割为并行独立的子流程。 复杂的数学公式计算（例如矩阵乘法），大量随机值的生成，类似的科学建模任务或其它通用的GPU应用程序都属于这种任务。
可用的技术
- JCUDA：JCUDA项目为Nvidia CUDA提供了Java绑定和相关的库，如JCublas、JCusparse（一个矩阵的工作库）、JCufft（通用信号处理的Java绑定）、JCurand（GPU产生随机数的库）等等。但 它只适用于Nvidia GPU。
- Java Aparapi。Aparapi在运行时将Java字节码转换为OpenCL，并在GPU上执行。所有的Hadoop+GPU计算系统中，Aparapi和OpenCL的前景最被看好。Aparapi由AMDJava实验室开发，2011年开放源代码，在AMD Fusion开发者峰会的官网上可以看到Aparapi的一些实际应用。OpenCL是一个开源的、跨平台的标准，大量硬件厂商都支持这个标准，并且可以为CPU和GPU编写相同的代码基础。如果一台机器上没有GPU，OpenCL会支持CPU。
- 创建访问GPU的本地代码。访问GPU本地代码进行复杂的数学计算，要比使用绑定和连接器性能高很多，但是，如果你需要在尽可能短的时间内提供一个解决方案，就要用类似Aparapi的框架。然后，如果你对它的性能不满意，可以将部分或整个代码改写为本地代码。可以使用C语言的API（使用Nvidia CUDA或OpenCL）创建本地代码，允许Hadoop通过JNA（如果是Java应用程序）或Hadoop Streaming（如果是C语言应用程序）使用GPU。
GPU-Hadoop框架
也可以尝试定制的GPU-Hadoop框架，这个框架启动于Mars之后，包括Grex、Panda、C-MR、GPMR、Shredder、SteamMR等。但是GPU-Hadoop多用于特定的科研项目，并且不再提供支持了，你甚至很难将Monte Carlo模拟框架应用于一个以其它算法为基础的生物信息项目。
处理器技术也在不断发展。在Sony PlayStation 4中出现了革命性的新框架、Adapteva的多核微处理器、ARM的Mali GPU等等。Adapteva和Mali GPU都将兼容OpenCL。
Intel还推出了使用OpenCL的Xeon Phi协同处理器，这是一个60核的协同处理器，架构类似于X86，支持PCI-E标准。双倍精度计算时性能可达1TFLOPS，能耗仅为300Watt。目前最快的超级计算机天河-2就使用了该协同处理器。
很难说以上哪种框架会在高性能和分布式计算领域成为主流。随着它们的不断改善，我们对于大数据处理的理解可能也会改变。
原文链接： Hadoop + GPU: Boost performance of your big data project by 50x-200x?
更多详细信息，请您微信关注“计算网”公众号：
