有一些存储虚拟化软件厂家,例如DataCore Software注意到了底层操作系统每一次只能处理一个单一的I/O请求。它的方式是通过增加软件来让操作系统能同一时间同步处理多个请求。
显而易见的是不充分提供 (underprovisioned)或者设计失败的存储系统会给大数据或者IoT系统带来效果的降低。
网络架构对于任何分布式或者集群计算工具来说都是至关重要的。它的容量、延迟和性能可以促进或阻碍这类技术。和处理器、内存和存储一样,网络架构也需要细心选择。
当大数据工具需要一些数据的时候,如果网络没有足够的容量、响应慢或者对于不同类型I/O请求有偏向,那么性能就会变得很差。同样的事情对处理IoT系统里面智能设备发出的小型、突发式的请求处理上却并非如此。因此要对两种类型的请求进行平衡是一种挑战。
对于其他的组件,需要对网络媒介特性进行调研,例如Gigabit以太网或Fibre Channel,在购买网络之前进行成本/效益分析。
我曾经看到过一个项目,其目标是捕获百万级别的小型移动设备信息,并且进行分析——这是一个早期的IoT项目。这个公司发现它的网络处理在负载的时候不够快,因为网络设计之初是为了管理大型数据传输而非百万个小型数据请求的。
原文来自 TechTarget