着手新的IoT(Internet of Things,即物联网)和大数据项目的公司会很严格检查其中涉及的所需处理能力、内存、存储和网络资源,以及最大化利用产能。
大数据和物联网项目给IT基础架构带来了前所未有的压力。
Internet of Things (IoT) 和大数据应用已经给网络和存储架构带来了压力,更不用说这还需要IT专家使用不同的技能和工具来管理这些新的部署了。
虽然执行起来很有挑战性,但是也有一些为IT团队而设的指导方针来帮助他们托管IoT和大数据。这得从审查基础架构中大规模、数据密集型的项目需求开始。
更多的处理能力
一旦项目进入到具体的实施阶段,IT组织连同它的硬件、软件和服务供应商很可能需要去定义合适的系统架构和操作系统,每个系统处理器的数量以及系统的数量——不管是物理的、虚拟的还是基于云的——这需要一些主动性。
大数据项目大部分是基于Windows或者Linux操作系统,架构在业界标准的x86平台服务器上的。但在一些情况下,也有一些基于大型机或者单一厂商系统架构和操作系统的实用的工具。大多数情况下,IT团队会将业界标准的服务器使用scale-out架构做成集群,以支持需要大量计算、内存、网络和存储的负载。
IoT项目也趋向于包含基于单一厂家的后端系统以及大型机。
要最大化可使用的处理能力,同时减少在硬件上的总体投资,需要很好地对系统、集群和其他组件进行配置。这需要很明白企业的目标以及深入了解所选的大数据工具和NoSQL数据库。同样的,对于选择与繁杂的不同智能手机、平板、汽车和从未如此扩张的其他智能设备进行通信的工具,也需要有一定的了解。
错误配置的服务器集群或者其他基础架构的重大错失(甚至选择了错误的工具)都可能成为项目操作的阻碍并且导致项目失败。
有一些后端数据分析和报告工具在一个大集群系统里面运行,有一些则通过其他小的集群来支持:一些小集群负责存储分析需要用的原始数据,有一些小集群负责提供将原始数据处理成有用信息的工具,另一些小集群可能被用来支持将有用的信息转换为适合的格式(表格、图形或者其他形式),提供给分析师或者数据科学家。
IoT项目还需要增加响应客户设备,提供需求的信息、指导或帮助的功能。企业需要熟悉这些工具的专家,以及对如何使用这些工具有很全面的了解。
为自己信任的顾问和供应商投入时间,学习对选择的这些工具和方法进行技术支持需要什么。
对于内存、存储和网络的关注
仅仅增加更多的系统、内存和存储并不总能提高IoT和大数据环境的综合性能。不同的方法和工具需要不一样的系统内存和处理能力。
每一种方法和所关联的工具都有自己的限制。建设IoT和/或大数据平台的IT规划师需要对每一种考虑在内的工具所需要的资源进行调研,同时需要知道在资源充足的情况下他们会使用哪一种工具。
如果企业安装了比所选工具所需更多的内存,那么这仅仅会增加能源消耗和热量。非但不会给整体性能带来任何帮助,反而会给数据中心能源和冷却系统带来不需要的压力。
IoT和大数据平台另一个参数是存储的性能和容量。就像处理能力和内存容量一样,存储设备的选择、存储的专用能力和存储的联网方式都能对大数据产品的优化性能有帮助。在IoT技术的例子里,响应速度的快慢将直接影响到客户是否喜欢这个企业(产品)。
就和内存和计算组件一样,存储的配置也必须满足所选工具和方法的需求。不要指望简单通过添加更多存储,选择更快的设备或者升级存储网络来得到效果。即使存储性能增加了,但是也可能被网络瓶颈带来的影响抵消。
有一些大数据工具使用额外的内存能力作为数据存储的一部分,创造了内存里的数据库。这种方法能加速分析和报告的处理。但这是一种需要权衡的方法,因为如果系统没有被可依赖的电力保护着,一旦失去电力则数据也会丢失。
不要被卷入任何一种存储或者存储网络的炒作中。分析师会指出寄存于内存的数据库或者闪存存储并不会对所有情况都适合。