探讨:利用数据分级提高存储的准确率

  众所周知,当数据量达到一定的级别之后,通过提高设备性能或者增加设备,效果往往不会很明显。这就好像鱼塘大了、鱼多了,要捞一条鱼容易。但是要抓一条特定的、有标记的鱼,就困难多了。但是如果我们将一个大的鱼塘分成一个个小鱼塘,然后在不同的鱼塘中放养不同的鱼。即将鲤鱼、鲫鱼、草鱼等等放养在各自的鱼塘中。此时想抓什么鱼就在什么鱼塘抓就行了。

  数据分级存储其实跟这个鱼塘放养的道理类似。一方面存储设备的性能有优劣之分,如磁带的性能就比不上硬盘的性能。另一方面,用户数据使用的频率也是不同的。如订单等信息可能需要经常用到,而视频监控信息可能一年都不会访问一次。在这种情况下,如果能够将用户经常需要用到的数据放到硬盘上,而将使用频率低的数据放到性能欠佳的磁带设备上。那么就可以提高数据查询的命中率,从而提高数据查询与处理的效率。

  一、 利用离线存储来提高设备的使用寿命。

  如上图所示,存储在磁带设备上的数据一般可能很少用到。如企业需要对数据库等应用软件的数据进行备份。此时可以将数据备份到磁带设备上。根据惯例,一般一天24个小时这个磁带设备可能就只需要半个小时。在这种情况下,如果磁带设备仍然一天24个小时运行着,那么是相当浪费的。不仅会浪费电源,而且还会影响磁带设备的使用寿命。

  而如果在分级存储中采用离线存储的话,那么就可以解决这个问题。离线存储简单的说,就是平时磁带设备是处于休眠状态。当需要用到的时候,可以将磁带设备唤醒。然后往磁带设备上读取或者写入数据。等到操作完成之后,磁带系统就会自动再转为休闲状态。设计的好的话,可以将磁带设备的运行时间控制在最短时间之内,如一个小时之内。从而可以提高设备的使用寿命。

  通常情况下,离线存储主要是用在对在线存储的数据进行备份,以防范可能发生的数据灾难。为此在分级存储中,也将离线存储叫做备份级别的存储。这里需要注意的是,离线存储介质上的数据在读写时是按顺序进行的。当需要数据读取时,需要将带子卷到头,然后再进行定位。当需要对已写入的数据进行修改时,所有的数据都需要全部进行改写。所以离线海量存储的效率是比较低的。但是其最大的优点就是可以以比较低的成本实现海量存储。

  为此离线存储并不适合所有的情况。通常情况下,离线存储主要用来存储那些不经常使用的数据,如数据备份等等。而且一般在分级存储中结合使用离线存储,用来提高设备的使用效率。

  二、 考虑如何有效的对数据进行分级?

  为什么有时候采用数据分级存储策略能够提高比较好的效果,而有时候效果又不明显呢?笔者认为,这其中有一个很重要的原因是数据分级策略的指标不合适。也就是说,将什么鱼放养在哪个鱼塘中,是由存储系统根据一定规则来决定的。如果这个规则设置不当,如只根据鱼的大小来决定,那么同一个鱼塘中就可能会有各种各样的鱼。此时就不利于数据的查询与管理。可见,这个分级的规则相当的关键。

  笔者建议,在使用数据分级存储产品的时候,最好能够选择那些基于多指标的数据分级策略。也就是说,根据基于数据的生命周期、上次访问的时间、大小、访问频率等等多个参数对数据的价值进行分级。具体的来说,在数据分级时需要考虑到如下内容。

  一是最好在数据创建的时候就能够确定数据的级别。因为如果数据一创建就能够预测其访问特性而进行适当的分级,就能够减少不必要的数据转移而带来的麻烦。这也就是说,在日常管理中我们可以对于一些数据进行手工的分级,而不需要让系统来进行分级。如根据以前的经验,可以预测用户对于近1个月的邮件数据需要经常访问。那么就可以指定,对于最近一个月的数据指定为级别高的数据。而其他时间的邮件数据则根据一定的规则让系统自动进行判断。手工指定与系统自动判断结合,往往可以起到不错的效果。

  二是根据数据的静态特征和动态特征来进行分级也能够起到不错的效果。如可以通过以下方式来判断文件是静态的还是动态的。一是根据文件系统的静态特征(如文件大小的分布),二是根据文件系统的宏观访问规律(如大小文件的访问次数分布),三是根据根据文件之间的访问关联特征(如同一作业中的一个文件被访问,则可能会带动其他文件也被访问),四是文件个性的访问模式(如是否具有访问的局限性)。在实际工作中,可以根据这些特征对文件进行手工的归类。也可以在选购的时候,判断系统中是否有对应的分级策略。