谁领先人类识别技术--以深度,卷积和递归为基础?

  超参数种类对于识别表现影响的解释在图2(d)中可见。有趣的是,我们观察的是CNN中,参数的最一致影响。与我们期待相反的是,围绕学习过程(见表1)的参数对于表现的影响最大。我们希望对于这一模式而言,拥有多样选择结构变体影响会更大。对于DNNs,我们不会观察任意超参数种类的系统影响。在PAMAP2中,准确的学习参数会是最关键的。在OPP中,是模式结构最关键。十分有趣的是,我们观察到网络结构较浅的模式比深度网络表现更好。在这一网络结构表现中有下降趋势且带有超过3层的隐藏层。这可能与我们仅仅只依靠监督进行训练有关,因为生成训练能提深度网络的表现。

  在OPP中,基于框架的RNN(LSTM-F)的表现受本次研究中的结转概率影响。由于经常保持内在状态或是忘记内部状态,这都会导致表现结果较差。我们发现0.5的Pcarry在大多数情况下都表现良好。我们的发现值得进行对转结时间表进行更加深入的研究,这会提高LSTM的表现。

  基于样本实验的前向LSTMs(LSTM-S)的研究结果证明了之前的发现,因为对于这种模式其学习率是至关重要的参数。然而,对于双向LSTM(b-LSTM-S),我们发现每一层的单元数对表现影响重大,所以实验者应重点关注此类参数。

  6.讨论

  在本次研究中,我们探索了先进深度学习方法通过使用便携式传感器对人类活动识别的表现。我们介绍了如何在此设定中训练递归方法并引入新颖的规则化方法。在数千次实验中,我们用随机选择取样的参数对模式的表现进行评估。发现在Opportunity中双向LSTMs比目前先进的方法表现要好,基准数据库要更大,利润更可关。

  但是对于研究者而言有趣的,不是每一个模式的峰值性能,而是参数在适应不同HAR任务时的探索和理解过程。对于时间较短但是按照时间顺序发生的时间理解中,递归网络模式比卷积模式表现得更好。因为递归模式有较好的理解语境能力。对于双向RNNs,我们发现在所有的数据集中,每一层的单元数目对表现的影响都很大。对于持续时间长且是重复发生的动作,例如,走路,跑步;我们推荐使用CNNs模式。在此情景中平均表现能让研究者更容易发现一个合适的配置,尽管RNNs模式和CNNs 模式表现差不多,甚至是RNNs有时表现的更好。我们强烈建议在优化网络结构之前要开始探索学习率,因为在我们的试验中发现学习率对表现的影响最大。

 

  我们发现在不同的参数设置下,模式的识别表现都不一样。Regular DNNs模式对于研究者来说是最可行的方法,因为它需要进行大量的参数探索,并且在优良表现和中等表现之间的跨度较大。所以研究者不应舍弃在开始时识别表现较差的模式。更复杂的方法,例如,CNNs或是RNNs在表现上的差别较小,所以更可能发现表现较好的参数并且迭代次数也少。