深度、卷积、递归模型对人类行为进行识别(可穿戴设备数据)
摘要
普适计算领域中人类活动识别已经开始使用深度学习来取代以前的依靠手工提取分类的分析技术。但是由于这些深度技术都是基于不同的应用层面，从识别手势到区分跑步、爬楼梯等一系列活动，所以很难对这些问题提出一个普遍适用的方案。在本文中我们认真地探索了深度、卷积、递归方式对三种代表性的包含运用可穿戴感应器测得的运动数据组进行的实验。我们将展示怎样训练递归方法并介绍一种创新性的规范方式，讲述它们如何在大型基础数据集上实现现有技术下最好的表现。通过使用随机样本模型进行数千次实验，我们对每个人类活动识别中的不同任务中的模型适用性进行了探究，对使用fANOVA架构的超参数影响做了探索，为以后想将深度学习应用到他们的研究中的学者提供了参考。
1. 引言
过去几年里深度学习已经成为机器学习领域中最流行的研究方向。由于这个概念的流行导致它的分支已经快速扩张，且在学术界和商业界的推动下势必还会进一步推进。对于普通人来说，深度学习中像Torch7这一类机器学习框架已经随手可及，深度学习对一系列的运用层面也有相当大的影响。
另外一个因为深度学习受益的领域是在普适计算方面的人类活动识别(HAR)。在HAR领域中占主导地位的技术方法包括用身体佩带的传感器，手动设计特征提取程序，以及各种(监督)分类方法。在许多情况下这些相对简单的装置就足够了，能够得到令人印象深刻的识别精度。然而对于更复杂的行为，例如在医学应用中，这种手动调教方法还是存在显著挑战。有些工作还进一步进行，这也许可以解释一些明显的惯性在通过深度学习技术领域的主要技术途径。
深度学习在普适计算方面的人类识别活动上有机会造成很大影响。它可以替代缺乏有利于其他领域如语音识别强大的鲁棒性，设计了手动特征提取程序。然而，对于从业者来说困难的是选择为他们的应用最合适的深度学习方法。促进深度学习几乎都提供了最佳的系统，很少有工作包括在其最优参数是如何被发现等细节。由于只有一个分数报告，平均性能与峰值性能比较结果仍不清楚。
在本文中，我们运用目前最先进的深度学习方法对普适计算中的人类行为识别中的三种问题进行了探索。针对深度、卷积和递归模型的训练过程进行了详细描述，并且我们针对递归性网络介绍一种创新规划方法。在4000多个实验中，我们探讨HAR中每个超参数对不同的影响，为以后想将深度学习应用到他们的研究中的学者提供了参考。在这些实验的过程中我们发现，递归性网络实现了目前最佳的表现。
图1 本文中使用的模型
2. 普适计算中的深度学习
通过穿戴设备感应器获得的运动数据是多元时间序列数据，这些数据都有相关的高维时空频率(20Hz-200Hz)。在普适计算领域中分析这些数据基本上是在Bulling等人所提出的基础方法上进行的。第一步是把时间序列数据分割成相邻的片段，通常是通过单个特点或者是滑动窗分割技术。在分割出一系列特性中，在每一帧最有可能包含的是统计特性或者频率域中的词干。
目前在普适计算领域中最流行的方法是卷积网络，许多作者都用它来处理活动识别任务。更进一步的是，卷积网络已经被用来处理特定领域的问题，像在Autism中检测常规运动等，它们以及能将其提升到目前最佳的水准。
3. 针对人类活动识别对深度学习进行比较
虽然在不同情境的人类行为识别(HAR)方面已经有过一系列的研究探索，但是对于深度学习的兼容性上仍然缺乏一个系统性的研究。研究者进行初步试验对边界空间进行探索，但通常忽略了细节问题，这使得整个过程仍然不明确且难以重复。相应的，像CNNs这样的单一网络在单一应用情境下表现良好。然而，单个的良好表现并不能代表整体在普适计算在人类行为识别上的普遍适用性。在限定条件下的探索实验中，这些结果有多少代表性?哪些参数对于最终表现影响最大?实验者怎么找到那个刚好适合他们研究的参数?这些问题对于研究学者们十分重要，但是目前这些问题仍然没有解答。