LM在传统的NLP任务中扮演着关键的角色，例如，语音识别、机器翻译、文本摘要。通常（但不是一直），训练语言模型会提升下游任务的潜在价值，比如语音识别中的词语错误率，或者翻译中的BLEU 分数），这会让训练更好的LM自身具有更高价值。
进一步说，在大量的数据上进行训练，语言模型会从训练数据中简练地提取解码后的知识。比如，当用电影字幕进行训练时，这些语言模型能够生成关于物体颜色、人物身份等信息的大难。最近提出的序列到序列模型，使用了有条件的语言模型，作为解决多任务难题的一个关键，包括机器翻译和视频生成等 。
深度学习和递归神经网络（RNN）在过去的几年中极大地推动了语言建模研究的发展，让研究者可以在更多的任务上进行探索，在这些任务中，强限制性的独立假设都是不实际的。
虽然事实上，简单的模型，比如N-grams，只使用极少的前词（privious words）来预测接下里会出现的词，它们对于高质量、低混淆的语言建模来说一谈是一个非常关键的组成部分。
确实，最近绝大部分对大型语言建模的研究已经证明了RNN配合N-grams使用效果非常好，因为它们可能有一些不同的优势，能对N-gram模型进行补充。但是，如果单独使用RNN的话，效果就会很差。
我们相信，虽然很多工作都在小型的数据集，比如Penn Tree Bank （PTB）上展开，但是，更大型的任也是很重要的，因为过拟合并不是目前语言建模中的一个主要限制，而只是PTB 任务中的一个主要特点。
大型语料库上的结果通常会更好，这很重要，因为许多在小型数据库上运行得很好的想法在大型数据库上做进一步提升时都失败了。进一步来看，考虑到当下的硬件趋势和网页大量可用的文本数据，进行大型的建模将会比过去更加简单。所以，我们希望我们的工作能给研究者带来启发和帮助，让他们在PTB之外可以使用传统的语言模型。