研究论文：探索语言建模的极限
作者：Rafal Jozefowicz, Oriol Vinyals, Mike Schuster, Noam Shazeer, Yonghui Wu
摘要
本文中，作者探讨了近年来递归神经网络（RNN）在语言理解的核心——大规模语言建模（LM）方面的发展。为了解决语言建模中的两大挑战：语料库和词汇量，以及复杂的、长期的语言结构，作者拓展了现有模型，在> 
论文呈现的模型中一个高层的图表。a指的是一个标志的LSTM 语言建模；b代表一个LM，其中输入和Softmax嵌入被一个字符CNN取代。c中，我们用一下一个单词预测LSTM网络替代Softmax。
语言建模（LM）是自然语言处理和自然理解模型任务的一个核心任务，能对句子结构分步进行展示，它展示的不仅是语言的复杂内容，比如语法结构，还能提取语料库可能包含的一定数量信息。确实，模型能够把较低的概率指派到那些语法上正确的句子上，但是却不太可能帮助完成其他基础的语言理解任务，比如，回答问题、机器翻译或者文本摘要。