李航:这个我同意。小脑最基本的能力都像是监督学习(supervised learning),而大脑和其他海马体还不太一样。小脑的话,比如小的时候学游泳,学骑自行车,通过大量的训练,后面有一定的能力积累之后,这些动作都是一样的,还包括走路。在这个环境里面,就像俞凯老师现在说的,你有一些反馈,然后你会根据reward去调整,以组合的方式去学习。
山世光:这好像也不不仅仅是小脑,刚开始学一加一等于二这个基础的时候也不那么容易,当然对于我们来说非常非常容易,但是他开始的时候其实不是那么容易,不过到了一定时间之后就会很快。
李航:反正也有相似的地方吧,我也同意,好像不太完全一样。这样形容比较好,我感觉学动作这样的东西,和学知识性的东西(数学、语言),仔细观察的话也不太一样。
现场Q&A
问:刚才俞凯老师提到的闭环学习,像生成式对抗网络这种,虽然说它不需要很多标注数据,但是还是需要很多数据的。还有之前提到的one shot learning,它之所以能够从一个样本学出来,是因为它需要很多经验知识。所以我觉得所谓的这些小数据它还是需要很多大数据来给它提供经验知识的,所以想听听四位老师的看法。
俞凯:我刚才在那个观点里提了两条,第一条是从开环学习到闭环学习,第二条就是从数据驱动到知识和数据双驱动,恰好就把这两条都说了。我觉得这里面有一个关键点,就是无标注的数据和有标注的数据是有本质区别的。因为无标注的数据你可以认为它的获取是没有cost的,就像一个人的成长一样,你只要在社会里面,在现实世界里面,你就会接收到这些数据,所以这件事可以认为是没有cost的。如果说可以使用比较无标注的数据,通过闭环的办法,使得无标注数据的内部结构可以被发现,这件事本身就是一个非常大的进步,你可以认为它是不需要数据的,我一般指的是不需要有标注的数据,我认为这个至少在现阶段是一个可以被认可的点。
第二个事情就是one shot learning问题。实际上就是像人学习一样,当我们说人能够学的很厉害,不单单意味着人这个个体有学习能力,还意味着你也上学。如果你不上学,没有知识的积累,也没有办法变的很厉害。所以当你说需要这些经验知识的时候,我觉得这个不能说需要大数据,那个东西不是一般意义上的数据,更多的是某种模型结构的积累,就是刚才前面提到的有监督的、非监督的,参数、非参数的,非参数那部分就有可能是寻址,他去寻你的memory里面的址,那个memory是人类的记忆,这种记忆是结构化的记忆。所以这个东西是经过人类多年的积累已经现存的东西,它不是一个需要重新获取的东西。我的观点就是会有这个范式的变化,但是这两个模式都是未来很重要的模式。
颜水成:人的学习并不是start from scratch,其实从父母的基因那你已经继承了很多有用的信息过来了,那个也是通过大数据积累起来的东西。至于one shot learning,其实人有一个能力就是,新的class(类别)出现之后,就可以很快对这个新的concept(概念)建立一个模型出来。早期的时候有人做了一些研究,就是说你假设有了一个一千类的模型,现在又有了一个新的类,但是我给你的数据就是三四张图片,那你怎么样可以把这个一千类模型adapt成一个一千零一类的模型。此前有人做过相关的研究,但是后来这块基本确实没有人来做了,但是我觉得这个方向其实还是有一定的学术价值的。
李航:关于人的基因里面语言学习的能力,有很多的研究,有一个很有名的例子,就是观察小孩如何学习英语动词的过去时态。研究发现,小孩在以开始的时候是基于实例来学的,如果你说“Daddy came home”,然后他就会说“Daddy came home”,也没有generalize,过了一段时间他发现这个动词的过去时都会加ED,小孩就会困惑,有一段时间既会说“Daddy came home”,又会说“Daddy comed home”,就会出错。再过一段时间,就真正学会了过去式有特殊的变化形式。他会准确的说“Daddy came home”,同时也知道别的动词是加“ed”。从这个例子可以看出来,人在语言学习的过程中,有generalization的能力,但是开始的时候就是基于instance,比如你说“came”,他就记住“came”,后来他就会尝试有保守的去做generalization,有时候还会做over-generalization,但是又会做简单的调整,最后能够正确的把这些区分的比较好。还有很多其他的例子,这说明人还是有先天的能力的,否则很难解释怎么那么快学到这些东西,但是这个现象还是非常复杂的。