在人工智能界有一种说法,认为机器学习是人工智能领域中最能体现智能的一个分支。从历史来看,机器学习似乎也是人工智能中发展最快的分支之一。
在二十世纪八十年代的时候,符号学习可能还是机器学习的主流,而自从二十世纪九十年代以来,就一直是统计机器学习的天下了。不知道是否可以这样认为:从主流为符号机器学习发展到主流为统计机器学习,反映了机器学习从纯粹的理论研究和模型研究发展到以解决现实生活中实际问题为目的的应用研究,这是科学研究的一种进步。
平时由于机器学习界的朋友接触多了,经常获得一些道听途说的信息以及专家们对机器学习的现状及其发展前途的评论。在此过程中,难免会产生一些自己的疑问。借此机会把它写下来放在这里,算是一种“外行求教机器学习”。
◆ ◆ ◆
一问:符号学习该何去何从
问题一:在人工智能发展早期,机器学习的技术内涵几乎全部是符号学习。可是从二十世纪九十年代开始,统计机器学习犹如一匹黑马横空出世,迅速压倒并取代了符号学习的地位。人们可能会问:在满目的统计学习期刊和会议文章面前,符号学习是否被彻底忽略?它还能成为机器学习的研究对象吗?它是否将继续在统计学习的阴影里生活并苟延残喘?
对这个问题有三种可能的回答:一是告诉符号学习:“你就是该退出历史舞台,认命吧!”二是告诉统计学习:“你的一言堂应该关门了!”单纯的统计学习已经走到了尽头,再想往前走就要把统计学习和符号学习结合起来。三是事物发展总会有“三十年河东,三十年河西”的现象,符号学习还有“翻身”的日子。
第一种观念我没有听人明说过,但是我想恐怕有可能已经被许多人默认了。第二种观点我曾听王珏教授多次说过。他并不认为统计学习会衰退,而只是认为机器学习已经到了一个转折点,从今往后,统计学习应该和知识的利用相结合,这是一种“螺旋式上升,进入更高级的形式”,否则,统计学习可能会停留于现状止步不前。王珏教授还认为:进入转折点的表示是Koller等的《概率图模型》一书的出版。至于第三种观点,恰好我收到老朋友,美国人工智能资深学者、俄亥俄大学Chandrasekaran教授的来信,他正好谈起符号智能被统计智能“打压”的现象,并且正好表达了河东河西的观点。全文如下:“最近几年,人工智能在很大程度上集中于统计学和大数据。我同意由于计算能力的大幅提高,这些技术曾经取得过某些令人印象深刻的成果。但是我们完全有理由相信,虽然这些技术还会继续改进、提高,总有一天这个领域(指AI)会对它们说再见,并转向更加基本的认知科学研究。尽管钟摆的摆回还需要一段时间,我相信定有必要把统计技术和对认知结构的深刻理解结合起来。”
看来Chandrasekaran教授也并不认为若干年后AI真会回到河西,他的意见和王珏教授的意见基本一致,但不仅限于机器学习,而是涉及整个人工智能领域。只是王珏教授强调知识,而Chandrasekaran教授强调更加基本的“认知”。
◆ ◆ ◆
二问:“独立同分布”条件对于机器学习来讲必需吗
问题二:王珏教授认为统计学习不会“一帆风顺”的判断依据是:统计机器学习算法都是基于样本数据独立同分布的假设。但是自然界现象千变万化,王珏教授认为“哪有那么多独立同分布?”这就引来了下一个问题:“独立同分布”条件对于机器学习来讲真的是必需的吗?独立同分布的不存在一定是一个不可逾越的障碍吗?
无独立同分布条件下的机器学习也许只是一个难题,而不是不可解决的问题。我有一个“胡思乱想”。认为前些时候出现的“迁移学习”也许会对这个问题的解决带来一线曙光。尽管现在的迁移学习还要求迁移双方具备“独立同分布”条件,但是不能分布之间的迁移学习,同分布和异分布之前的迁移学习也许迟早会出现?
◆ ◆ ◆
三问:深度学习代表了机器学习的新方向吗?
问题三:近年来出现了一些新的动向,例如“深度学习”、“无终止学习”等等,社会上给予了特别关注,尤其是深度学习。但它们真的代表了机器学习的新的方向吗?包括周志华教授在内的一些学者认为:深度学习掀起的热潮也许大过它本身真正的贡献,在理论和技术上并没有太多的创新,只不过是由于硬件技术的革命,计算机速度大大提高了,使得人们有可能采用原来复杂度很高的算法,从而得到比过去更精细的结果。当然这对于推动机器学习应用于实践有很大意义。但我们不禁要斗胆问一句:深度学习是否又要取代统计学习了?