文|水石头
在和刘同学长谈之后，我再次对前一段时间的想法进行了反思，结合聊天中的新感受，整理在这里。
（注：标题里的算法，指机器学习算法，或者说“算法工程师”这个职位名称里的“算法”，不是“算法与数据结构”里的那个算法。谁能告诉我有没有什么更好的名字来区别这它们，或许是“机器学习算法”与“传统算法”？）
算法与算法工程师
先来一段我在知乎里回答“做算法工程师是一种怎样的体验？”的答案（其中的思想并非原创，而是山寨自新加坡某大学一门Quantitative Investment课程的ppt）
理想中的算法工程师：提出假设->收集数据->训练模型->解释结果。
实际中的算法工程师：提出假设->收集数据->预处理->预处理->训练模型->调试->调试->重新收集数据->预处理->收集更多数据->调试->调试->调试->…->放弃。
这个答案被点了几十个赞，在24个答案中排在第二位，说明具有一定的普遍性。排名第一的有100+赞，而他的观点是：每天最重要的就是跑数据！
这不是段子，而是事实。为什么“高大上”的算法工程师实际上是个数据民工，要寻找这种理想与现实的差距的原因，首先要理解一个事实：只有人能够理解数据，机器不能。
不管我们用什么机器学习算法——无论是LR，SVM，k-means，EM——对于它们来说，输入数据都是一堆浮点数组成的矩阵而以（如果说的更本质一点，只是一堆01序列）。如果有一个特征是“小时”，而它出现了25，任何一个智商正常的人类都能明白，这是一个错误，然后在数据清洗的时候把这样的数据排除。但是机器就无法理解这一点。要具备小时的概念，又要理解什么是时间，一天有多少个小时…机器怎么能自动化完成这样的数据清洗工作？更进一步，如果人发现“小时”这个特征中大部分数据是0到12，而混入少量13（但13的数量又不是太少以至不能被当成离群点排除），人就会怀疑，是不是使用了12小时制而13是一个错误。机器目前是无法做到这一点的。
再说人肉特征。一个是特征变换，比如需要一个特征是某两列数据的比率，这种除法是线性模型不能涵盖的。当然可以增大模型的假设空间，但是太小涵盖不了需要的变换，太大又容易过拟合。另一个是加特征，比如我认为点击率和屏幕分辨率有关系。于是我去找屏幕分辨率数据加入特征，如果没有还要想办法采集。这些机器都做不了。
但是，人一但把数据准备好，接下来就是机器学习算法发挥的时候了。但是，算法工程师的主要工作不在这里，这是因为软件有个特点，可以近乎无成本的复制。只要这个世界上有一个人实现了LR（知识产权的问题这里不考虑，更何况开源软件很多），其他需要用LR的人都可以拿过来用了。显然，这些算法工程师们也正是这么做的。
然而，等算法输出结果以后，又需要人的工作了——怎样用结果解释实际问题，应用到业务中去。显然这个过程和前面数据清洗、人肉特征的性质类似，都是只有人能完成，机器做不到的任务。
做过数学建模的同学对这个过程可能很熟悉——如何把一个问题描述成数学问题，再如何把结果应用到实际问题上。这有点类似于通信中的“最后一公里”问题，主干网的光纤建设的很强大，而最终用户的接入却成了一个麻烦事。对于机器学习的应用问题来说，算法和相应的软件包都是标准化、通用化的，像骨干网；而数据如何“接入”，则是只能由人完成。因为，只有人能够理解数据。
技术与技术人员
这个问题可以推广到整个计算机领域。把算法工程师代换成程序员，把机器学习算法代换成软件，这个观点就变成了：大部分程序员所解决的，是通用的计算机工具和具体的实际业务之间的“最后一公里”接入问题。
为什么这么说，我们先来看历史：计算机技术发展了几十年，程序员的入门门槛是逐步降低的。最初的程序，要在裸机上写汇编。后来有了unix，c语言，程序员至少不用亲自调度进程了。java出现之后，连内存都不用管了。而（世界上最伟大的）php出现之后，网络编程的门槛进一步降低，任何人都可以在短时间内搭建一个网站。