你可能会认为，在特朗普大厦上建设一个直升机停机坪会给总统在曼哈顿的住宅平添一份豪气。毕竟，没有什么事情比乘坐海军一号直达你自己的摩天大楼更能象征财富和权力了。
佩妮（Penny）是一个可以通过卫星图像来预测纽约城的收入水平以及变化的人工智能系统。当我通过它简洁的页面查看特朗普住宅区情况时，显示的只有满满的财气。“Penny十分坚信这个区域的居民收入是中高等的。”报告称。但当我从屏幕底部的工具栏中选择了一个直升机图标，并把它拖到屋顶上时，Penny改变了主意。“你的调整导致Penny把这个地区重新划分为中低等收入地区”。
“直升机停机坪”是财富的有力象征，不是吗？难道Penny知道一些我不知道的东西，还是误读了数据？那么为什么会有人需要这样的工具呢？如果你能回答这些问题，就能理解Penny是怎么运行的了。
Aman Tiwari是卡内基梅隆大学的一名计算机科学家，他在纽约的高分辨率卫星图像上覆盖了人口普查数据，并通过神经网络来丰富它的数据库。（他在圣路易斯利用人口普查数据和卫星图像做了同样的事情，但每个模型只能预测对应城市的家庭收入。）
Aman Tiwari解释到，人工智能开始将城市景观中的视觉模式与收入联系起来，不同的物体和形状似乎与不同的收入水平相关，停车场联系着低收入，绿地联系着高收入，诸如此类。Tiwari与数据可视化工作室Stamen合作，创建了一个界面来探索这些相关性。你可以在这个用户界面上随意拖拽棒球棒、太阳能板、建筑物或其他东西到你的城镇中。
创造Penny的主要目的并不是设计一座城市，而是可以更多地了解人工智能到底可以做什么，不能做什么。通常情况下，Penny依据直觉作出反应。把高速公路或停车场搬到上东区，人工智能预测的收入中值会更低。再加上一些褐砂石和公园到纽约东部，突然间收入中位数增加了。Penny总会给你带来一些不可思议。把广场酒店扔进哈莱姆区，让Penny更确信这是一个低收入地区，即使添加树也不能将收入拉高。
人工智能违背直觉的情况，凸显了任何基于机器学习的系统的力量和局限性。Tiwari表示：“我们不知道它是否知道我们没有注意到的东西，或者它作出的判断是完全错误的。
“有时候，人工智能会做出一些神奇的事情，或者在一些问题上给出非常明智的解决方案，但这个解决方案对我们来说是有的时候无法理解的，所以我们不明白为什么它的行为是违反直觉的，”Jeff Clune作出评论。他是怀俄明州的一名计算机科学家，研究了神经网络的不透明内部运作。“但同时，这些系统并不像我们认为的那样知道的那么多，而且它们经常以奇怪或令人困惑的方式作出错误的决定。也就是说，它们做出的预测很多时候是非常不准确的，因为它们的错误有的时候很明显。
”这样的缺陷让大量的科技工作者每天都在不断与之互动测试。比如Facebook的新闻推送，它使用算法来调整你的社交流构成。或者谷歌的新电脑视觉平台，Lens，把你手机的摄像头变成了一个搜索框。或者是特斯拉汽车的事故规避技术草案。即使是那些创造了这些产品的人工智能工程师，也不能完全理解这些复杂的系统所做的决定。
Penny让我们得以见证人工智能和机器学习对城市的意义。“这项科技不是为了决定是否在你的院子里安置一座篱笆墙，而是为了帮助我们理解机器是如何对我们的世界发挥作用的，”他数字地球公司产品经理Jordan Winkler说。该公司为这一项目提供了卫星图像。但他表示，Penny主要是为了让人们了解人工智能和机器学习是如何工作的，或者是不可以做什么。
佩妮很好地处理了这个任务，有效的减少了用户探索的时间。如果佩妮的早期预测符合用户的期望，他们就不会再进一步检验这个系统的准确性了。他们只会认为人工智能是非常聪明的。Clune说：“这表明，在人工智能王国一切都进行的井井有序，但实际上背后的事情要复杂得多。”只有不断花时间用这个系统去探索并发现错误的和人们预期不相似的结果，你才会开始质疑它结果的可靠性，以及它工作的原理。