深度神经网络的自我学习能力是一个优点，因为它使得机器能够通过经验优化；同时也是一个弱点，因为工程师没法通过代码调整它里面的细节。也就是说，深度神经网络是一个科技黑盒。这也就是为什么Google Deep Mind团队AlphaGo的创始人无法解释清楚AlphaGo是如何下围棋的。他们所能做的只能是在一旁看着他们的心血之作从一个围棋初学者进化到能够打败地表最强的围棋选手之一。

这样的不透明性对于玩游戏的机器来说没有关系，可是对于自动驾驶汽车来说就不一样了。假如一辆自动驾驶汽车犯了一个错误，工程师必须能够打开引擎盖，找出藏在下面的缺陷并修好它，这样汽车就不会再次犯同样的错误了。如果这样做，其中一种方法是利用仿真：在仿真的过程中逐一地向AI展示特征，这样一来就可以知道是什么东西影响了它的决策。

英伟达通过解析高层神经网络来揭秘自动驾驶科技

英伟达，作为一个自动驾驶的芯片供应商，如今声称找到了一种更简单的方法来一层层地揭开自动驾驶科技黑盒的神秘面纱。“虽然深度学习技术让我们能建造一个可以学习我们无法通过编程来描述的事物的系统，但是我们仍然可以解释这样的系统是如何决策的。”英伟达全球汽车市场总监Danny Shapiro在博客中写道。同时，由于这项工作就是在组成神经网络的处理阵列层中完成的，结果可以作为一种叠加在汽车前置相机传回图像上的“滤镜”实时显示。目前，该结果包含了机器在为了使汽车保持在车道上时的方向盘转向操作。

这种方法是通过取得来自高层神经网络（已经提取了相机传回图像的重要特征）的解析输出来工作的。接着该方法将这一输出叠加到较低级的层上去，计算平均，然后继续向更低级的层上叠加直到回到初始的相机图像输入层。得到的结果就是一个相机图像，在这上面AI认为重要的东西被高亮显示出来。并且，事实上这些AI认为重要的部分恰恰就是人类司机也同样重视的——道路标志，路缘，停泊的车辆，路边的篱笆等等。

但是，为了确保这些特征确实是决策的关键，研究人员将所有像素点分为两类——类1包含了“显著的”特征，也就是明显和驾驶决策相关的特征，同时类2包含了不显著的特征，这通常是在背景中。研究人员手工操作了这两类数字特征并发现只有显著特征起着重要作用。

“移动显著的物体可以导致方向盘角度的线性变化，这种变化大约和我们移动整张图像时产生的变化一样大，”研究者们在论文中写道。“移动背景像素对方向盘角度的作用更小一些。”诚然，工程师不能到达系统内部来修正“bug”，因为深度神经网络不怎么需要编程，也就不适合用bug这个词来形容。神经网络所具有的是特征。现在我们至少在某种意义上可以将它们可视化。

想知道AI还能做什么？快来戳《亿欧智库：人工智能产业综述报告》http://www.iyiou.com/p/43122