当一辆自动驾驶汽车端详这个世界时，它会看到很多东西。它有测量与旁边汽车距离的雷达，它有捕捉街道上彩色影像的摄像头，它的激光雷达传感器会发射激光脉冲测量周围环境。对于任何一辆由机器人驾驶的汽车而言，行车过程中最重要的部分之一不是它看到了什么，而是它事先对于它途径路段的情况知道多少。
根据当地警方的声明，3月18日晚上，一名女子在亚利桑那州坦佩被Uber的一辆自动驾驶汽车撞倒后身亡。该辆汽车事发时处于自动驾驶状态，尽管它后面有一名安全驾驶员。Uber是现在在亚利桑那州、加利福尼亚州和该国其他地区测试这种车辆的众多公司之一。由谷歌母公司Alphabet制造的自动驾驶汽车公司Waymo表示，它也在凤凰城郊区运营自动驾驶汽车，并且没有安全驾驶员。3月19日，Uber表示，它正在坦佩、匹兹堡、多伦多和旧金山停止测试。
在设计这些车辆时，像Uber和Waymo这样的公司首先要建立一个地方的三维地图。他们为普通汽车配备了激光雷达传感器，是使用光脉冲测量距离的“光探测和测距”设备。当公司工作人员在当地道路上驾驶这些汽车时，这些昂贵的设备会收集制作地图所需的信息。一旦地图完成，汽车就可以使用它自行导航道路。这样做时，它们会继续使用激光雷达追踪周围环境，并将它们所看到的与地图显示的内容进行比较。通过这种方式，这款车就可以很好地了解它在世界上的位置。
激光雷达还会就附近的物体向汽车发出警告，包括其他汽车、行人和骑自行车的人。雷达工作得很好，但它不能做任何事情。它仅提供关于相对较近的物体的信息，这限制了汽车驾驶的速度。它的测量结果并不总是足够清晰，因此无法区分每一个对象。而且，当多辆自动驾驶车辆行驶同一条道路时，它们的激光雷达信号可能会相互干扰。即使在激光雷达运行良好的情况下，这些公司也需要备份系统。
所以大多数无人驾驶汽车还配备了各种其他传感器。摄像头、雷达和全球定位系统天线，这种GPS能硬件告诉你的智能手机在哪里。借助GPS天线，Uber和Waymo等公司正在为汽车提供更多关于它们所处位置的信息。使用摄像头和雷达传感器，它们可以收集有关附近行人、骑车人、汽车和其他物体的附加信息。并且摄像头还提供了识别交通灯、路牌、道路标记和汽车需要考虑的其他信号的方法。
在某些情况下，工程师会编写特定的规则来定义汽车在特定情况下应该如何应对。例如，如果Waymo汽车检测到红灯，则会编程停止。但是工程师们可能不能为汽车所遇到的每种情况制定响应措施。所以像Waymo和Uber这样的公司开始依赖“机器学习”系统，通过分析描述该国道路的大量数据来学习行为。Waymo正在使用一个系统进行分析数以千计的照片来识别行人，这些照片包含行走、跑过或靠近道路的人。目前还不清楚Uber的无人驾驶汽车在坦佩发生了什么事。但是这些车的设计使得如果一个系统出现故障，另一个系统将会启动。
无人驾驶汽车可能难以复制行人与司机之间微妙的非言语交流。毕竟，自动驾驶汽车不能与人行横道上的人进行目光接触。虽然无人驾驶汽车仍然在努力掌握这些条件。但是它们在强降水天气中的效果并不好，在隧道和桥梁上会遇到麻烦，而且它们在面对繁忙交通时也会遇到困难。所以，无论是从技术成熟度、生产成本还是安全监管等角度考虑，无人驾驶汽车距离成为主流汽车的目标还有很长远的距离。