摘要：
如何对智能系统进行测试是人工智能领域极其重要的研究方向，只有当测试具有明确的任务定义和有效的方法来生成测试所需的丰富数据时，才能实现安全可靠的AI系统。
作者：《智车科技 》 小智
近日，清华大学的李力副教授与来自中科院自动化研究所、西安交通大学人工智能与机器人研究所、青岛智能产业技术研究院和青岛慧拓智能机器有限公司的同事合作，在国际知名《科学》杂志的子刊《科学·机器人学》（Science Robotics）发表题为“ParallelTesting of Vehicle Intelligence via Virtual-Real Interaction”，文中提出了一种虚实互动的车辆智能评估与扩展方法，来测试和验证无人车对复杂交通场景的理解和行驶决策的能力，进而推动无人驾驶技术的发展。
本文大约4000字，主要内容包括：
1. 无人驾驶测试面临的困境
2. 虚拟测试：不上路也能培训无人车
3. 平行测试：虚实互动实现车辆智能的闭环评估与提升
4. 应用说明与总结
1. 无人驾驶测试面临的困境
为了更好的测试自动驾驶的智能水平，美国、中国、欧盟等国家和地区开展了多项无人驾驶赛事。美国国防部先进研究项目局（DARPA）于2004、2005、2007年举办了三届DARPA挑战赛，包括针对沙漠环境的无人驾驶挑战赛（Grand Challenge）和针对城市道路的无人驾驶挑战赛（UrbanChallenge）。而中国则从2009年起，由中国自然基金委员会支持，连续10年开展中国智能车未来挑战赛（Intelligent Vehicle FutureChallenge），极大的促进我国的无人车研究。
不仅如此，美国、瑞典、中国等近几年开始建设无人驾驶车辆测试场。例如美国的M-City就收到了业界的广泛关注。工信部2016年曾为上海国际汽车城提出智能网联汽车发展规划，要求智能网联汽车车企先在指定封闭道路进行测试，经过车辆测试，通过申请审核后，一部分车企可以持开放测试牌照进入开放道路测试阶段。
然而，随着研究的深入，学者们逐渐认识到：需要测试的驾驶场景纷繁复杂，如果全部进行实际场地测试，所需的费用和时间都将难以计量。Intel的自动驾驶首席架构师Jack Weast就曾指出，如果要达到无人驾驶安全上路的要求，大概需要进行30 b miles(300亿英里)的道路测试，而这相当于100辆无人车在每天24小时每周7天每年365天跑1000年！
与此同时，近年来Uber、特斯拉、福特、谷歌等企业的无人驾驶车辆安全事故频发，甚至造成人员死亡的情况，也为自动驾驶的路测安全提出了新的要求与挑战。如何做到既能培训并测试无人驾驶车辆的性能，又不会威胁人类的生命财产安全，已然成为现阶段无人驾驶技术发展的一个核心问题。
2. 虚拟测试：不上路也能训练无人车
以计算机仿真技术为基础的虚拟测试为不上路也能训练无人驾驶车辆的性能与安全提供了一种新的途径。
2016年7月，英国华威大学提出了一种方法——使用驾驶模拟器来测试智能车辆。接受测试的汽车放在模拟器中央，模拟器会投射出360°的高清虚拟情景，这样不需要实际上路也能让自动驾驶汽车得到训练，让车身的传感器与周围环境发生互动，增强学习。
微软在2017年2月在在GitHub上开源了其空中信息技术和机器人技术平台(Aerial Informaticsand Robotics Platform)的研究项目AirSim。这是用代码构建的一个用于训练无人机和自动驾驶汽车的“真实”环境，可以检测开发者的算法失误，同时，又不必付出现实场景中的巨大代价。微软方面以无人机飞行测试为例在博客中写道，“如果你要训练你的无人机区分墙壁和阴影，或许不用真的去撞墙来测试你的算法理论更好些吧。”
Waymo 在2017年11月也推出了一款名为「Carcraft」的道路模拟器。在VR环境中，Waymo的无人驾驶汽车可以在同样的驾驶条件下，在同样的交叉路口进行数千次的驾驶练习。
2018年3月，英伟达发布了发布了一款利用云计算能力来测试无人驾驶汽车的模拟器Nvidia DRIVE，并表示“使用模拟器来测试无人驾驶汽车，5个小时就能让虚拟的汽车行驶30万英里（约合48.3万公里）”，这款软件可以模拟日落时的眩光、暴风雪、糟糕的路面和各种危险情况，以测试无人驾驶汽车的反应能力。
2019年3月，百度关于增强自动驾驶仿真(AADS，Augmented Autonomous DrivingSimulation)的工作发表在《科学·机器人学》杂志，其技术可以将真实街道场景的各个部分分离出来，并将它们呈现为单独的元素，这些元素可以被重新合成，以创建大量真实的照片驾驶场景。
基于仿真的测试系统能够在短时间内处理数千个任务的定量测试，比人类专家更客观。然而，这样的系统高度依赖于人类的知识来正确地设计场景。同时，通过仿真测试的某些场景也需要在现场测试中重新评估和验证，以验证仿真系统的有效性和自主车辆硬件的可靠性。
3. 平行测试：虚实互动实现车辆智能闭环评估与提升方法
平行测试通过融合人类专家与计算机系统双方的优势，构建一个人在回路智能测试模型，使系统具有在人类专家指导下自动自我升级的认知机制，同时引入对抗式学习模型, 以自动生成新的任务实例, 这些任务实例可以呈现复杂、动态的交通场景, 促使无人驾驶车辆进一步提高适应复杂环境的能力。
图1. 人在回路的平行测试模型架构
系统实现主要包括三部分：
1). 建立一组语义定义来描述应该由自主车辆完成的任务。测试驾驶场景的每个语义实体将在语义任务空间中被检索和复制。抽象语义任务的复杂性还提供了描述自主车辆能力的统一分类级别。任务矩形的时空范围可以被重新排列，实现对属于同一类别的不同驾驶场景的采样，以确保所设计的自主车辆能够适用于此类驾驶场景。根据预先确定的规则，逐步增加语义任务原子，可以增加测试的复杂度，最终保证所设计的自主车辆在所有可能的驾驶场景下工作。
2). 为指定的任务实例实现测试。通过将实际道路试验与模拟道路试验虚实对应紧密结合，加强测试的可用性以及扩展性。通过自动且实时地收集实际道路试验产生的新数据并更新至模拟系统，进一步扩展系统知识库。此外，通过将模拟系统中的模拟测试完全对应现场测试，并比较它们的输出，以便不时地更新模拟系统。以这样的方式，实现模拟系统与实际系统的闭环反馈，以实时、自动、准确地采集各种车辆测量数据。
3). 对自动驾驶车辆的性能和语义任务的难度进行评价，以寻求最具挑战性的新语义任务。通过建立与每个特定语义任务相关的定量性能指标，以公平、快速地评估自主车辆的性能。我们设计了一个统计学习模型，同时确定了不同任务的相对难度和被测不同自主驾驶系统的相对能力（等级）。这种排序模型不仅有助于我们找到具有挑战性的任务，而且可以帮助我们了解测试自动驾驶汽车的实际能力水平。
图2. 平行测试逻辑流程与系统架构
4. 应用说明与总结
平行测试系统成功支持了“中国智能汽车未来挑战”（IntelligentVehicle Future Challenge, IVFC）这一世界上规模最大、连续举办时间最长的自动驾驶比赛。随着2009年至2018年举办的IVFC，平行测试系统不断升级，以对工业自动驾驶车辆进行系统、定量、自动和安全的测试。应用结果表明，该系统大大减轻了竞赛组织者和测试工程师的负担。如，在2015年IVFC系统尚未应用时，超过30名比赛裁判在现场测试12小时后，在给出参考分数之前，对比赛期间所有25辆自主车辆的视频记录进行检查，随后，还需花费3个小时时间与自动驾驶车队进行复核。在系统首次应用的2016年IVFC中，10名比赛裁判在现场测试后不到1小时的时间内，对任务评估系统自动计算的全部20辆自主车辆的参考分数进行了检查。最后各参赛队只花了近10分钟就完成了对于比分的辩论与确认。
室外试验系统也提高了现场试验的安全性。在国际平行驾驶联盟（IPDA，由来自中国、欧洲和北美的18所大学/研究机构组成）在2018年的IEEE IV中组织的现场演示中，最新的平行测试系统几乎可以立即将真实场景（包括道路几何、相邻车辆、行人等）转换为虚拟场景。除遥控操作人员要求加州机动车辆管理局（DMV）在必要时接管自主车辆的控制外，平行驾驶管理和控制（M&C）中心还将监控车辆状态，并基于真实车辆数据统来模拟未来可能出现的情况。当检测到任何潜在风险时，即使人工操作人员不知道风险，远程接管系统也能及时通知操作人员或自动远程接管自动驾驶车辆，以避免实际事故。试验表明，这种新的现场试验和模拟试验的结合，不仅提高了模拟试验的可靠性，而且提高了现场试验的安全性。
扩展阅读：
平行测试相关研究工作是在国家自然科学基金（NSFC）“视听觉信息认知计算重大研究计划”（KP—CVAAI）项目指导与资助下完成。该重大研究计划在2008年正式启动，目标是研究并构建新的计算模型与计算方法，提高计算机对非结构化视听觉感知信息的理解能力和海量异构信息的处理效率，克服图像、语音和文本（语言）信息处理所面临的瓶颈困难。
为推动研究工作走出实验室、产生原创性重大成果，该重大研究计划创建了两个比赛平台，“中国智能车未来挑战赛”即为其中之一。2009年，第一届智能汽车未来挑战（IVFC）在古城西安举办。这届比赛是一个包含几个简单测试任务的自主车辆比赛，但大多数车辆无法成功完成3.2公里的测试。
之后，在接下来的9年里，组委会对智能汽车上路进行了一系列的比赛设计与测试。到目前为止，IVFC已然成为世界上持续时间最长的自主车辆竞赛。随着试验车辆能力的提高，试验任务的复杂性逐渐提高。例如，在最近举行的IVFC 2018中，要求测试车辆在高架桥下或隧道内长距离行驶，以便在不借助GPS的情况下测试其道路识别能力。IVFC的参与者从2009年的4辆自主车辆和200人左右持续增加到2018年的24辆自主车辆和2000多人。
中国智能车未来挑战赛10年举办地
在KP-CCVAI实施期间，清华大学、西安交通大学和中科院自动化研究所等机构组成的联合队伍在经过多年的尝试与累计后，设计并构建了一个用于自主车辆研究和评估的综合自主车辆平台（IAVP）。该平台能够对所有试验实例数据进行定量收集，并将其转化为语义空间，从而更加准确地评价车辆在现场试验中的性能。该系统使用GPS/INS传感器监测测试车辆的分米级轨迹，并使用各种视觉传感器（包括路边摄像头、安装在测试车辆内的摄像头和相邻仲裁车）监测测试车辆的行为及其与其他交通参与者的交互作用。所有数据均通过4G、DSRC或光纤通信从传感器实时传输到本地数据中心和云数据中心。系统过滤数据并将其转换为前面定义的语义任务。系统可以为组委会、裁判员、参赛者和观众实时显示比赛视频数据和各自主车辆的运行轨迹。车辆的评分也被实时更新和显示。该设计同时使得中国智能车未来挑战赛更加公开、公正、公平。
