自动驾驶汽车的集成为城市交通带来了诸多好处，包括提高安全性、减少交通拥堵和增强可达性。自动驾驶汽车还使驾驶员能够从事与驾驶无关的任务（NDRTs），如在途中放松、工作或观看多媒体。
然而，乘客的有限信任阻碍了自动驾驶汽车的广泛应用。 为了解决这个问题，对自动驾驶汽车决策的解释可以通过提供控制和减少负面体验来促进信任。 现有的可解释人工智能（XAI）方法主要面向开发人员，侧重于高风险场景或全面解释，可能不适合乘客。
针对这一空白，由韩国光州科学技术研究院（GIST）的 SeungJun Kim 教授领导的研究小组调查了自动驾驶汽车乘客在真实道路条件下的需求解释。 然后，他们引入了一个名为 "TimelyTale "的多模态数据集，其中包括乘客特定的传感器数据，以便及时提供与上下文相关的解释。
"我们的研究将自动驾驶中 XAI 的重点从开发人员转移到了乘客身上。 我们开发了一种收集乘客对车内解释的实际需求的方法，以及为乘客生成及时、与情境相关的解释的方法，"Kim 教授解释说。 他们的研究成果发表在 2023 年 9 月 27 日和 2024 年 9 月 9 日出版的 Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies 上。 在 UbiComp 2024 大会上，作者因其开创性研究 "解释什么和何时解释？ 研究人员首先利用增强现实技术研究了各种视觉解释类型（包括感知、注意力和两者的结合）及其时机对真实驾驶条件下乘客体验的影响。 他们发现，仅车辆的感知状态就能提高乘客的信任度、安全感和态势感知，而不会让乘客不知所措。 他们还发现，交通风险概率对于决定何时提供解释最为有效，尤其是当乘客感到信息过多时。
基于这些发现，研究人员开发了 TimelyTale 数据集。 这种方法包括外部感知（描述外部环境，如视线、声音等）、本体感知（描述身体的位置和运动）和内部感知（描述身体的感觉，如疼痛等）数据，这些数据是在自然驾驶场景中使用各种传感器从乘客那里收集的，是预测乘客解释需求的关键特征。 值得注意的是，这项工作还纳入了可打断性的概念，即乘客将注意力从 NDRT 转移到驾驶相关信息上。 通过这种方法，研究人员开发出了一种机器学习模型，可以预测提供解释的最佳时机。
此外，作为概念验证，研究人员还在全市范围内进行了建模，根据不同的驾驶地点生成文字说明。 Kim 教授说："我们的研究为提高自动驾驶汽车的接受度和采用率奠定了基础，有可能在未来几年重塑城市交通和个人出行方式。
原文链接：
Gwangbin Kim et al, What and When to Explain?, Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies (2023). DOI: 10.1145/3610886
Gwangbin Kim et al, TimelyTale: A Multimodal Dataset Approach to Assessing Passengers' Explanation Demands in Highly Automated Vehicles, Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies (2024). DOI: 10.1145/3678544
