即使借助先进的驾驶员辅助系统将更多驾驶功能自动化，人类驾驶员依然需要保持注意力集中，并逐步建立对AI系统的信任。

传统的驾驶员监控系统通常无法理解“微妙提示”，比如驾驶员的认知状态、行为和其他动作。而这些细微的行为往往能够表明他们是否处于合格的驾驶状态。

NVIDIA DRIVE IX是一个开放、可扩展的驾驶舱软件平台，能够提供AI驱动的丰富驾驶舱体验，包括具有增强现实和虚拟现实的智能可视化、对话式AI和内部感测。

驾驶员感知是该平台的关键所在，它能够让自动驾驶系统确保驾驶员保持警觉并注意前方道路，同时让AI系统拥有更加直觉性和智能化的驾驶舱功能。

在本期的NVIDIA自动驾驶实验室视频中，NVIDIA专家展示了DRIVE IX如何通过各种检测功能感知驾驶员的注意力、活动、情绪、行为、姿势、语音、手势和情绪。

面部表情是很难演绎的复杂信号。一个简单的皱眉和目光的移动都可能拥有多种含义。

DRIVE IX采用多种DNN来识别人脸并“解密”驾驶员表情。第一个DNN检测到面部本身，第二个DNN识别出基准点或参考标记，例如眼睛、鼻子的位置等。

在这些基础神经网络之上，还有各种DNN用于确定驾驶员是否注意力集中或是否需要AI系统采取其他措施。

GazeNet DNN能够追踪视线，通过检测驾驶员的视线并将其映射到道路上以确认他们是否看到前方障碍物。SleepNet监测睡意，识别驾驶员的眼睛是否睁开，并通过一个状态机确定其疲惫程度。最后，ActivityNet追踪驾驶员行为，例如使用手机、手是否放在方向盘以及驾驶员对于路况的注意力。DRIVE IX还可以检测驾驶员是否正确坐在座位上且专注路况。

除了监测驾驶员是否注意力集中，还有一个单独的DNN能够识别驾驶员的情绪，这也是他们是否能够安全驾驶的重要指标。DRIVE IX能够从面部监测和基准点网络获取数据，识别驾驶员的情绪是开心、惊喜、平常、厌烦或者生气。

它还可以判断驾驶员是眯着眼睛还是在尖叫，指明他们对路况的可见度或机敏度和精神状态。

汽车制造商可以借助DRIVE IX的驾驶员监测功能来开发基于AI的高级驾驶员理解功能，从而打造个性化的驾驶舱。

他们可以对汽车进行编程，在驾驶员注意力不集中时发出警告，或者在驾乘者紧张时让驾驶舱能够调节设置以安抚其情绪。

这些功能远远超出了驾驶员监测范围。前述DNN与手势DNN和语音功能相结合，实现了多模式对话式AI产品，例如自动语音识别、自然语言处理和语音合成。

这些神经网络可用于舱内个性化设置和虚拟助手应用程序。此外，基本的面部识别和面部关键点模型可以用于基于AI的视频会议平台。

随着自动驾驶技术的发展，DRIVE IX驾驶员监测功能有助于建立驾乘者与AI系统之间的信任，从而创造更安全、更愉悦的智能汽车体验。