香港科技大学陈启峰：VLA模型能将视觉、语言和行为多模态信息整合，让车辆更好地理解驾驶场景

专题：聚合智能产业发展大会（2025）

　　9月16日-17日，聚合智能产业发展大会（2025）在武汉市举行，主题为“协同融合创新链产业链 推动聚合智能产业发展”。香港科技大学副教授、元戎启行客座教授陈启峰出席并演讲。

　　陈启峰谈到，在具身智能方面，机器人通过图像、深度图、地图等多种传感器获取信息，并构建“大脑”和“小脑”系统，“小脑”负责控制层面，“大脑”负责行为规划与决策。“大脑”的核心技术之一是VLA模型（Vision Language Action），将视觉、语言和行为多模态信息整合，实现机器人和车辆在复杂环境下的自主决策与动作执行。

　　同时，他强调，语言理解能力在长期发展中至关重要，它不仅增强机器人与车辆的可控性和交互性，还能够在复杂场景下提供高级推理能力，为未来通用化机器人和智能驾驶系统奠定技术基础。

　　具体来说，他提到，在智驾方面中有一个挑战，也是端到端模型比较难处理的，就是处理盲区，需要一定的高级推理。“比如说现在有一辆大巴挡住了一定的视线，如果这个车没有考虑到盲区的话，它这个速度不一定会降下来，从而造成一些意外。”

　　陈启峰解释到，借用VLA在很多场景可以更好地理解驾驶场景，因为这些道路的建设本身是给司机看的、人类看的，所以充斥着很多文字的信息。“如果我们能把这些文字的信息理解起来，比如说什么时候可以用可变车道或者公交车道。有语言，我们就可以做一定的思维链，去让它理解得更好。”

　　所以，他强调，很多时候我们需要理解这些盲区，这些有风险的场景，做到防御性驾驶。通过VLA模型的训练，整个模型是相对比较简洁的，更多是需要在数据方面去强化这个模型，对于这些有风险的场景怎么样做到有安全的驾驶，给予正确的反馈。“因为很多现在预训练的大模型是利用互联网的信息，它没有驾驶场景安全性的考虑。”

　　总体来说，陈启峰指出，VLA有几大好处，有空间语义的理解，能识别一些障碍物、文字，还有语音控车。它相当于一个“透视眼”，在传统感知看不到的地方，它能知道是否有风险，注意盲区。同时，对于驾驶场景上有一些文字的信息，可以通过VLA利用这些文字的信息做出辅助驾驶的决策。还有语音控车，可以避开一些大车、豪车，

　　新浪声明：所有会议实录均为现场速记整理，未经演讲者审阅，新浪网登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。