2024年4月6日发(作者：)

山东科学

第３５卷第３期２０２２年６月出版

Ｖｏｌ.３５Ｎｏ.３Ｊｕｎ.２０２２

ＳＨＡＮＤＯＮＧＳＣＩＥＮＣＥ

面向自动驾驶的驾驶环境视觉感知复杂度量化评估方法

余荣杰

１

ꎬ赵岁阳

１

ꎬ董浩然

２

(１.同济大学道路与交通工程教育部重点实验室ꎬ上海２０１８０４ꎻ２.新加坡国立大学土木工程系ꎬ新加坡１１７５７６)

摘要:为优选自动驾驶汽车开放测试、示范道路并支撑其驾驶环境的优化ꎬ提出面向自动驾驶的驾驶环境视觉感知复杂

度量化评估方法ꎮ以百度街景地图作为驾驶环境数据源ꎬ运用脚本文件以及截图工具ＰｉｃＰｉｃｋ搭建自动化街景图像数据

提取平台ꎬ并在不同区域、不同道路等级下采集上海市５０条典型道路的驾驶环境数据ꎻ从行人、交通标志、交通标线、红

绿灯、车辆５方面出发ꎬ构建驾驶环境要素感知平台ꎬ并开展感知精度的量化评估ꎻ在单要素感知准确率的基础上ꎬ采用

熵权法确定多维感知要素权重ꎬ计算各道路综合感知准确率ꎬ并应用轮廓系数法与Ｋ￣ｍｅａｎｓ

＋＋

聚类算法进行视觉感知复

杂度分级ꎮ结果表明ꎬ上海市典型道路的驾驶环境视觉感知复杂度分为三级ꎬ大部分道路的视觉感知复杂度属于２级ꎻ

对比不同等级道路发现ꎬ支路的视觉感知复杂度总体上低于主干路ꎮ

关键词:视觉感知复杂度ꎻ复杂度分级ꎻ感知关键要素ꎻ驾驶环境ꎻ自动驾驶汽车

中图分类号:Ｕ４７１　　　文献标志码:Ａ　　　文章编号:１００２￣４０２６(２０２２)０３￣００６２￣１０

开放科学(资源服务)标志码(ＯＳＩＤ):

Ｍｅｔｈｏｄｆｏｒｔｈｅｑｕａｎｔｉｔａｔｉｖｅｅｖａｌｕａｔｉｏｎｏｆｔｈｅｖｉｓｕａｌｐｅｒｃｅｐｔｉｏｎｃｏｍｐｌｅｘｉｔｙｏｆ

ｄｒｉｖｉｎｇｅｎｖｉｒｏｎｍｅｎｔｓｆｏｒａｕｔｏｎｏｍｏｕｓｖｅｈｉｃｌｅｓ

(１.ＫｅｙＬａｂｏｒａｔｏｒｙｏｆＲｏａｄａｎｄＴｒａｆｆｉｃＥｎｇｉｎｅｅｒｉｎｇｏｆｔｈｅＭｉｎｉｓｔｒｙｏｆＥｄｕｃａｔｉｏｎꎬＴｏｎｇｊｉＵｎｉｖｅｒｓｉｔｙꎬＳｈａｎｇｈａｉ２０８１０４ꎬＣｈｉｎａꎻ

２.ＤｅｐａｒｔｍｅｎｔｏｆＣｉｖｉｌＥｎｇｉｎｅｅｒｉｎｇꎬＮａｔｉｏｎａｌＵｎｉｖｅｒｓｉｔｙｏｆＳｉｎｇａｐｏｒｅꎬＳｉｎｇａｐｏｒｅ１１７５７６ꎬＳｉｎｇａｐｏｒｅ)

ＹＵＲｏｎｇ￣ｊｉｅ

１

ꎬＺＨＡＯＳｕｉ￣ｙａｎｇ

１

ꎬＤＯＮＧＨａｏ￣ｒａｎ

２

Ａｂｓｔｒａｃｔ∶Ｔｏｓｕｐｐｏｒｔｔｈｅｏｐｔｉｍａｌｓｅｌｅｃｔｉｏｎｏｆｐｕｂｌｉｃｔｅｓｔｉｎｇｒｏａｄｓｉｔｅｓａｎｄｐｒｏｖｉｄｅｉｎｓｔｒｕｃｔｉｏｎｓｆｏｒｉｍｐｒｏｖｉｎｇｄｒｉｖｉｎｇ

ｅｎｖｉｒｏｎｍｅｎｔｓｆｏｒａｕｔｏｎｏｍｏｕｓｖｅｈｉｃｌｅｓꎬａｑｕａｎｔｉｔａｔｉｖｅｅｖａｌｕａｔｉｏｎｍｅｔｈｏｄｆｏｒｄｒｉｖｉｎｇｅｎｖｉｒｏｎｍｅｎｔｖｉｓｕａｌｐｅｒｃｅｐｔｉｏｎ

ｃｏｍｐｌｅｘｉｔｙｗａｓｐｒｏｐｏｓｅｄ.ＢａｓｅｄｏｎｔｈｅｄｒｉｖｉｎｇｅｎｖｉｒｏｎｍｅｎｔｄａｔａｓｅｔｆｒｏｍＢａｉｄｕｓｔｒｅｅｔｖｉｅｗｍａｐꎬａｎａｕｔｏｍａｔｅｄｅｘｔｒａｃｔｉｏｎ

ｐｌａｔｆｏｒｍｏｆｓｔｒｅｅｔｖｉｅｗｉｍａｇｅｄａｔａｗａｓｅｓｔａｂｌｉｓｈｅｄｕｓｉｎｇａｓｃｒｉｐｔｆｉｌｅａｎｄｔｈｅｓｃｒｅｅｎｓｈｏｔｔｏｏｌＰｉｃＰｉｃｋ.Ｄｒｉｖｉｎｇｅｎｖｉｒｏｎｍｅｎｔ

ｄａｔａｏｆ５０ｔｙｐｉｃａｌＳｈａｎｇｈａｉｒｏａｄｓｏｆｄｉｆｆｅｒｅｎｔａｒｅａｓａｎｄｄｉｆｆｅｒｅｎｔｒｏａｄｇｒａｄｅｓｗｅｒｅｃｏｌｌｅｃｔｅｄ.Ｔｈｅｎꎬａｎｅｌｅｍｅｎｔｐｅｒｃｅｐｔｉｏｎ

ｐｌａｔｆｏｒｍｏｆｄｒｉｖｉｎｇｅｎｖｉｒｏｎｍｅｎｔｗａｓｅｓｔａｂｌｉｓｈｅｄｆｒｏｍｆｉｖｅａｓｐｅｃｔｓ—ｐｅｄｅｓｔｒｉａｎｓꎬｔｒａｆｆｉｃｓｉｇｎｓꎬｒｏａｄｍａｒｋｉｎｇｓꎬｔｒａｆｆｉｃｌｉｇｈｔｓꎬ

ａｎｄｖｅｈｉｃｌｅｓ—ｔｏｑｕａｎｔｉｔａｔｉｖｅｌｙｅｖａｌｕａｔｅｐｅｒｃｅｐｔｉｏｎａｃｃｕｒａｃｙ.Ｂａｓｅｄｏｎｓｉｎｇｌｅ￣ｅｌｅｍｅｎｔｐｅｒｃｅｐｔｉｏｎａｃｃｕｒａｃｙꎬｔｈｅｗｅｉｇｈｔｓ

ｆｏｒｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌｐｅｒｃｅｐｔｉｏｎｅｌｅｍｅｎｔｓｗｅｒｅｄｅｔｅｒｍｉｎｅｄｕｓｉｎｇｔｈｅｅｎｔｒｏｐｙｍｅｔｈｏｄꎬａｎｄｉｎｔｅｇｒａｔｅｄｐｅｒｃｅｐｔｉｏｎａｃｃｕｒａｃｙ

收稿日期:２０２１￣０５￣１１

基金项目:国家重点研发计划(２０１８ＹＦＢ０１０５２０５)ꎻ国家自然科学基金重点项目(Ｕ１７６４２６１)

作者简介:余荣杰(１９８９—)ꎬ男ꎬ副教授ꎬ工学博士ꎬ研究方向为驾驶行为、交通安全ꎬ智能网联汽车测评ꎮＥ￣ｍａｉｌ:ｙｕｒｏｎｇｊｉｅ＠ｔｏｎｇｊｉ.ｅｄｕ.ｃｎ

ａｔｔｈｅｒｏａｄｌｅｖｅｌｗａｓｃａｌｃｕｌａｔｅｄ.ＴｈｅｓｉｌｈｏｕｅｔｔｅｃｏｅｆｆｉｃｉｅｎｔｍｅｔｈｏｄａｎｄＫ￣ｍｅａｎｓ

＋＋

ｃｌｕｓｔｅｒｉｎｇａｌｇｏｒｉｔｈｍｗｅｒｅｕｓｅｄｔｏ

ｐｒｏｐｏｓｅｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｏｆｖｉｓｕａｌｐｅｒｃｅｐｔｉｏｎｃｏｍｐｌｅｘｉｔｙ.Ｒｅｓｕｌｔｓｓｈｏｗｅｄｔｈａｔｔｈｅｖｉｓｕａｌｐｅｒｃｅｐｔｉｏｎｃｏｍｐｌｅｘｉｔｙｏｆｔｈｅｒｏａｄ

ｎｅｔｗｏｒｋｉｎＳｈａｎｇｈａｉｃａｎｂｅｄｉｖｉｄｅｄｉｎｔｏｔｈｒｅｅｌｅｖｅｌｓ.Ｔｈｅｍａｊｏｒｉｔｙｏｆｄｒｉｖｉｎｇｅｎｖｉｒｏｎｍｅｎｔｖｉｓｕａｌｐｅｒｃｅｐｔｉｏｎｃｏｍｐｌｅｘｉｔｉｅｓｏｆ

ｒｏａｄｓｂｅｌｏｎｇｔｏｌｅｖｅｌ２.Ｉｎａｄｄｉｔｉｏｎꎬｃｏｍｐａｒｉｓｏｎｓａｍｏｎｇｒｏａｄｓｏｆｄｉｆｆｅｒｅｎｔｇｒａｄｅｓｉｎｄｉｃａｔｅｄｔｈａｔｔｈｅｖｉｓｕａｌｐｅｒｃｅｐｔｉｏｎ

ｃｏｍｐｌｅｘｉｔｙｏｆｌｏｃａｌｒｏａｄｓｉｓｇｅｎｅｒａｌｌｙｌｏｗｅｒｔｈａｎｔｈａｔｏｆａｒｔｅｒｉａｌｒｏａｄｓ.

Ｋｅｙｗｏｒｄｓ∶ｖｉｓｕａｌｐｅｒｃｅｐｔｉｏｎｃｏｍｐｌｅｘｉｔｙꎻｃｏｍｐｌｅｘｉｔｙｃｌａｓｓｉｆｉｃａｔｉｏｎꎻｐｅｒｃｅｐｔｉｏｎｋｅｙｅｌｅｍｅｎｔｓꎻｄｒｉｖｉｎｇｅｎｖｉｒｏｎｍｅｎｔꎻ

ａｕｔｏｎｏｍｏｕｓｖｅｈｉｃｌｅｓ

　　自动驾驶汽车作为具有环境感知、规划决策、控制执行等功能的自动化物理信息系统ꎬ目前正处于规模

化开放道路测试与示范运行服务阶段ꎮ然而ꎬ美国加州的自动驾驶汽车开放道路测试安全报告表明ꎬ在自动

驾驶脱离事件中ꎬ系统故障是最常见的脱离原因ꎬ而系统故障中ꎬ感知系统故障占据主要原因

[１]

ꎮ自动驾驶

感器ꎬ是自动驾驶汽车中不可或缺的核心模块

[２]

ꎬ而自动驾驶汽车与人类驾驶者的视觉感知机理、视觉认知

局限等存在明显差异

[３]

ꎮ因此ꎬ自动驾驶汽车的规模化推广应用ꎬ需从自动驾驶汽车视觉感知视角开展道

路优选、场景评估等相关研究ꎮ

目前ꎬ国内外已经开展面向自动驾驶汽车的道路分级方法、驾驶要素场景评估等研究ꎮ２０１４年Ｎｉｔｓｃｈｅ

等

[４]

通过文献调研与网络问卷对自动驾驶汽车驾驶环境中的道路标线、交通标志、天气状况等多要素展开

安全性评估研究ꎮ２０１８年北京市发布的«北京市自动驾驶车辆测试路段道路要求(试行)»

[５]

根据驾驶场景

特征指标对自动驾驶测试路段道路进行评估分级ꎮ２０１８年深圳市制定的«深圳市智能网联汽车道路测试开

放道路技术要求(试行)»

[６]

将人、车、路、环境等４类因素纳入到道路交通复杂度评价中ꎮ２０１８年Ｒｏｘａｓ

等

[７]

从计算机视觉感知角度出发ꎬ对驾驶环境中交通标志的认知效果进行评估ꎬ以维持道路中交通标志系

统的标准化ꎮ２０１９年Ｌｕ等

[８]

通过开展自动驾驶汽车驾驶场景评估ꎬ对道路标线、交通标志、交通信号灯等

感知要素提出标准化的要求ꎮ然而ꎬ上述道路分级方法是从驾驶场景特征进行定性分级ꎬ尚未形成系统化、

标准化的评价方法ꎬ而场景要素评估侧重于静态驾驶环境ꎬ忽略动态驾驶环境的影响ꎮ因此ꎬ本研究从自动

驾驶视觉感知的角度出发ꎬ开展道路驾驶环境视觉感知复杂度评估ꎬ根据视觉感知结果实现道路视觉感知复

杂度分级ꎮ

考虑到现阶段自动驾驶道路测试受到交通管制、样本量、成本等条件限制ꎬ本文以计算机视觉模拟自动

驾驶汽车环境感知ꎬ从视觉感知结果出发ꎬ针对城市路网展开驾驶环境视觉感知复杂度研究ꎮ主要内容包括

构建自动化街景图像数据提取平台ꎬ获取上海市典型城市道路街景图像样本数据ꎻ针对感知关键要素构建驾

驶环境要素感知平台ꎬ并以感知准确率作为感知精度评估指标ꎬ采用熵权法对感知关键要素进行赋权计算综

合感知准确率ꎻ基于Ｋ￣ｍｅａｎｓ

＋＋

聚类算法对综合感知准确率进行分级ꎬ建立城市路网驾驶环境视觉感知复杂

度分级标准ꎮ

汽车通过摄像头、雷达等多源传感器进行环境感知ꎬ其中基于摄像头的视觉感知作为图像信息密度最高的传

１　数据获取

１.１　街景图像数据获取

自动驾驶汽车环境视觉感知的测试数据源是以城市道路为单元、街景图像为单位ꎬ要求图像清晰连续ꎬ

能表征道路的整体特性ꎮ为此ꎬ以百度街景地图作为车载视角的驾驶环境图像数据源ꎬ搭建自动化街景图像

数据提取平台ꎬ在脚本文件与截图工具ＰｉｃＰｉｃｋ的基础下ꎬ采用连续截取、自动保存的方式获取指定道路街

景图像数据集ꎬ实现图像高效获取以及数据连续性ꎬ技术路线如图１所示ꎮ在自动化提取平台下ꎬ图像获取

速度可达到２０~２５张/ｍｉｎꎬ图片为ＰＮＧ格式ꎬ分辨率为８５１

×

６１０ꎮ

图１　自动化提取平台技术路线

Ｆｉｇ.１　Ｔｅｃｈｎｉｃａｌｒｏｕｔｅｏｆａｕｔｏｍａｔｅｄｅｘｔｒａｃｔｉｏｎｐｌａｔｆｏｒｍ

以上海市路网为例ꎬ选取５０条典型道路ꎬ在自动化提取平台中得到８９１９张驾驶环境数据ꎬ图像平均截

取距离在１０ｍ左右ꎮ由于街景图像具有景深ꎬ延伸范围远超过１０ｍꎬ因此ꎬ１０ｍ左右的平均截取距离能表

征道路驾驶场景的完整信息ꎮ

１.２　感知关键要素测试数据获取

１.２.１　驾驶环境要素感知平台

驾驶环境作为自动驾驶汽车规划决策的信息依据ꎬ包括静态驾驶环境、动态驾驶环境两大类

[９]

ꎮ静态

驾驶环境主要有交通标志、标线ꎬ动态驾驶环境主要有红绿灯、车辆、行人、天气ꎮ２０１８年北京市出台的«北

京市自动驾驶车辆道路测试能力评估内容与方法(试行)»与上海市出台的«上海市智能网联汽车道路测试

管理办法(试行)»在自动驾驶汽车测试内容、评估项目上虽有所区别

[１０]

ꎬ但在感知层面集中在交通标志、交

驶环境要素感知平台ꎮ行人方面ꎬ方向梯度直方图

＋

支持向量机(ＨＯＧ

＋

ＳＶＭ)的方法被认为是行人检测的标

准方法

[１１]

ꎮ车辆方面ꎬ２０１６年Ｆａｎ等

[１２]

采用快速卷积神经网络进行车辆识别ꎬ在ｋｉｔｔｉ数据集下不同车辆检

测难度的准确率依次为９５.１４％、８３.７３％和７１.２２％ꎮ红绿灯方面ꎬ２０１６年Ｍｏｉｚｕｍｉ等

[１３]

基于ＲＧＢ色彩空间

分割实现信号灯识别ꎬ该识别流程简单ꎬ漏检较少ꎬ拥有较高的识别效果ꎮ交通标线方面ꎬ２０１７年郭笙听

等

[１４]

基于Ｈｏｕｇｈ变换和卡尔曼滤波进行车道线识别ꎬ车道线检测准确率可达９４％ꎬ对不同路况、光照条件下

的车道线均具有较好的适应性ꎮ交通标志方面ꎬ２０１９年Ｒａｊｅｎｄｒａｎ等

[１５]

采用ＹＯＬＯｖ３物体检测算法对德国

交通标志检测识别数据集进行检测ꎬ平均精度均值ｍＡＰ达到９２.２％ꎬ具体算法及原理如表１所示ꎮ并对街

景图像进行感知测试ꎬ测试样例如图２所示ꎮ

表１　感知关键要素识别算法及原理

Ｔａｂｌｅ１　Ｒｅｃｏｇｎｉｔｉｏｎａｌｇｏｒｉｔｈｍｓａｎｄｐｒｉｎｃｉｐｌｅｓｏｆｐｅｒｃｅｐｔｉｏｎｋｅｙｅｌｅｍｅｎｔｓ

要素分类感知关键要素

行人

动态驾驶环境车辆

红绿灯

静态驾驶环境

交通标线

交通标志

关键算法及原理

ＨＯＧ

＋

ＳＶＭ的行人检测算法

[１６]

快速卷积神经网络

[１７]

ＲＧＢ色彩空间分割

[１８]

Ｈｏｕｇｈ变换与卡尔曼滤波

[１９]

ＹＯＬＯｖ３目标检测算法

[１５]

通标线、红绿灯、车辆、行人５方面ꎮ因此ꎬ针对这５类感知关键要素ꎬ参照现有典型识别技术及算法构建驾

图２　感知关键要素测试样例

１.２.２　交通要素感知评估方法

Ｆｉｇ.２　Ｔｅｓｔｓａｍｐｌｅｓｏｆｐｅｒｃｅｐｔｉｏｎｋｅｙｅｌｅｍｅｎｔｓ

视觉感知复杂度评估需要通过量化要素感知精度实现ꎮ对于行人、车辆、红绿灯、交通标志ꎬ感知检测方

法是确定要素轮廓ꎬ常采用精确率、召回率、准确率、Ｆ１分数等作为算法识别度量指标ꎮ在上述评价指标中ꎬ

准确率是被正确预测为正例数与全部样例的比值ꎬ能反映算法识别的真实水平ꎮ一般机器学习性能评估时ꎬ

数据集通常包括正负样本ꎬ预测结果以图像数为单位ꎮ而实际道路感知准确率计算时ꎬ并不存在正负样本的

分组对照ꎬ无需考虑将负例正确预测为负例(ｎ

ＴＮ

)的情况ꎬ并且单张图像中可能包含多个同一要素ꎬ因此ꎬ行

人、红绿灯、交通标志以及车辆的感知精度是以要素个数为单位ꎬ感知准确率(ｐｅｒｃｅｐｔｉｏｎａｃｃｕｒａｃｙ)Ｐ计算公

式如下:

Ｐ

＝

ｎ

ＴＰ

＋

ｎ

ＦＮ

＋

ｎ

ＦＰ

ｎ

ＴＰ

ꎬ(１)

式中ꎬｎ

ＴＰ

为将正例正确预测为正例的要素个数ꎬｎ

ＦＮ

为将负例错误预测为正例的要素个数ꎬｎ

ＦＰ

为将正例错

误预测为负例的要素个数ꎮ

交通标线的检测方法是拟合车道标线ꎬ识别评判方法有横向偏差、角度偏差、重叠道路区域等ꎬ但缺乏统

一的判断标准

[２０]

ꎮ根据«公路项目安全性评价规范»

[２１]

ꎬ车道保持是车辆行驶尤其是在平曲线段行驶的主

为此ꎬ借鉴自动驾驶横向控制下车道保持的安全距离１７５ｍｍ作为偏移阈值

[２３]

ꎬ从自动驾驶感知的视角判断

目前自动驾驶横向控制误差最大在１００ｍｍ左右

[２４]

ꎬ同时车道标线宽度为１５０ｍｍꎮ因此ꎬ从车道标线中心

线出发ꎬ车道识别值与真值之间相对位置的容许横向偏移范围为(

－

１５０ꎬ１５０)ｍｍꎬ当视觉偏差在该范围内

即可实现车道保持的目的ꎮ基于逆透视变换生成车道标线鸟瞰图ꎬ如图３所示ꎮ判断单边车道标线完全处

于横向偏移容许范围内以及虚实线判断是否正确ꎬ单边车道标线感知准确率结果为０/１分布ꎬ以左右侧准确

率平均值作为车道标线感知准确率:

Ｐ

＝

Ｐ

左

＋

Ｐ

右

２

ꎮ(２)

要目的ꎬ而横向偏移常被用来表征横向位置的稳定性

[２２]

ꎬ但对于偏离大小的标准ꎬ实际上没有明确的规定ꎮ

识别结果能否支持汽车的横向控制ꎮ而自动驾驶车辆横向偏差是由感知偏差和控制误差等诸多误差叠加ꎬ

图３　车道识别鸟瞰图

　　基于驾驶环境要素感知平台以及单要素感知准确率计算方法ꎬ对上海市５０条典型道路８９１９张街景图

像数据进行单要素感知精度量化ꎬ感知准确率结果如图４所示ꎮ

Ｆｉｇ.３　Ｂｉｒｄ′ｓｅｙｅｖｉｅｗｉｍａｇｅｏｆｌａｎｅｄｅｔｅｃｔｉｏｎ

图４　感知关键要素感知准确率

Ｆｉｇ.４　Ｐｅｒｃｅｐｔｉｏｎａｃｃｕｒａｃｙｏｆｐｅｒｃｅｐｔｉｏｎｋｅｙｅｌｅｍｅｎｔｓ

２　驾驶环境视觉感知复杂度量化模型

２.１　熵权法加权

在各类要素感知精度的基础上ꎬ为构建综合性视觉感知复杂度指标ꎬ需探索多要素融合和综合等级划分

等方法ꎮ鉴于自动驾驶汽车运行算法的黑箱特征ꎬ目前暂无法得知自动驾驶汽车视角下驾驶环境中各要素

相对重要程度ꎮ考虑准确率及其波动性是复杂度评估的两个重要维度ꎬ而熵权法是根据各指标差异程度确

定权重的客观赋权方法

[２５]

ꎬ可以将各要素感知准确率波动性纳入评估中ꎮ因此ꎬ本文采用熵值法建立了波

动性数据驱动下的客观权重赋值技术方法ꎮ熵值法要素赋权步骤如下ꎮ

æ

Ｐ

１１

ç

ç

⋮

ç

Ａ

＝

ç

Ｐ

ｉ１

ç

ç

⋮

ç

Ｐ

è

ｍ１