深度学习及自动驾驶应用_徐国艳;王章宇;周帆 编著_AZW3_MOBI_EPUB_PDF_电子书(无页码)_徐国艳;王章宇;周帆 编著
内容节选
6.1图像分割概述 6.1.1 图像分割的分类 根据任务和输入数据类型的不同,图像分割可以细化为以下三种具体任务:语义分割、实例分割、全景分割,如图6.1所示。其中,语义分割主要是对图像中每一个像素点进行类别预测;实例分割则是在目标检测的基础上融合了语义分割,在每个预测框中勾勒出对应的“实例”;全景分割则是融合了语义分割与实例分割,既要把所有目标都检测出来,又要区分同类别中的不同实例。 图6.1 图像分割分类 当输入的数据从静态图像变为视频时,图像分割又有了新的两类任务:视频目标分割和视频实例分割。视频目标分割往往是在视频片段中的每一帧都进行单个对象的检测与分割,后者则是对视频片段中的每一帧都进行多个对象的检测与分割。图像分割技术现已在多个领域中得到应用,如安防领域的人像分割、自动驾驶领域的车道检测、医学图像中的病理分析、工业领域的质检环节等。 6.1.2 图像分割方法的发展 语义分割是图像分割方法的基础,实例分割、全景分割在某种程度上其实是语义分割与目标检测算法融合的应用。因此,本章接下来所说的图像分割与图像分割方法,若无特殊说明,均指语义分割和语义分割方法。 图像分割算法与目标检测算法一样,存在着传统图像分割算法与基于深度学习的图像分割算法两大类,如图6.2所示。 图6.2 图像分割算法的分类 1.传统图像分割算法 传统图像分割方法简单有效,经常作为图像分割的预处理步骤,快速提取图像信息,提升图像分割任务的效率。传统的方法主要有:基于阈值的方法、基于边缘的方法、基于区域的方法、基于聚类的方法、基于图论的方法等。 1)基于阈值的图像分割方法,实质上是一种简单的统计方法。其根据图片的灰度统计直方图,将同一区间范围内的灰度值对应的像素认为是同一类。对于输入彩色的图片,既可以将其转化为单通道的灰度图,也可以对三个通道分别使用基于阈值方法的灰度值进行统计。基于阈值的方法对于画面内容单一、灰度分布均匀、对比度较高的图片效果较好,但对于复杂的图片、有噪声的图片效果较差,且对于阈值的设定提出了较高的要求。阈值的选择往往决定了算法最终的图像分割效果。 2)基于边缘的图像分割方法,就是筛选出图像中各个目标可能边界,筛选的依据是判断图像中某一像素点与相邻点像素值的差异。基于边缘的算法常常有两类:基于相似性准则的串行边缘检测;基于微分算子与卷积运算的并行边缘检测。其中,后者简单快捷、性能较好,目前是最常用的边缘检测算法。常见的边缘检测算子有Robert、Sobel、Prewitt等。 3)基于区域的图像分割方法,是一类利用图像空间信息与像素相似性特征构成区域的分割方法。常用的区域分割方法有区域生长法、分裂合并法。区域生长法首先选择一个种子区域作为生长起点,根据一定的生长规则(如颜色、纹理等)向附近具有类似特征的区域扩张,再将新的区域作为种子继续扩张,重复执行直到所有区域都不再生长为止。分裂合并法则首先将图像分成若干区域,再根据相似性准则进行分裂、合并,重复执行直到不再分裂合并为止。 4)基于聚类的图像分割方法,是将具有相似特征的像素点聚集到同一区域,重复执行聚类过程,最终将像素点聚集到几个不同的类别中,实现对图像的分割。随着图像分割任务越来越复杂,聚类分割技术也在不断地发展。2012年,Achanta等提出的简单线性迭代聚类(Simple Linear Iterative Clustering,SLIC)算法,通过像素点距离、颜色相似度,聚类生成“超像素”,进而实现图像分割。该方法还适用于位姿估计、目标跟踪与识别等场景,是图像处理的一种经典方法。 5)基于图论的图像分割方法,其基本思想是将分割问题转化为图的划分问题,通过对目标函数的最优化求解,得到最终的分割结果。以经典的Graph Cut算法为例,其将图论中的“最小割(min cut)”问题引入图像分割,将图像分为前景和背景,并转化为S-T无向图,通过分割操作来减小目标函数值。通过不断迭代找到使目标函数最小的分割操作,从而实现图像分割。 除了介绍的以上几类算法,传统的图像分割算法还有许多基于特定理论的方法,如形态学、遗传算法、小波变换、模糊理论等。随着对分割任务要求的提高,图像分割方法也不断推陈出新。 2.基于深度学习的图像分割算法 基于深度学习的图像分割算法有两类:一类是直接对图像进行卷积运算;另一类是对图像建立图表征后再进行图卷积运算。 直接对图像进行卷积运算的代表算法有FCN、U-Net、Seg-Net、DeepLab系列等。2015年,Long J.等人首次将深度学习方法引入图像分割领域的方法(即FCN网络),其去掉了DNN中最后的全连接层,再经过上采样得到了图像分割结果。Ronneberger O针对医学图像中的分割问题,提出了U-Net方法,这是首个采用“Encoder-Decode......
- 信息
- 前言
- 二维码使用说明及清单
- 第1章 汽车自动驾驶技术概述
- 1.1 汽车自动驾驶技术分级及发展现状
- 1.2 汽车自动驾驶技术架构
- 1.3 汽车自动驾驶领域深度学习应用概述
- 思考题
- 第2章 深度学习基础及实践
- 2.1 神经网络简介
- 2.2 深度学习理论基础
- 2.3 深度学习框架
- 2.4 实践项目:DNN车辆识别项目
- 2.5 实践项目:基于DNN的自动驾驶数据集分类
- 思考题
- 第3章 卷积神经网络理论及实践
- 3.1 全连接神经网络的问题
- 3.2 卷积神经网络理论基础
- 3.3 典型的卷积神经网络模型
- 3.4 实践项目:CNN斑马线检测项目
- 3.5 实践项目:基于残差网络的自动驾驶数据集分类
- 思考题
- 第4章 网络优化与正则化
- 4.1 优化方法
- 4.2 局部最优点问题
- 4.3 参数初始化方法
- 4.4 数据预处理
- 4.5 逐层归一化
- 4.6 超参数优化
- 4.7 网络正则化
- 思考题
- 第5章 基于CNN的自动驾驶目标检测理论与实践
- 5.1 目标检测概述
- 5.2 两阶段目标检测方法
- 5.3 单阶段目标检测方法
- 5.4 Anchor Free目标检测方法
- 5.5 自动驾驶目标检测技术应用及案例介绍
- 5.6 实践项目:基于YOLOv5的自动驾驶数据集目标检测
- 思考题
- 第6章 基于CNN的自动驾驶场景图像分割理论与实践
- 6.1 图像分割概述
- 6.2 FCN全卷积神经网络
- 6.3 U-Net/Seg-Net
- 6.4 DeepLab系列
- 6.5 图卷积网络方法
- 6.6 自动驾驶图像分割技术应用及案例介绍
- 6.7 实践项目:基于DeepLabV3+的自动驾驶数据集图像分割
- 思考题
- 第7章 循环神经网络及自动驾驶车辆换道行为预测应用
- 7.1 循环神经网络概述
- 7.2 长期依赖和门控RNN
- 7.3 深层循环神经网络
- 7.4 双向循环神经网络
- 7.5 结合注意力机制的RNN结构
- 7.6 基于LSTM网络的车辆换道行为预测
- 7.7 实践项目:基于循环神经网络(GRU/LSTM)的车辆轨迹预测
- 思考题
- 第8章 基于Transformer的自动驾驶目标检测理论与实践
- 8.1 Transformer及自动驾驶应用概述
- 8.2 从编码器-解码器结构到注意力机制
- 8.3 Transformer模型
- 8.4 Vision Transformer模型
- 8.5 基于Transformer的视觉和激光雷达融合目标检测案例介绍
- 8.6 实践项目:基于VisionTransformer的矿区自动驾驶场景目标检测
- 思考题
- 第9章 生成对抗网络及驾驶场景数据生成实践
- 9.1 生成对抗网络概述
- 9.2 生成器与判别器
- 9.3 生成对抗网络的主要分支
- 9.4 生成扩散模型(Diffusion Model)
- 9.5 实践项目:基于生成对抗网络的城市驾驶场景数据生成
- 思考题
- 第10章 强化学习理论及自动驾驶应用实践
- 10.1 强化学习概述
- 10.2 强化学习基础理论
- 10.3 表格型强化学习方法
- 10.4 值函数强化学习方法
- 10.5 策略梯度强化学习方法
- 10.6 强化学习自动驾驶领域应用案例
- 10.7 实践项目:基于强化学习的小车爬坡
- 思考题
- 参考文献