2024年5月23日发(作者：)
基于深度学习技术的智能化无人机视觉系统设计研究
RESEARCH ON THE DESIGN OF SMART UAV VISION SYSTEM BASED ON DEEP
LEARNING TECHNOLOGY
中国矿业大学 苏佳媛
传统无人机不能够对所获取的数据信息进行智能化处理
，
导致处理结
摘 要
：
果不够精准
，
抑制了相关工作的顺利开展
。
为了有效解决这类问题
，
本文以深
度学习技术为支持
，
对智能化无人机视觉系统的设计思路进行探究
，
通过将深
度学习技术中的协同神经网络这一思想应用到无人机的智能化中
，
能够让无人
机的目标识别
、
飞行控制
、
智能检测以及障碍规避得到一定程度的改良与优化
，
从而有效降低其实现难度
。
深度学习技术
；
智能化无人机
；
视觉系统设计
关键词
：
中图分类号
：
TP391 文献标识码
：
A
文章编码
：
1672-7053(2020)12-0152-02
The traditional UAV can not process the acquired data information
Abstract
：
intelligently, which results in the inaccurate processing results and the smooth
development of related work. In order to effectively solve these problems, this paper
takes deep learning technology as the theoretical support to explore the design
concept and design ideas of intelligent UAV vision system. By applying the idea of
collaborative neural network in deep learning technology to the intelligence of UAV,
it can make UAV target recognition, flight control, intelligent detection and obstacle
avoidance to a certain extent The degree of improvement and optimization, effectively
reducing the difficulty of its implementation.
Deep learning technology; Intelligent UAV; Vision system
Key Words
：
图1 智能化无人机视觉系统的组成
基本特征
。
同时智能化无人机视觉系统并不单单意味着对自身进
行智能化处理
，
在物联网之中同样能够产生至关重要的作用
，
为
相关通信提供传播媒介方面的支持
。
智能化无人机视觉系统主要
是以深度学习为技术基础
，
包含了上位机以及无人机飞行器这两
个部分
，
具体如图1所示
。
在无人机飞行器之中
，
主要包含了软件以及硬件
，
其中硬件
是由机载运动相机以及无人机飞行器这两个模块
，
无人机通过数
传电台来和地面站就所采集的数据信息进行交流与共享
，
而机载
运动相机则通过自身所具备的无线传导功能来和地面站建立联
系
[2]
。
为了有效避免紧急情况产生而引发的无人机失控现象
，
技
术人员会在智能化无人机之中添加一个遥控接收机这一装备
，
以
1相关概念概述
1.1深度学习技术
深度学习技术的全称是Deep Learning
，
在19世纪90年代
末逐渐成为了人工智能的热门研究领域
，
它是机器学习中的重要
组成部分
，
主要是通过神经网络来形成一个较为完善的机器学习
模式
，
结合底层组合特性来实现更高的属性类别表示
，
这样一来
所产生的数据信息就会以分布式特点的形式体现出来
[1]
。
在深度
学习之中最为关键的模型结构便是神经网络
，
由此能够看出深度
学习的本质在于堆叠一个又一个神经网络
，
让神经网络输入至输
出最长路径长度得以提升
，
进而构建一个完善的函数关系
。
深度
学习技术能够自动学习要建模数据的潜在分布的多层表达
，
其核
心技术是监督和非监督学习算法
，
通过这种监督和非监督学习算
法自动地学习到不同数据的多种特征
，
更好地表达数据
。
1.2智能化无人机视觉系统
智能化无人机视觉系统主要是指在该系统之中能够实现自主
飞行目的
，
充分摆脱相关技术人员的控制
，
体现出
“
无人
”
这一
作者简介
此来让地面站能够通过遥控器的使用来实现对无人机的接管
。
在
无人机云台之中会挂载一个具备较强专业性能的运动相机
，
无人
机飞行控制模块能够利用云台所提供的功能来对相机的实际拍摄
角度以及拍摄姿势进行合理地调整
。
而在无人机飞行器中
，
主要
是采取了RT-Thread这一实时操作系统软件
，
并且以此为基础将
原有的神经网络库以及机器视觉库相关数据信息进行了移植
，
以
此来完成视觉应用平台的搭建
，
能够给后续视觉应用开发奠定坚
实的理论基础
。
在智能化无人机视觉系统之中
，
主要是将平板设备当做上位
机
，
可以有效操作无人机以及机载运动相机
，
并且具备目标检测
以及图像处理这方面的功能
。
上位机主要是通过数传电台来和无
人机进行通信
，
所遵循的通信协议为MAVLink协议
。
上位机的地
面站软件能够对相继的拍摄进行全方位地控制
，
接受相机所拍摄
的图像并对其进行处理
。
2基于深度学习技术智能化无人机视觉系统设计思路
2.1搭建无人机硬件平台
苏佳媛/1995年生/女/江苏徐州人/硕士在读/研究方向为设计学
（
江苏徐州221116
）
152
/
INDUSTRIAL DESIGN
工业设计
本次研究主要采取了开源Pix Hawk飞控拼装制作而成的无
人机
，
主要包括了机载运动相机以及四旋翼无人机
，
其中四旋
翼无人机主要是将Pix Hawk作为核心
，
通过STM32F103以及
STM32F247为协助控制器以及主要控制器
，
其具体参数如表1
所示
。
表1 四旋翼无人机规格参数
设备名规格参数
飞行控制器PixHawk2.4.6
动力4个无刷电机
传感器GPS
通信433MHz数传电台
电源格式5300mAh 14.8V锂离子电池
相机主要是在挂载于四旋翼无人机云台下方
，
该搭建无人机
硬件云台能够适当调整翻滚角度
，
进而直接在地面总站台对相机
进行有效地控制
，
其主要参数如表2所示
。
表2 相机规格参数
指标名参数
处理器安霸A9SE
Wi-Fi双频2.4GHz/5GHz
，
802.11a/b/n
重量94g
图像最大分辨率3840X2160
2.2构建无人机实时操作系统
在智能化无人机之中
，
所采取的实时操作系统主要是RT-
Thread系统
（
Real-Time Thread
），
属于嵌入式实时多线程操作
系统的范畴
。
构建的无人机实时操作系统具备较为分明的架构以
及较高的模块化程度
，
相关技术人员能够较为轻易地对其进行剪
裁
。
与市场中应用较为广泛的Linux系统相比
，
RT-Thred系统有
着较高的实时性
，
较小的体积以及功耗
，
不会耗费大量的成本
，
且占用资源相对较小
，
启动速度更快
为低端的MCU之中
，
也能够应用于
并且RT-Thread
，
十分契合无人机应用于各
类资源受限的环境之下
[3]
。
ARM9
不单单能够应用于较
、
ARM11以及ARM
Cortex-A 系列级别的应用处理器之中
。
其实际结构如2所示
。
图2 RT-Thread操作系统的结构
从上图中能够得知
，
这一系统的核心部分在于内核层
，
主要
包含了内存管理
、
邮箱
、
多线程调度
、
定时器
、
消息队列等功能
；
libcpu / BSP主要是指硬件抽象层
，
主要包含了CPU移植以及外
设驱动
。
将RT-Thread操作系统应用于无人机操作系统之中
，
主
要有着以下几个方面的优点
：
一是属于硬实时系统的范畴
，
能够
充分迎合无人机在实时性方面的需求
[4]
进行最大地减少
，
具备自动化功耗控制这一功能
；
二是能够对系统的功耗
；
三是其网络协
议栈较为丰富
，
当前能够支持商场中的4G
、
5G移动通信
；
四是
多媒体软件包数量众多
，
处理相关图像信息更为便捷
；
五是提供
了数量众多的云SDK
，
和物联网有着密切的联系
，
使得云计算技
术能够有效应用于无人机之中
。
2.3提供深度学习技术支持
无人机所使用的深度学习框架应该对无人机硬件具有较好
的优化
，
同时尽可能地减少第三方的依赖
，
同时又要尽可能支持
主流的网络和模型
。
据此
，
移植移动端已有的深度学习框架是比
较合适的选择
。
本文通过移植腾讯的 ncnn 神经网络计算框架到
RT-Thread 操作系统
，
为无人机提供深度学习支持
。
ncnn 从设计
上考虑移动端的部署和应用
，
并且具有良好的跨平台性
，
无任何
第三方库依赖
，
不依赖 BLAS 等计算框架
。
ncnn 满足具有以下
优点
，
使其能作为智能化无人机深度学习支持平台
：
(1)支持大
部分常用的 CNN 网络
，
如主流的 VGG
、
Goog Le Net
、
Resnet
、
Squeeze Net
、
YOLO
。
(2)纯 C++ 实现
。
通常深度学习框架会
依赖 BLAS 和 LAPACK 等计算库
，
而后者部分代码往往使用
Fortran 语言编写
，
难以移植
。
(3) ARM NEON 汇编优化
。
NEON
是 ARM Cortex-A 系列芯片中的一种 SIMD指令集
，
在单个 CPU
指令周期完成多组数据的运算
。
目前无人机设备常用ARM 芯
片
，
使用 NEON 指令集实现卷积层
、
全连接层
、
池化层等大部
分CNN 的关键层
，
能有效地提升计算性能
。
(4)通常卷积层在计
算卷积时
，
为利用优化过的高效的通用矩阵乘法函数
（
General
Matrix Multiplication
），
会将一个 H × W × C 的特征图拆分重组
为 N个 K2 × C 维向量
，
即一个
（
K2C
）
× N 的矩阵
，
其中 K 为
卷积核的长宽
，
同时将 D 个 K × K × C 的卷积核重组为一个 D
×
（
K2C
）
的矩阵
。
两个矩阵通过一个矩阵乘法得到一个输出矩
阵
，
再改变为相应输出的形状
，
得到输出张量
，
即完成出一个卷
积层的计算
。
这种计算卷积的方法会造成大量的数据冗余
[5]
ncnn 中卷积层采用原始的滑动窗口卷积实现
，
然后进行优化
。
在
，
避免在中间计算过程构造出较大的矩阵
，
减少内存占用
。
(5)整
体库体积较小
，
低于 500KB
。
无人机系统通常存储空间有限
，
如
Pixhawk仅提供 2MB 大小的闪存用于存储程序
，
而 Ardupilot 提
供的 Pixhawk 飞控固件仅 1.1MB
，
较小的第三方神经网络库可以
尽量降低对存储空间的要求
。
3结语
综上所述
，
传统无人机视觉系统中存在着一定的弊端
，
无法
深入处理所获取的各类数据信息
，
因此本次研究引入了深度学习
技术
，
在无人机视觉系统中移植了ncnn作为其深度学习的主要
框架
，
能够有效解决这类问题
，
并且维持无人机的稳定飞行
，
有
效提升无人机执行相关任务的质量及效率
，
值得大力推广
。
参考文献
[1]何金
，
丁勇
，
杨勇
，
等
．
未知环境下基于PF-DQN的无人机路径规划[J]
．
兵工自动化
，
2020
，
39
（
09
）：
15-21
．
[2]马玲
．
一体式六旋翼无人机机架设计及3D打印[J]
．
计算机产品与流通
，
2020
（
10
）：
288
．
[3]杨树峰
，
隋虎林
，
闫新
．
基于系留式无人机的高空基站通信系统设计与应用[J]
．
电子世界
，
2020
（
16
）：
136-137
．
[4]杨焰飞
，
曹阳
．
基于深度学习的无人机拍摄图像绝缘子目标检测[J]
．
激光杂志
，
2020
[5]
（
吴兆香
10
）：
，
63-66
欧阳权
．
，
41
，
王志胜
，
等
．
基于人工智能的无人机区域侦察方法研究现状与发展[J]
．
航空
科学技术
，
2020
，
31
（
10
）：
57-68
．
INDUSTRIAL DESIGN
工业设计 /
153
发布评论