基于DSP的蝗虫视觉神经网络碰撞预警实现研究

方案和预警装置发出预警信号。实验结果表明，该预警系统能有效对视域中可能发生的碰撞进行预警，无附加雷达、红外线设备，具有灵敏度高、可靠性好、处理速度快和抗干扰能力强的优点，对运动场景下安全预警有应用潜力。

关键词：碰撞预警；图像处理；蝗虫视觉神经网络；DM642

中图分类号：TP391.4 文献标识码： A

随着科学技术的快速发展，人们认识到仿生学是开辟新技术的一条重要途径。视觉是人体与外界沟通的重要途径，借助视觉行为的机理建立人工视觉模型，并应用在图像处理、模式识别等学科中具有重要的科学价值[2]。随着生物学与计算机科学的发展，众多科学工作者发现昆虫的生物结构虽然简单，但其追踪目标与回避障碍的能力相当出众。蝗虫是一种生存于热带、温带草地和沙漠地区的特殊昆虫[3]，主要危害禾本科植物，其生物视觉特征已受到来自人工智能、计算机视觉领域科研人员的广泛关注。就其生物特性，小叶大型运动检测器（Lobula Giant Movement detector， LGMD）位于蝗虫视觉神经叶的中间神经元[4]，其对靠近的目标会产生强烈响应，而对于远离的目标只会有极其微弱的响应[5-6]。实验表明，LGMD是一种解决碰撞回避的有效生物灵感。基于此，Rind和Bramwell建立了一种LGMD神经网络模型[7]，能反映视觉区内目标逼近的程度，这对展开实际环境中碰撞检测研究具有深远意义。

虽然机器视觉的硬件开发尚处初级阶段，但其前景和工程意义引起了高度关注，并已在某些领域取得了突破，比如车牌识别[8]、驾驶辅助系统[9]、自动分拣系统、产品分级系统等[10]。这些已投入运用的产品都有着共同点：可靠性与实时性高。碰撞检测的研究包括如何建立计算模型检测即将到来的目标，以及如何对将来可能发生的碰撞作出假设与判断。现有的运动目标检测通常是利用模式识别、计算机几何等理论与方法[11]对视频图像中感兴趣的目标特征信息进行提取，但由于计算复杂度高、防噪声能力弱等原因，难以达到实时的要求。基于蝗虫的LGMD神经网络模型仅需要视频图像，不需要雷达、红外线检测目标的远近，且能高效检测逼近目标的程度，可应用于车辆碰撞检测问题。为此，本文基于美国德州仪器公司生产的TMS320DM642芯片，将LGMD神经网络模型在DSP平台上实现，使其能实时对运动场景下碰撞行为进行检测。

1 LGMD神经网络模型[12]

LGMD神经网络模型是基于蝗虫LGMD神经输入组织建立的，其任一部分都代表一个过程，该过程可能发生在蝗虫的眼睛或LGMD的树状分枝上。它包括光感受器、激励、抑制、求和这四组细胞和一个单独的LGMD细胞，该神经网络模型如图1所示。

圖1由四层细胞构成，第一层（P层）为光感应器细胞层，其接收输入图像中各像素点（x，y）的亮度Lf，并向下一层输出图像序列间的光亮度变化值Pf。

Pf（x，y）=Lf（x，y）-Lf-1（x，y），

视频采集：CCD摄像机采集模拟视频图像，传送到TVP5150视频解码器，经过A/D转换成BT.656视频数据流，送入DM642视频口解码得到包含灰度与色彩信息的YCbCr格式图像，将其储存在SDRAM中以待使用。

视频显示：将SDRAM中的视频图像数据传送至SAA7121编码器实现D/A转换，在液晶屏上实时显示。

图像处理：芯片TMS320DM642是图像处理模块的核心，预警算法的计算工作在此完成。芯片从SDRAM读取图像数据，进行图像预处理、目标提取、LGMD网络计算以及预警判断。

报警：如果系统认为碰撞即将发生，则发出报警信号，报警灯亮。

预警算法。是碰撞预警系统得以实现的重要组成部分，其主要步骤如图3所示。预处理将原始图作灰度化和压缩处理。目标提取是影响预警准确率的重要模块，其清除图像中噪声后，通过一定的方式提取图像中的运动目标。LGMD网络首先接收来自目标提取模块中的图像灰度值，然后经由式（1）～（7）获得当前图像下的膜电压；预警判断是根据接收的膜电压和预警方案[12]，通过动态门限脉冲机制来确定，最终决定是否预警。

3 实验分析

测试样本由篮球视频序列构成。选取室内环境下篮球在摄像机视域中连续运动的65帧图像，在此呈现篮球进入视野后的运动轨迹，如图4所示。篮球在第34帧从视野左侧进入，自左向右运动直到第43帧消失于视野右侧，之后在第55帧自视野右侧进入并向着左侧运动，直到第64帧从视野左侧消失。

将以上视频序列用于VC++环境下LGMD神经网络预警系统和基于DSP的预警系统，对比检测LGMD神经网络移植于DSP硬件环境下的效果。

（1）PC平台实验

在Windows 7（CPU/3.30 GHz， RAM/2.98 G） /VC++ 6.0环境下展开实验。经由以上图像序列，获得LGMD神经网络的输出膜电压变化曲线如图5所示。

图5中，实线表示经由式（7）获得的膜电压变化曲线，虚线表示预警线，当实线描述的膜电压低于虚线对应值时，系统发出预警。经由实验获得的曲线可知，第0到第4帧为系统初始化时间，膜电压值置为0。第5到第33帧视野中无运动目标，膜电压值处于最低值。第34到第42帧，系统检测到视野中有运动目标，膜电压值迅速升高直至过预警门限，系统报警。第43至第54帧目标离开视野，膜电压下降，报警停止。第55至第64帧，系统再次检测到视野中有运动目标，发出报警。此实验结果与实际环境下应发出预警的情况一致，表明以上LGMD神经网络预警系统能正确给出篮球碰撞预警信号。

（2）DSP平台实验

使用VMD642（CPU/600 MHz， RAM/ 32 Mb）开发板展开实验，代码编写在Code Composer Studio v3.3上完成。同PC平台的实验一样，将以上视频序列作用于基于DSP的预警系统，获得系统中芯片TMS320DM642的输出变化曲线如图6所示。该图说明在第35～43、56～64帧系统发出预警，而其它情形尚未出现预警现象，此与实际情形一致。表明，以上硬件预警系统在篮球运动场景下能准确给出预警信号。

（3）对比分析

为检验算法移植的效果，将PC平台（图5）与DSP平台（图6）的实验结果进行对比。可以看出，DSP平台的膜电压值全程有轻微波动，而PC平台的膜电压值则很平稳。这是由于在图像预处理阶段使用了不同的图像去噪方法所导致。由于DSP平台对实时性要求高，为保证系统运行效率，选择了处理速度快的去噪手段。该方法的去噪速度快于PC平台的去噪速度，但运动目标提取的自然受到一定影响，使得膜电压值有波动，此在可控范围。由预警效果可知，DSP平台的预警系统同PC平台一样，都能正确及时地发出碰撞预警，没有出現虚警、误警现象。

4 结论

本文主要对已有LGMD神经网络碰撞预警系统的硬件实现展开研究。通过搭建基于DSP的硬件环境，将LGMD神经网络算法移植于芯片TMS320DM642中，无附加雷达、红外线设备，实现实时环境的预警发布。测试分析表明，该硬件系统能实时通过摄像头采集到的视频图像信息进行碰撞行为检测与预警，具有灵敏度高、可靠性好与处理速度快、抗干扰能力强，能给出安全预警信号，具有潜在的应用前景。

参考文献：

[1]孙久荣， 戴振东. 仿生学的现状和未来 [J]. 生物物理学报， 2007， 23（2）： 109-115.

[2]王红梅， 李言俊， 张科. 生物视觉仿生在计算机视觉中的应用研究 [J]. 计算机应用研究， 2009， 26（3）： 1157-1159.

[3]F C Rind， R D Santer， J M Blanchard， et al. Locust’s looming detectors for robot Sensors [M]. Vienna：Springer， 2003：237-250.

[4]M O’Shea， C H F Rowell， J L D Williams. The anatomy of a locust visual interneurone； the descending contralateral movement detector [J]. Journal of Experimental Biology， 1974， 60（1）： 1-12.

[5]G R Schlotterer. Response of the locust descending contralateral movement detector neuron to rapidly approaching and withdrawing visual stimuli [J]. Canadian Journal of Zoology， 1977， 55： 1372-1376.

[6]F C Rind， P J Simmons. Orthopteran DCMD neuron： a reevaluation of responses to moving objects. I. Selective responses to approaching objects [J]. Journal of Neurophysiology， 1992， 68（5）： 1654-1666.

[7]F C Rind， D I Bramwell. Neural network based on the input organization of an identified neuron signaling impending collision[J]. Journal of Neurophysiology， 1996，75（3）： 967-985.

[8]刘效静， 成瑜. 汽车牌照自动识别技术研究 [J]. 南京航空航天大学学报， 1998（5）： 573-577.

[9]贾慧星， 章毓晋. 车辆辅助驾驶系统中基于计算机视觉的行人检测研究综述 [J]. 自动化学报， 2007， 33（1）： 84-90.

[10]倪鹤鹏， 刘亚男， 张承瑞， 等. 基于机器视觉的Delta机器人分拣系统算法 [J]. 机器人， 2016， 38（1）： 49-55.

[11]赵文哲， 秦世引. 视频运动目标检测方法的对比分析[J]. 科技导报， 2009， 27（10）： 64-70.

[12]Shigang Yue， F C Rind. A collision detection system for a mobile robot inspired by the locust visual System[C]//IEEE International. Conference on Robotics and Automation， 2005： 3832-3837.

Research on DSP￣Based Locust’s Visual Neural

Network Collision Alarm Realization

LUO Rongcheng， ZHANG Zhuhong*

（College of Big Data & Information Engineering， Guizhou University， Guiyang 550025， China）

Abstract： A locust’s visual neural network collision alarm system， based on DSP was developed to solve the problem of collision alarm under movement environments. In this system， the video images of a moving scene were collected by a video collector； an image processor was used to extract moving objects in view， while the locust’s visual neural network captures the approaching object’s behaviors. A reported advance warning scheme was adopted to identify whether an alarm occurs. Experimental results have validated that the advance warning system cansend alarmsignals before a collision happens. It is of potential use for safety advance warning， with no additional radar or infrared instrumentations and the merits of low sensitivity， high reliability and efficiency as well asstrong anti￣jamming.

Key words： collision alarm； image processing； locust’s visual neural network； DM642

推荐访问： 神经网络 蝗虫 预警 碰撞 视觉