基于双目视觉和动态称重技术的包裹信息检测系统设计

摘要：为应对快递包裹业务量的急剧增长，解决传统收件场景下人工称重、测量体积的环节效率低问题，本文通过设计以双目视觉与动态称量技术为主要手段的包裹信息检测系统，并测试物流包裹在不同测试速度及测试高度情况下的质量和体积的检测精度。为保证较快的包裹信息检测速度，在速度为1.0m/s时平均相对误差为0.81%，满足1%以内的动态称重精度要求；900mm测量高度的平均相对误差为3.84%，满足包裹分拣5%以内的测量精度要求。

关键词：包裹、信息检测、动态称重、双目视觉、体积测量

一、背景介绍

国家邮政局公布的数据显示，2023年前11个月，我国月均快递业务量达107亿件。12月4日18时26分，一件从云南昆明寄往四川成都的鲜花快递成为2023年第1200亿件快递，年业务量再创历史记录[1]。快递行业的持续高位运行，给予处理快递包裹的快递公司很大的压力。

快递公司的主要服务职责，是接收客户的包裹后，高效、安全、无误地将其送到目的地客户手中。当前快递行业持续走高、同行竞争加剧，关键问题就是如何提高物流的输送效率。新冠疫情后，无接触收发快递柜的使用比重越来越大，更多人选择自助无接触快递柜寄件。快递公司每天接收大量的包裹，这些包裹的计费任务消耗掉大量人力物力，为提高服务质量和工作效率，必须在很短时间内按照包裹信息快速准确地核算包裹运单价，这样既能缩短包裹运输时间同时也能减轻库存压力，而包裹信息最重要的就是其体积与重量。

二、包裹信息检测

当前的包裹信息测量方式还是以人工为主，包裹重量是需人工放到秤上称取并记录数据；而体积数据则用卷尺大约测量，很多时候快递公司会使用标准包裹箱来解决包裹体积测量困难的问题，但这又一定程度上损害了消费者利益，所以设计一种准确、方便的包裹信息检测装置是十分必要的。物流行业需要加强自动化、智能化、模块化设备的应用，实现高效、快速、高质量的快递包裹信息检测[2]。

运用双目视觉技术，可得到包裹的体积信息。当人的双眼观察某个场景时，会对相同的目标场景形成视差，因而能够清晰感知到三维世界信息，而双目视觉技术就是模仿人眼，通过双目相机获取图像信息，计算出视差来感知三维世界的场景重建方法。基于三角测距原理[3]，采用两个镜头对同一目标物体进行同步拍摄，获取这个目标物体下，以不同视角的二维图像，然后对图像中位于不同成像位置的同一测量点，进行立体匹配找出对应的匹配点，从而获取包含场景三维信息的视差图，以视差图和相机的参数为基础，可以算出每个匹配点的深度信息，从而得到该场景下的三维立体模型[4]。

动态称重，即是在包裹于传送带运动时，实时检测包裹随机重量。包裹随机重量是指传送带在运行过程中，某一时刻传送带检测区域所测得的传送带托辊所受到的压力值，可以通过连续采样或者周期采样得到准确的测量值，而传送带的运行速度通常采用测速传感器获得。物体在传送带上某一时刻的重量，则通过该一时刻物体的承重和传送带速度的乘积得到[5]。电子皮带秤一般由承重装置、称重传感器、测速传感器、累计器四个部分构成[6]。

结合双目视觉技术和动态称重技术设计的包裹信息检测系统，很好地解决了包裹信息获取难、耗费人力的现实问题。

三、系统总体机构

完整的包裹智能分拣系统，一般由加速分离区、信息检测区、分拣区三个部分组成，三个部分的数据交互和紧密衔接才能实现包裹的正常分拣。

本文主要研究包裹分拣系统中包裹的信息检测环节，系统在正常运行的情况下，包裹传送至信息检测区时，由两端光电传感器控制包裹的信息检测过程，系统接收到前端光电传感器的触发信号时，开始对包裹进行动态称重、体积测量等采集任务，后端光电传感器检测到包裹输出时表示完成本次信息检测任务，由系统控制器对包裹数据进行相应处理，通过串口通信将数据发送至上位机交互界面，上位机可监测包裹检测状况并实现相应的基本控制任务。

根据实际的应用需求，结合场地及作业环节的不同，整体设计需要因地制宜。设计的包裹信息检测系统结构示意图，如图1所示。

图1 包裹信息检测系统结构示意图

考虑物流中小企业的操作空间和包裹自动分拣系统的工作环境，系统的设计指标，如表1所示。

表1 主要技术参数

四、包裹检测系统设计

1.硬件设计

包裹信息检测系统的硬件设计主要分为四个部分：系统控制器、数据检测装置、人机交互上位机、执行机构，具体如图2所示。

图2 系统硬件设计结构图

称重装置主要作用是对包裹进行动态称重，光电传感器触发信号控制称重过程，将采集到包裹的重量信号进行信号放大，进行低通滤波处理，经过A/D转换发送至STM32控制器。

体积测量装置主要任务是对包裹进行体积测量，由光电传感器触发信号控制包裹的测量过程。使用双目相机技术，将包裹的二维图像信息转换为三维立体模型，进而求取包裹的体积信息。

光电检测装置主要由前后两端的光电传感器组成，其作用是对包裹信息采集过程的控制。前端光电传感器负责识别包裹进入信息检测区并发出触发信号，后端光电传感器作为包裹信息采集过程的完成标志。

人机交互上位机通过串口通信和STM32控制器进行数据交互，主界面实时显示包裹检测数据，监测系统运行状态，并将包裹信息保存入数据库。上位机可对硬件模块进行参数设置，发送的指令信号，由STM32控制器对指令信号进行解析，实现对系统的启停和速度控制。

系统控制器由STM32主控芯片和各模块的硬件电路组成，主要作用是信号的处理和数据通信，初步采集包裹的检测信息，先对其进行滤波等处理；实现和上位机进行数据交互，接收上位机指令信号，完成相应的控制任务。

传送机构主要由电机驱动器、直流电机、传送带装置组成，主要用于包裹输送任务。STM32主控芯片作为系统控制电路的核心，电机驱动器通过RS 485总线和STM32主控芯片进行数据交互，实现对传送机构的速度控制。

（1）双目相机选型

选择双目相机时，首先需要考虑使用场合、拍摄场景，以及视场大小、检测物体的精度要求等因素来决定，本文选用USB3.0接口，UVC协议免驱动，型号为CAM-OV9714-6的双目相机模组，其分辨率最高为2560×960，输出帧率为30fps，简单使用一条USB数据线就能够和PC机建立连接。双目相机模组的技术参数，如表2所示。

表2双目相机技术参数

（2）称重传感器选型

称重传感器是通过敏感元件将称重过程中自身受到力的变化转换为电信号输出的装置，目前广泛应用在工业生产及自动化控制的多个环节，实现对物料的快速准确计量。根据传感器称重方式和原理的不同，可分为八种不同的类型，目前应用最为广泛的称重传感器有电阻应变式、陀螺仪式、电容式等。

称重传感器在传送皮带称重过程中，考虑到现场作业环境的恶劣因素，称重传感器的选择应该具备以下条件：

①测量精度高和稳定性好，秤台振动情况下传送带称重满足误差范围，而且各项系数漂移较小。

②温度范围和零点输出较小，设备可以在不同噪声、恶劣环境下工作。

③具有较好的抗偏载性能，传送带输送过程中包裹在传送带的摆放位置具有随机性，因此秤台四周的称重传感器受力分布不均匀的情况是不可避免的。

④频率特性和线性范围。通常传感器的频率特性取决于测量范围，在频率规定的范围内，必须保持测量的不失真，而线性范围指输出与输入之间的比例关系，通常线性范围越大，则其测量范围就会越大，同时可以保证称重过程的准确度[7]。本文设计选用中航电测公司型号为HM11-C3-10kg的电阻应变式称重传感器，主要参数如表3所示。

表3 电阻应变式称重传感器主要参数

2.软件设计

本文在包裹信息检测系统硬件电路设计的基础上，选择以STM32为主控芯片的控制系统，通过Visual Studio 2019为开发环境搭建上位机人机交互平台，STM32控制系统通过串口通信方式和人机交互上位机建立连接，实现包裹数据的实时显示，远程监测系统运行状态，以及实现基本的指令控制功能。

五、包裹信息检测方法

1.基于双目视觉的体积检测

本文依据双目视觉技术经过相机标定、图像预处理（包括图像灰度处理、图像滤波处理、二值化处理）、立体校正、立体匹配、三维重建等步骤[8]，再经过计算得到包裹的体积信息。

本文使用张正友标定法[9]对双目相机进行参数标定；使用平均值法对进行灰度化处理，形成的灰度图柔和，灰度值紧凑，内存占用较少；下一步使用中值滤波器有效去除脉冲噪声，包裹边缘细节清晰，缩短图像处理时间提高了算法效率；下一步使用Otsu大津法进行图像二值化处理，运算速度快，较好获取图像中的线边细节信息，图像的处理效果令人满意；进一步使用Bouguet方法进行立体校正，最大限度地减少两个图像重投影造成的误差，校正的主要目的让两个图像平面完全共面对准[10]。

通过比较，使用SGBM算法虽存在条纹拖尾现象，但是呈现图像清晰，边缘信息细节效果更好，没有出现遮挡区域和边缘模糊问题，视差图效果最好，如图3。本文主要在物流包裹分拣场合使用，图像背景较为简单，包裹需要实时进行传送，采集图像中存在的噪声比较大，对于检测时间要求比较高，因此选取匹配精度较高的SGBM算法进行图像匹配。

图3 立体匹配算法包裹视差图

本文采用Delaunay三角剖分算法[11]来实现模型的曲面重建。体积计算方法使用投影法进行包裹体积测量。采用积分的思想，包裹通过三维重建转化成三维立体模型，包裹三维模型和X-Y-Z平面形成一个闭合体其中，由包裹上表面组成正方形ABCD四个对应点坐标Z的平均值，获得每个四棱柱的高，包裹体积计算公式为：

2.动态称重包裹重量检测

对于动态称重的处理方式，可以将其划分为两种类型：一种是从称重系统出发，建立系统的机理模型，对机理模型的特征进行分析，从而获得物体的重量。第二种是从称重数据出发，利用现代的信号处理和滤波技术，对称重数据进行处理，消除干扰信号，从而得到符合误差要求的称重信息。本文利用惠斯通电桥电路采集称重信号，传送到STM32控制器进行分析处理，获得物体的称重信息。

称重传感器采用单托辊秤架的安装方式，将称重传感器对称安装在秤台的底座，动态称重信号如图4所示，可看出有很多的干扰信号，故设计一个巴特沃斯低通滤波在信号采集模块。为了使采集到的放大信号减少失真且更加稳定，本设计采用两个INA828芯片组成多级放大电路一级放大倍数为80倍，二级放大倍数为10倍。放大后的信号经过ADS1255芯片进行AD转换，进行卡尔曼迭代滤波以及滑动平均滤波得到理想的称重信息。

图4 动态称重信号分析

得到处理后的动态称重信息，使用积分法即可计算出通过动态称重得到的包裹的重量信息，信号传输到上位机中。

六、实验结果与分析

全部实验在光源充足的实验室内进行，在如图5基于本设计搭建的包裹信息检测平台。

图5 包裹信息检测平台

1.包裹体积测量

选用常规的箱体包裹作为实验对象，实验选择了三种不同的箱体包裹，尺寸分别为170×170×70、245×170×70、290×180×100（mm），即1、2、3组。双目相机的测量高度分别为700、900、1100（mm），每个高度均对三组包裹采集图像信息如图6。

表4包裹体积测量实验数据

图6包裹图像信息实验图像

表4所示为包裹体积测量实验数据，分别在三种不同的测量高度下，记录了三组包裹的长宽高和体积数据，并将系统测量和实际测量的数据进行比较分析。分别以不同高度对三组包裹进行实验测试，共获得9组包裹的体积测量数据，平均相对误差为4.43%，满足包裹分拣5%以内的测量精度要求。其中，700mm测量高度的平均相对误差为4.18%，900mm测量高度的平均相对误差为3.84%，把双目相机模组的测量高度设为900mm较为合适。当测量高度设为1100mm时，平均相对误差为5.27%，超出了测量精度的误差范围，在一定高度范围内，由于随着测量距离的增大时，相机的成像平面上目标物体透射的分辨率减少，导致立体匹配时精度减小，所以测量误差值变大。

2.包裹称重实验

称重传感器安装在传送皮的底部，本身需要承载着秤台机构的重量，为保证测量的准确性，在每次使用前需要对系统进行空载调零和满载校准。为了验证系统动态称重精度确保数据的有效性，实验设置了0.8m/s、1.0m/s、1.2m/s三种不同的速度下，分别选取325g、405g、475g、500g四组不同重量的箱体包裹，在三种不同的速度下对每组包裹进行3次重复称重实验，系统将原始包裹采集到的数据，通过数字滤波处理后得到的实验数据记录下来进行误差分析。

表5包裹动态称重实验数据

由表5实验结果可知，随着传送皮带速度不断增大，系统对包裹的称重误差逐渐增大，运行速度在0.8m/s时平均相对误差为0.60%，速度在1.0m/s时平均相对误差为0.81%，即满足1%以内的称重精度要求，而当速度在1.2m/s时平均相对误差为1.15%，不满足精度要求。当运行速度相同时，从四组不同包裹的称重测试数据来看，如包裹重量不超过系统最大量程时，符合预期的误差范围，因此包裹重量不是影响系统称重精度的主要原因。

七、结语

自动包裹信息检测是实现全自动计价、分拣的关键环节，采用双目视觉和动态称重技术设计的包裹信息检测系统，能够在一定误差范围内自动检测传送带上运动包裹的体积与重量信息，通过与上位机通信可以将包裹信息上传到计价系统，结合包裹目的地就实现了自动计算包裹运单费的功能。

经过实验测试表明，该系统在双目相机距离为900mm、传送带运行速度为100mm/s时，体积检测的平均相对误差为3.84%（﹤5%），重量检测的平均误差0.81%（﹤1%），该包裹信息检测系统具有较高实用价值。实现自动化和智能化的包裹信息检测及自动计价，能够大大提高物流中心对快递包裹的分拣效率，降低员工的劳动强度。

基金：企业研发基金资助（h20210250,h20230024,RD2213,h20210208）

参考文献:

[1]吉蕾蕾.快递业持续高位运行[N].经济日报,2023-12-22(006).

[2]康小伟.物流自动分拣系统的现状和应用前景探讨[J].中阿科技论坛(中英文),2020(12):73-75.

[3]王玉翰,金波.基于双目立体视觉的深度信息测量[J].机电工程技术,2015,44(03):34-38+49.

[4]宓逸舟.基于双目视觉的快递包裹体积计量系统[D].合肥工业大学,2018.

[5]初琦.带式输送机动态称重检测理论与试验研究[D].中国矿业大学（北京）,2014.

[6]宋伟刚.散状物料带式输送机设计[M].东北大学出版社,2000.

[7]李银平.基于STM32的动态称重分选系统的研发与实现[D].重庆大学,2017.

[8]陈宏洋.双目视觉深度信息提取及其关键算法研究[D].电子科技大学,2017.

[9]王利华,李亮亮,郭恒林.基于目标的相机标定方法[J].北京测绘,2021,35(03):372-375.

[10]李彪.基于双目立体视觉三维重建技术研究[D].西安科技大学,2018.

[11]Robotics; Investigators from Harbin Institute of Technology Report New Data on Robotics (Stereo Matching Algorithm Based on 2D Delaunay Triangulation)[J].Journal of Robotics Machine Learning,2015.