视觉技术在汽车焊点检测领域的应用

| 进 “国际汽车内外饰供应链群”，请加微  ，备注内外饰+公司名称+姓名+职位+手机号。

近年来，随着科技技术的不断迅猛发展，汽车市场的竞争越发激烈，各大汽车主机厂纷纷推出新车型以满足各类用户需求。而在汽车车身制造过程中，汽车焊点的质量一直是关注的重点，其质量控制会影响焊接几何尺寸精度、车身异响、刚性等指标，同时其检测方式一直采用人工抽检，存在一定的局限性。视觉技术虽已广泛应用于工业生产制造过程中的质量检测，但由于汽车本身结构的复杂性，对视觉系统光路设计、系统标定、算法开发等要求较高，应用程度远没有 3C、纺织等其他行业丰富。基于此，将视觉技术引入汽车焊点质量的检测，利用图像识别技术及深度学习模型解决行业难题[1]。

以某一车型的机舱总成关重焊点的检测为例，主要检测内容为焊点有无漏焊、焊点偏移量是否超差、焊点面积（含热成像区）以及焊点缺陷类别，以检测需求为导向，根据工位实际情况进行工装设计，根据检测需求进行算法开发，并在实验室完成软件及硬件集成后再部署于现场（图 1）。

机舱总成的尺寸约为 1 300 mm×800 mm，井深约为 50 mm，需检测的关重焊点共计 94 个，且无规律的分布在不同位置，因此决定将机舱总成分为 8个检测区域（图 2）。又因检测精度要求为 0.1 mm，由工作距离、井深、视场范围等参数，经计算后确定选择 8 个 1 200 万黑白相机，焦距 75，光圈 6。同时现场环境光源及零件型面的复杂性，使得零件表面的采光不均匀，故还需在左右两边各加一个LED 频闪光源。并根据工位现场情况，对相机工装支架进行设计，采用类似于门式的结构，左右各布置 4 个相机（图 3）。

4.1 缺焊检测

正缺焊检测可采用视觉领域中的图像识别技术，对图像进行对象识别，以识别各种不同模式的目标和对象的技术。其过程归纳起来主要包括 4个步骤：获取信息→信息预处理→抽取及选择特征→设计分类器及分类决策[2]。其中抽取及选择特征为 4 个步骤中最为重要的一步。本项目采用特征匹配的方式进行缺焊的检测，其原理可概述为将一副已知的小图像作为特征模板，然后在一副大图上寻找相应的目标（图 4）。

由于相机的位置及采集参数固定不变，零件每次到位的位置变化也在 0.5 mm 以内，故影响图像变化的主要因素为成像环境及焊点自身的变化，而又因在成像环境中加入了频闪光源及环境光的变化小，故成像环境对成像效果的影响可忽略，主要考虑焊点自身的变化。检测焊点对与模板的变化常有平移、旋转（角度）、尺度、仿射等，选取某一焊点质量较好的机舱总成零件，以每一关重焊点自身作为模板，采用特征匹配分方式对其进行有无检测。根据焊点工艺判定标准，经过计算转换，匹配参数中角度范围设置为-180°~180°，尺度范围 0.8~1.2，最小匹配分数 0.5，最终完成焊点有无的检测。

4.2 焊点偏移检测

同理以焊点质量较好的机舱总成零件作为模板，以此零件的焊点位置信息为基准点，其余零件的同一焊点位置与此基准点的 3D 距离偏差大于 5 mm，则视为焊点偏移超差（图 5）。因图像为二维像素点，故需进行标定转换，针对每一个被测焊点通过标定板标定生产特有的标定文件，导入标定文件转换后即可得到各焊点世界坐标系的位置，并由此判断是否超差。

标定板标定采用的是棋盘格标定，在已知棋盘格灰度图及其规格尺寸参数后，通过坐标转换公式计算出图像坐标系与棋盘格物理坐标系之间的映射矩阵、标定误差、标定状态等，其具体转换逻辑这里不做赘述，感兴趣的可查阅相关资料[3]。

4.3 焊点缺陷检测

目前，缺陷检测算法绝大多数均是基于深度学习理论实现，伴随着与日俱增的数据量、模型规模以及精度复杂度对视觉的冲击，深度学习对人工智能领域产生了巨大的影响，尤其是在 CV 领域的应用。因此，本次焊点缺陷分类通过深度学习方式实现。焊接过程产生的主要焊点缺陷特征包括飞溅、毛刺、边焊、扭曲、重焊，本次主要针对上述 5 种焊点缺陷进行识别。主要实现路径如下：

焊点缺陷数据集构建，通过图像 Blob 以及拷贝填充抠出图像中焊点，使用焊点来构建缺陷数据集，主要分为训练集和验证集。训练集通过数据增强方式（平移、翻转、旋转、缩放、Cut Mix、Cut?out 等）增大样本的多样性，以提高模型的鲁棒性、泛化性。模型训练前还需要将数据进行预处理，通过归一化或标准化等方式使数据分布统一，便于模型训练。

网络模型构建策略，图像特征的提取主要通过卷积网络实现，网络深度会直接影响到模型的识别能力。目前，深度学习的进展取决于初始权值选择，局部感受野，权值共享等，当使用更深层的网络时（例如>100），会出现反向传播时梯度消失的现象且层数越多，训练错误率与测试错误率反而会升高。因此本次采用 Resnets 网络，如图 6所示通过在一个浅层网络基础上加上恒等映射 x，反向传播得到的权重效果较差时，F(x)=0，由于存在恒等映射，H(x)=x,网络也不会退化，通过这样的网络结构，网络深度就可以增大[4]。

本次模型训练焊点缺陷构建数据集 14 461 张，训练样本12 448张，验证样本2 013张，通过迁移学习方式，加载 Resnet 在 Imagenet 的预训练模型为我们的初始权值，将网络的全连层输出类别更改为 6（飞溅、毛刺、边焊、扭曲、重焊、无缺陷），便可以进行6分类模型训练。通过训练生成的训练模型对验证样本进行验证，其中正确检出1 931张，正确率达95.9%，同时不存在漏检情况，满足检测需求[5-6]。

为了提升模型的检测精度，提高检测的准确率，基于现场采集图像本次增加了数据集样本，其中训练集新增数据 14 000 张，无缺陷样本 4 000张，缺陷样本每种 2 000 张，验证集新增样本 4 000张，样本占比与训练集一致，测试样本为 6 000。基于数据量较大，本次训练在搭载 GV100 的服务器中完成，训练超参数为：epoch 为 1000，Batch-Size 为 64，Learning-rate 为 0.001，Shuffle=True。训练完成后用新的模型检测测试集，正确检测图像4 935 张，准确率为 98.7%，无缺陷样本无错检[7-8]。

针对后期模型准确率提升，制定如下路径。

a.持续补充数据集，扩增样本数量；

b.增大数据集的差异性和随机性，同时采用多种数据增强方法提升数据泛化能力（噪声增加、仿射变换、亮度、对比度、饱和度变换等）；

c.调整网络结构，增加网络深度；

d.训练过程，超参数优化（batch-size、learning-rate、Adam/SGD、激活函数）。

为将检测结果可视化，基于 C#完成 UI 界面的开发，其效果如图 7 所示，该显示界面主要包括“图像显示”、“系统参数”、“算法平台”、“检测参数”、“用户管理”等。

“图像显示”主要为主界面显示，其中涵盖 8 个检测区域的检测内容，各区域检测结果均在其右下角显示，同时其判定结果也在其右下角显示为OK 或者 NG。当 8 个区域都 OK 时，其总的结果才为 OK。主界面还包含当前车型的信息及 VIN 码，并统计当前检测总数及 NG 总数，对 NG 信息及图像存储在后台，方便用户随时查找。

“系统参数”主要为设置检测方案的提取路径以及 NG 信息的保存路径。“算法平台”则为检测算法的逻辑及代码展示。“检测参数”界面可以对一些限定条件进行设置。“用户管理”则分为操作工、工程师及超级管理员三种权限，用户可根据不同密码进入不同系统从而获取不同的权限。

目前，焊装车间机舱总成工位焊点检测工作由人眼检测完成，基于焊点视觉系统的检测功能，可在该工位部署视觉系统。由于工位场地及围栏、光栅、电葫芦等相关设备设施限制，视觉系统实际工作距离约为 2.0 m，相机、光源需两侧分布与前期设计一致，相机位置角度微调即可满足采集要求。生产过程中，线体机器人将待检工件放置转台后，由 PLC 控制转台转动将工件置于检测区域，该工位节拍时间约为 40 s，系统通信、图像采集、图像处理及结果显示时间充裕。

根据前期已设计的工装支架进行加工，并于实验室完成安装，同时将 8 个相机及 2 个光源部署完成，并采集图片后对程序进行 DEBUG 操作，完成实验室的调试。

完成调试后，移植于生产线工位上。为保证图像的质量，针对现场环境进行相机的位姿及参数的调整，其中曝光时间设置为 12 000μs，打开Gamma 使能。然后建立与 PLC 的通讯连接，其中PLC 作为 TCP 客户端，进行信号的发送，信号内容包括触发信号 0/1，车型代码及零件 VIN 码，当零件转台到位后，停顿 2s，以防零件震动带来的影响。检测程序最为 TCP 服务端接收信号，对其进行编译，其中 0 为不触发，1 为触发拍照及检测程序运行。

将视觉技术引入到汽车焊点质量检测领域中，利用图像识别技术进行焊点缺焊的检测，同时焊点缺陷进行深度学习从而完成焊点缺陷检测及分类。从需求定义、方案设计、相机选型、光路设计，再到算法开发、现场部署等均自主开发完成，从而实现了对汽车焊点的智能化检测，大大地减少了人力，降低了生产成本，提高了检测质量及生产效率，这无疑将视觉技术应用在汽车生产制造过程中的发展注入了一针强心剂[9]。