百度网盘AI大赛-文档检测优化赛第7名方案

该项目针对百度网盘AI大赛文档检测优化赛，采用回归方式处理，利用Resetvd__+注意力双分支Linear层结构来解析文档四角坐标。通过数据预处理和模型调优，对比不同backbone、损失函数等，发现注意力双分支和Loss在评测中表现最佳，最终模型表现优异。

百度网盘AI大赛-图像处理挑战赛：文档检测优化赛

在基准的基础上，我们更换了基础组件，采用预训练的Resetvd__模型来实现对图片中文档拐角坐标的回归，成功地提升了百度网盘AI大赛-图像处理挑战赛：文档检测优化赛的表现。

比赛链接

一、比赛介绍

在日常生活中，人们越来越依赖手机进行文档的快速扫描。为了提升用户的使用体验，我们希望借助先进的算法和深度学习技术，自动消除拍照时的杂乱环境并精准地定位文档边缘。这需要选手们训练一个智能模型，使其能够识别给定的真实场景中带有拍摄背景的照片，并最终输出处理后的扫描结果图片。

评测方式说明

参赛者提交的代码和模型仅预测文档边缘的heatmap图，后台评测脚本利用内置算法推导出文档区域的四个顶点坐标，并绘制规则四边形与GT进行IoU计算。 尽管两种评测方法的结果会并入同一排行榜中，预设的角点回归算法仍可能存在局限性。为争取更高评分，建议采用第二种评测方式。

二、赛题分析

本次比赛需要选手设计一种算法，在提供图片中找出一个最佳的四边形区域，使该区域尽量包含和对应图片上的文档内容。

因此，本次任务能够同时被视为回归和分割问题。对于回归部分，我们需构建模型以精确地确定四个角点的(x y x y x y x y坐标，并使用L失、L失等指标对模型进行优化。而在分割任务中，则将数据中的segments作为标签，直接训练并设计分割模型。最后，通过预测的heatmap图来回归出角点坐标。

我们将此次任务视为回归问题，并采用Resetvd__+注意力双分支Linear层构建的网络处理，以恢复并定位四个角落的精确位置。

三、数据处理

获取数据

In []

! wget https://staticsns.cdn.bcebos.com/amis/2022-4/1649731549425/train_datasets_document_detection_0411.zip! unzip -oq /home/aistudio/train_datasets_document_detection_0411.zip! rm -rf __MACOSX ! rm -rf /home/aistudio/train_datasets_document_detection_0411.zip登录后复制

构造数据读取器

通过paddle.io.dataset构造读取器，便于读取数据。

数据预处理包括：依据data_info.txt中的边缘轮廓信息，分别获取四个角点的X、Y坐标的精确坐标。接着，对图像进行尺寸调整与数据增强（如调节亮度对比度），以增加模型训练的多样性和效果提升。

查看数据

通过get_corner函数得到四个角点的x,y坐标 In [1]

def get_corner(positions, corner_flag, w, h): # corner_flag 1:top_left 2:top_right 3:bottom_right 4:bottom_left if corner_flag == 1: target_pos = [0,0] elif corner_flag == 2 : target_pos = [w,0] elif corner_flag == 3 : target_pos = [w,h] elif corner_flag == 4 : target_pos = [0,h] min_dis = h**2+w**2 best_x = 0 best_y = 0 for pos in positions: now_dis = (pos[0]-target_pos[0])**2+(pos[1]-target_pos[1])**2 if now_dis<min_dis: min_dis = now_dis corner_x = pos[0] corner_y = pos[1] return corner_x, corner_y登录后复制 In [2]

import os, cv2import numpy as np train_imgs_dir = '/home/aistudio/train_datasets_document_detection_0411/images/'train_txt = '/home/aistudio/train_datasets_document_detection_0411/data_info.txt'data_info = []with open(train_txt,'r') as f: for line in f: line = line.strip().split(',') image_name = line[0] img = cv2.imread(os.path.join(train_imgs_dir, image_name+'.jpg')) h, w, c = img.shape positions = [] for i in range(1,len(line),2): #从data_info.txt文件中获得该图片对应的边缘轮廓信息 positions.append([float(line[i]), float(line[i+1])]) label = [] for i in range(4): #从边缘轮廓信息提取出四个角点的x,y坐标 corner_x, corner_y = get_corner(positions, i+1, w, h) label.append(corner_x) label.append(corner_y) data_info.append((image_name+'.jpg', label, (w, h))) break登录后复制

通过对比算法从图像中提取并分析四个关键角点，确保其坐标与预期相符的有效方法之一是利用图像边缘轮廓信息和四边形中心点的x、y坐标。在验证这些角点位置是否准确时，可以将它们绘制在地图上，并使用蓝色圆圈标记边缘轮廓信息，红色线段连接对应的四个角点。此过程不仅直观地展示了提取结果的有效性，还为后续分析提供了清晰的视觉依据。

import matplotlib.pyplot as plt %matplotlib inline plt.figure() positions = np.array(positions) label = np.array(label) plt.plot(positions[:, 0], h-positions[:, 1], "ob") plt.plot(label[[0, 2, 4, 6, 0]], h-label[[1, 3, 5, 7, 1]], "r")登录后复制

[<matplotlib.lines.Line2D at 0x7f5444baadd0>]登录后复制

<Figure size 432x288 with 1 Axes>登录后复制

我们将所有数据处理和构造的代码整合到work/dataset.py文件中，并验证了Baseline的数据增强操作确实提升了部分性能。

四、模型实现

我们发现强大的backbone确实能提升性能，特别是在确保推理时间满足要求的前提下，我们选择了预训练的resnetresnetresnetResetvd__作为backbone。A榜上的成绩证明了，在Imagenet上效果更好的Resetvd__在本次任务中表现更佳。最初采用的模型结构如图所示。

在本次实验中发现，相较于单分支Linear层预测的结果，以注意力值作为权重求和的双分支Linear层预测效果更为显著。这种做法犹如样本自适应集成的效果，通过两个分支分别处理输入数据并根据权重加权求和来获取最终结果。如下图所示，为了保持简洁性，我们忽略了激活函数，并将两个分支的输出（outout进行求和后输入到两个线性层变换中。在此基础上，经过sigmoid函数的作用，我们将outout通道注意力系数进行逐通道加权求和，从而得到了最终的预测结果。关于模型性能指标方面，B榜显示在每张图片推理上耗时仅为，远低于比赛限制的最大时间长度。同时，我们测试到的参数量为，而对于单张小的输入图像进行浮点数运算，其计算量为。综上所述，双分支Linear层求和的方法在预测效果方面取得了明显优势，并且大大缩短了推理时间，使得模型具有更好的性价比。

代码实现如下所示：

class MyNet(paddle.nn.Layer): def __init__(self): super(MyNet,self).__init__() self.backbone = Res2Net_vd(layers=101, scales=4, width=26) state_dict = paddle.load("Res2Net101_vd_26w_4s_ssld_pretrained.pdparams") self.backbone.set_state_dict(state_dict) self.fc1 = paddle.nn.Linear(self.backbone.pool2d_avg_channels, 8) self.fc2 = paddle.nn.Linear(self.backbone.pool2d_avg_channels, 8) self.attn = paddle.nn.Sequential( paddle.nn.ReLU(), paddle.nn.Linear(8, 32), paddle.nn.ReLU(), paddle.nn.Linear(32, 8), paddle.nn.Sigmoid() ) def forward(self, img): y = self.backbone(img) y1 = self.fc1(y) y2 = self.fc2(y) coef = self.attn(y1+y2) y = y1*coef+y2*(1.-coef) return y登录后复制

完整代码见work/model.py

五、调优设置

我们对数据集进行了划分，将验证集上的最优模型用于提交测试。我们的实验结果显示，相较于A榜，测试miou相差了点。在尝试不同的超参数、模型结构和损失函数后，我们发现注意力分支优于单分支。此外，Loss优于Loss，而Reset表现也略好于resnet通过增加迭代次数和调整学习率以及衰减策略来优化训练过程，可以帮助模型更好地收敛。总之，我们的研究旨在探索并实现更优的模型参数选择，进一步提升模型性能。

基于角点的miou实现如下所示：

def cal_miou(bs, h, w, pred, label, mode='mean'): miou = 0 for i in range(bs): mask_pre = Image.new('L', (w, h), 0) draw = ImageDraw.Draw(mask_pre, 'L') corner_xy = [(pred[i, j]*w, pred[i, j+1]*h) for j in range(0, 8, 2)] draw.polygon(corner_xy, fill=1) mask_pre = np.array(mask_pre, dtype=np.float32) mask_gt = Image.new('L', (w, h), 0) draw = ImageDraw.Draw(mask_gt, 'L') corner_xy = [(label[i, j]*w, label[i, j+1]*h) for j in range(0, 8, 2)] draw.polygon(corner_xy, fill=1) mask_gt = np.array(mask_gt, dtype=np.float32) mul = (mask_gt*mask_pre).sum() iou = mul/(mask_gt.sum()+mask_pre.sum()-mul) miou = miou+iou if mode=="mean": return miou/bs elif mode=="sum": return miou登录后复制

criterion = paddle.nn.L1Loss()#MSELoss()登录后复制 In []

#划分训练集、验证集训练%cd work/ !python main.py --save_dir output/train_val --epochs 100 --learning_rate 3.0e-4 --use_schedule True --train_ratio 0.8%cd ../登录后复制 In []

#全料数据训练%cd work/ !python main.py --save_dir output/all_data --epochs 100 --learning_rate 3.0e-4 --use_schedule True%cd ../登录后复制

六、预测与结果提交

你需要提供具体的模型文件和预测结果，然后使用`predict.py`脚本来处理这个任务。它首先读取你的模型信息并进行预测，最后将结果以JSON格式保存下来。如果你有需要展示的预测结果图像，请将其也一并提交。

想要自定义训练模型，只需要将predict.py中的模型和process函数中的do something 替换为自己的模型内容即可。

提交分割模型时，取消predict中52行的注释部分即可保存分割后的图片信息

注意model.eval()不要漏掉，不然分数会下降10个点左右 In [2]

# 压缩并上传数据，以下是最终的B榜提交模型。请在工作目录中执行以下步骤： ```shell ! zip -r submit_detection.zip model_best.pdparams predict.py ```如果你已进入工作目录，请按以上提示操作。完成后，将zip文件夹命名为“submit_detection.zip”，并在同一目录下找到预测脚本predict.py。 示例输出： ``` zip： 上述路径未发现任何条目。 使用'cd'命令改变当前工作目录到/你的工作目录位置。 ```

/home/aistudio/work adding: model_best.pdparams (deflated 8%) adding: predict.py (deflated 73%) /home/aistudio登录后复制

以上就是百度网盘AI大赛-文档检测优化赛第7名方案的详细内容，更多请关注其它相关文章！

百度