做开箱的网站深圳网站设计 建设首选

做开箱的网站,深圳网站设计 建设首选,门户网站建设定做,wordpress虚拟币插件Learning Discriminative Features with Multiple Granularities for Person Re-Identification 多粒度判别特征学习用于行人重识别 摘要 全局特征与局部特征的结合已成为提升行人重识别#xff08;Re-ID#xff09;判别力的核心手段。以往基于部件的方法主要致力于定位具有特…Learning Discriminative Features with Multiple Granularities for Person Re-Identification多粒度判别特征学习用于行人重识别摘要全局特征与局部特征的结合已成为提升行人重识别Re-ID判别力的核心手段。以往基于部件的方法主要致力于定位具有特定预定义语义的区域以学习局部表征这增加了学习难度且对姿态、遮挡等剧烈变化场景不够鲁棒。本文提出一种端到端的多粒度判别特征学习策略精心设计了一种多分支深度网络——多粒度网络MGN。该网络包含一个全局分支和两个局部分支不再依赖语义区域定位而是将图像沿水平方向均匀划分为若干条带并在不同局部的分支中采用不同数量的条带从而获得多粒度的局部特征表示。在 Market-1501、DukeMTMC-reID 和 CUHK03 等主流评测数据集上的大量实验表明本文方法取得了业界领先的性能显著优于现有最佳方法。例如在 Market-1501 单查询模式下本文方法达到 Rank-1/mAP 96.6%/94.2% 的最新纪录。1 引言行人重识别Person Re-ID旨在跨监控摄像头检索特定行人由于监控场景复杂其难点主要体现在姿态、遮挡、服饰、背景杂乱及检测误差等方面的大幅变化。近年来深度卷积网络的蓬勃发展为行人图像提供了更具判别力和鲁棒性的表征将 Re-ID 性能推向了前所未有的高度。仅最近数月多项深度 Re-ID 方法便取得了突破性的识别率与平均精度。直观的做法是从行人全身提取判别特征。全局特征学习的目标是捕捉不同行人最显著的信息如衣服颜色以表征行人身份。然而监控场景图像的复杂性往往限制了大规模 Re-ID 的精度。受限于 Re-ID 训练数据集的规模与多样性一些非显著或低频的细节信息在全局特征学习过程中易被忽略导致在跨身份共性大、类内差异大的条件下全局特征难以适应。为缓解这一困境许多研究通过定位显著身体部件来引入局部信息从而提升 Re-ID 精度。每个部件仅包含全身的一小部分信息同时屏蔽了区域外的干扰使局部特征更专注于身份判别并可作为全局特征的重要补充。现有部件方法大致分为三类1利用人体先验或姿态估计定位结构部件2利用区域提议生成候选部件3通过注意力机制增强显著部件。然而姿态或遮挡会降低部件可靠性这些方法通常仅关注固定语义的特定部件难以覆盖所有判别区域且多数流程非端到端增加了学习难度。本文提出一种融合多粒度全局与局部信息的特征学习策略。如图 1 所示不同数量的水平条带对应不同粒度仅含整张图像的“全局分支”粒度最粗随着条带数量增加局部特征可聚焦于更细粒度的判别信息。鉴于深度学习可在整图近似关注主体也有能力在不同条带区域捕捉更集中的显著性。基于此我们设计了一个多分支网络 MGN以 ResNet-50 为骨干在第四个残差段后分出三个独立分支——一个全局分支和两个局部分支。每个局部分支将特征图均匀水平切分为不同数量的条带并在各条带上独立学习局部特征。与先前部件方法相比MGN 仅采用等分条带却取得卓越性能在多个主流 Re-ID 数据集上达到业界最佳且无需外部数据或重排序同时保持端到端训练易于实现。实验表明多分支结构协同提升了任一单分支的性能。2 相关工作深度学习的兴起也推动了行人重识别Re-ID系统的发展。[20,39] 率先将深度孪生网络引入 Re-ID并结合身体部件特征显著优于同时期的手工特征方法。[45] 提出基于简单 ResNet-50 骨干的 ID 判别嵌入IDE成为现代深度 Re-ID 的性能基线。[1,35] 通过精心设计的机制计算图像对的中层特征以刻画局部部件间的相互关系。[37] 引入“域引导 dropout”增强模型在不同监控场景下的泛化能力。[8] 融合多通道全局与局部特征并利用改进的三元组损失学习判别表征。[24,25,38,43,19,22] 在嵌入空间中引入注意力信息以提升身体局部的判别力。[42,32] 利用人体关键点等结构信息精确定位语义部件区域。近几个月来一些深度 Re-ID 方法将性能推向了新的高度。[40] 在训练阶段引入基于部件的对齐匹配通过最短路径规划与互学习提升度量学习效果。[3,34] 均沿垂直方向将输入图像的特征图等分为若干条带。[3] 利用 LSTM 融合各条带部件特征并与全局分类度量特征结合[34] 则直接将局部部件特征拼接为最终表征并采用精炼部件池化改进部件特征的映射验证。然而据 [40] 的观点这些方法仅能达到与人类相当的水平。本文提出的 MGN 方法在仅使用等分条带、无需复杂语义定位的条件下显著超越上述所有方法并在多个数据集上刷新业界最佳纪录。3 多粒度网络MGN3.1 网络结构图 2 给出了 Multiple Granularity Network 的整体框架。我们以在 Re-ID 任务中表现优异的 ResNet-50 为骨干最主要改动是将 res_conv4_1 之后的部分拆成三条独立分支各分支沿用 ResNet-50 的原始结构但参数不共享。表 1 汇总了三条分支的配置差异。上分支Global Branch在 res_conv5_1 继续使用 stride2 的降采样随后做全局最大池化GMP再经 1×1 卷积BNReLU 将 2048 维特征zgGz_g^GzgG​压缩为 256 维fgGf_g^GfgG​。该分支无分块操作负责学习整图全局表征。中、下分支Part-N Branchres_conv5_1 不做降采样保持 24×8 特征图分辨率随后将特征图沿水平方向均匀切分为 N 条带N2 或 3每条带独立进行与 Global Branch 相同的 GMP 和 1×1 降维得到 N 个 256 维局部特征。因此 Part-2 分支输出 2×256 维Part-3 分支输出 3×256 维。测试阶段我们将所有分支的降维后特征拼接起来形成同时包含全局与多粒度局部信息的最终 256×(123)1536 维表征以获得最强判别力。3.2 损失函数为充分挖掘网络表征的判别能力我们在训练阶段联合使用分类常用的 softmax loss 和度量学习常用的 triplet loss。Softmax loss将 Re-ID 视为多分类任务对以下特征施加 softmax loss降维前的全局特征zgG、zgP2、zgP3z_g^G、z_g^{P2}、z_g^{P3}zgG​、zgP2​、zgP3​2048 维降维后的局部特征fpiP2、fpiP3f_{p_i}^{P2}、f_{p_i}^{P3}fpi​P2​、fpi​P3​256 维公式为标准交叉熵共 5 个 loss 项。Triplet loss对降维后的全局特征fgG、fgP2、fgP3f_g^G、f_g^{P2}、f_g^{P3}fgG​、fgP2​、fgP3​均为 256 维使用改进的 batch-hard triplet loss在同一批次内对每个锚点样本选最远的正样本与最近的负样本构成最难三元组以加强排序性能。该损失共 3 项。3.3 讨论多分支必要性直观上单分支网络也能在最后一层特征图按不同粒度切条并加监督。但实验发现这样做性能提升有限。我们推测若让同一组卷积参数同时响应粗细两种细节会削弱对细粒度信息的敏感度。将骨干“提前”拆成多条独立分支可让各分支在第四残差段就开始专注不同粒度从而互补增强。粒度多样性Global Branch 感受野大、降采样多捕获整体但粗糙的服饰/体型信息Part-2、Part-3 分支感受野小、无降采样关注局部但精细的纹理/配件信息。Part 数越多学到的表征越细。不同分支在共享底层的同时各自把“注意力”回传给骨干形成协同增益这是任一单分支或独立网络集成所不具备的。4 实验4.1 实现细节为保留更多细部信息我们将输入图像缩放到 384×128 像素。骨干及分支均用 ImageNet 预训练的 ResNet-50 权重初始化各分支在 res_conv4_1 之后复制对应层的预训练参数。训练阶段仅采用随机水平翻转做数据增强。每个 mini-batch 随机选取 P16 个身份每个身份随机取 K4 张图像以满足 triplet loss 需求。优化器为 SGD动量 0.9权重衰减 5e-4初始学习率 0.01在第 40 和 60 epoch 分别降至 1e-3 和 1e-4共训练 80 epoch。测试时将原图与水平翻转图像的特征取平均作为最终表征。整套代码基于 PyTorch在 2 块 NVIDIA TITAN Xp 上完成 Market-1501 训练约需 2 小时。4.2 数据集与评测协议实验在三个主流数据集上进行Market-15011 501 人6 摄像头训练 12 936 图/751 人测试 3 368 query 19 732 gallery。支持单查询SQ与多查询MQ两种模式。DukeMTMC-reID1 812 人8 摄像头训练 16 522 图/702 人测试 2 228 query 17 661 gallery是目前最具挑战性的 Re-ID 数据集之一。CUHK031 467 人6 摄像头提供手工框与 DPM 检测框两种标注。本文采用 [49] 提出的简化协议用 labeled 与 detected 两种设置分别评测。评测指标为 CMC 曲线 Rank-1/5/10 与 mean Average Precision (mAP)。4.3 各组件有效性验证在 Market-1501 SQ 上进行的消融实验见表 2。MGN w/o triplet vs. ResNet-50Rank-1/mAP 从 87.5%/71.4% 提升到 95.3%/86.2%净增 7.8%/14.8%显著超越同量级 ResNet-10190.4%/78.0%证明提升主要来自架构设计而非参数量。Triplet loss在 baseline ResNet-50 上带来 1.2%/3.6%在完整 MGN 上仍有 0.4%/0.7%且对 mAP 提升更明显符合度量学习特性。多分支协同将 Global、Part-2、Part-3 三个独立网络做集成性能仍低于统一的多分支 MGN约 1%–2%且各子分支单独拿出来也优于对应结构的单网络表明分支间互补增益显著。4.4 与当前最优方法对比表 3–5 分别给出了三个数据集的最新结果。Market-1501无重排序条件下MGN Rank-1/mAP 达 95.7%/86.9%超出此前最佳 PCBRPP 1.9%/5.3%加重排序后进一步提升至 96.6%/94.2%领先幅度更大。DukeMTMC-reIDMGN 取得 88.7%/78.4%比此前最佳 GP-reid 提高 3.5%/5.6%再次刷新纪录。CUHK03在 labeled 与 detected 两种设定下MGN 分别拿到 68.0%/67.4% 与 66.8%/66.0%大幅超越已有最好结果验证了方法对检测框噪声的鲁棒性。综上MGN 在不引入外部数据、无需复杂后处理的前提下在多个主流数据集上均实现了业界最佳性能并将 Re-ID 的 state-of-the-art 推向了新高度。5 结论本文提出了多粒度网络MGN一种用于行人重识别的新型多分支深度架构。该网络通过“全局 多粒度局部”三个分支在统一框架内端到端地学习身份判别特征全局分支捕获整体粗略信息Part-2 与 Part-3 分支分别捕获中等与精细粒度的局部线索且无需任何部件定位、姿态估计或区域提议。大量实验表明MGN 在 Market-1501、DukeMTMC-reID 和 CUHK03 等主流数据集上均大幅超越现有最佳方法将 Re-ID 的性能边界推向了新的高度。未来我们将进一步探索更高效的多粒度融合策略并研究其在视频 Re-ID 与跨域场景下的扩展能力。笔记一句话核心提出“多粒度网络MGN”用端到端、无需语义部件定位的多分支结构一次性学习全局多粒度局部特征刷新行人重识别精度。研究动机Re-ID 长期受姿态、遮挡、背景等剧烈变化困扰传统部件法依赖姿态估计或区域提议鲁棒性差且非端到端。作者希望用极简、可扩展的架构突破性能瓶颈对安防、智慧城市等大规模检索场景具有直接应用价值。技术路线以 ResNet-50 为共享骨干在 res4-1 后并行拆出三条独立分支Global、Part-2、Part-3。局部分支仅做“均匀水平切条独立 GMP1×1 降维”无需任何外部语义或对齐。联合 5 项 softmax分类 3 项 batch-hard triplet度量端到端训练测试时拼接全部 256-d 向量作为最终表征。关键结果① Market-1501 单查询 Rank-1/mAP 96.6%/94.2%领先当时最好方法 1.9%/5.3% 以上。② 在最具挑战的 DukeMTMC-reID 上达 88.7%/78.4%同样刷新纪录。③ 消融显示多分支协同独立网络集成triplet 对 mAP 提升显著性能增益主要来自架构而非参数量。主要创新首次提出“纯均匀切条”实现多粒度局部特征无需任何部件定位或姿态估计。多分支共享底层但互不干扰地学习粗细互补信息端到端即可用。在三个主流数据集上同时取得 SOTA证明方法通用且鲁棒。局限性仅水平切条对竖直方向或更复杂空间关系未建模。输入固定 384×128对极端长宽比或低分辨率图像未验证。实验集中在静态图像 Re-ID跨域、视频序列、遮挡极严重场景未深入。论证严谨性消融实验、对比实验、统计显著性多次平均均齐全性能指标、训练细节、源码级可复现描述充分结论可信。对你课题的启发若你的任务涉及细粒度识别、部件变异大可照搬“均匀切条多分支”思想省去复杂部件标注。多粒度特征拼接即插即用可与 Transformer、注意力或重排序模块继续叠加。端到端训练流程可直接迁移到车辆 Re-ID、商品检索等领域。下一步探索将水平切条扩展为二维网格或自适应粒度的可学习划分。引入跨域自适应或遮挡模拟验证在开放场景下的泛化能力。把多粒度思想用于视频 Re-ID时序条带或 3D 姿态辅助的精细对齐。