微网站 电脑网站 统一wordpress用户登录地址

微网站 电脑网站 统一,wordpress用户登录地址,wordpress标签数据库,wordpress设置用户注册大家读完觉得有帮助记得关注和点赞#xff01;#xff01;#xff01;摘要本文解决了目标检测中的合成到真实域差距问题#xff0c;重点研究了仅使用合成数据和域随机化策略训练YOLOv11模型来检测特定物体#xff08;汤罐头#xff09;的方法。该方法涉及对数据增强、数据…大家读完觉得有帮助记得关注和点赞摘要本文解决了目标检测中的合成到真实域差距问题重点研究了仅使用合成数据和域随机化策略训练YOLOv11模型来检测特定物体汤罐头的方法。该方法涉及对数据增强、数据集组合和模型缩放的广泛实验。虽然合成验证指标一直很高但事实证明它们对真实世界性能的预测能力很差。因此模型还通过预测结果的视觉检查进行定性评估并在手动标记的真实世界测试集上进行定量评估以指导开发。最终的mAP50分数由Kaggle竞赛官方提供。关键发现表明增加合成数据集的多样性特别是包括不同的视角和复杂背景结合精心调整的数据增强对于弥合域差距至关重要。性能最佳的配置在扩展和多样化的数据集上训练的YOLOv11l模型在竞赛的隐藏测试集上实现了0.910的最终mAP50。这一结果证明了纯合成训练方法的潜力同时也突显了在完全捕捉真实世界可变性方面仍然存在的挑战。索引术语​ 目标检测合成数据合成到真实域随机化YOLO数据增强。I 引言针对真实世界应用的目标检测模型的开发常常受到收集和标记大型数据集的高成本和精力的限制。合成数据提供了一种成本效益高、可扩展且无偏见的创建标记训练数据的方法并且日益被认为具有解决各个领域中重大真实世界挑战的潜力[1]。然而合成训练数据与真实世界测试数据之间的域差距给将这种技术应用于真实世界应用带来了挑战导致泛化性能差[2]。在此背景下创建了一个Kaggle竞赛[3]旨在使用仅由Falcon的Duality AI模拟器生成的合成数据来训练一个用于检测汤罐头的YOLO模型。本文详细介绍了为该竞赛创建的一个项目该项目专注于仅使用合成数据和域随机化策略来解决合成到真实的域差距问题最终目标是获得高的交并比IoU阈值为0.5时的平均精度mAP50分数。尽管Falcon最初提议使用YOLOv8预训练模型但我们独立决定改用Ultralytics的YOLOv11 [4]因为基准测试比较见图1表明YOLOv11在准确性、速度和效率方面具有更优的性能。此外还探索了数据增强策略以提高模型从合成域泛化到测试集中未见过的真实世界图像的能力。本文分为以下几个部分相关工作的简要概述方法、数据集、模型和实验设置的描述。最后展示并讨论了结果以对未来潜在工作的评论结束本文。II 相关工作目标检测是一项基本的计算机视觉任务具有众多应用。最近的进展主要由深度学习模型推动特别是YOLOYou Only Look Once系列[5]它将检测框架化为回归问题以提供实时性能。根据Kaggle竞赛使用YOLO的建议对不同YOLO版本性能指标的基准比较表明YOLOv11实现了更高的准确性这也是Kaggle挑战的主要目标。图1YOLOv11与之前版本的基准测试。训练稳健的目标检测器通常需要大型标记数据集如COCO [6] 或 ImageNet [7]。获取特定物体或场景的此类数据集的困难导致了对使用合成数据的兴趣日益增长[8][9][2]。然而在合成数据上训练并在真实世界数据上测试会产生模拟到真实的域差距这也是本次Kaggle竞赛所面临的挑战。弥合这一差距的方法多种多样可以大致分类。一种主要方法是域适应旨在对齐合成域和真实域之间的特征分布。这通常通过对抗训练实现其中训练一个域判别器网络来区分合成特征和真实特征而主模型则被训练来欺骗这个判别器从而学习域不变特征[10]。其他方法侧重于图像到图像转换技术使用生成对抗网络GAN如CycleGAN在合成图像用于训练之前将其转换为看起来更真实[11]。与这些通常需要复杂训练流程或架构修改的方法不同域随机化提供了一种更直接的方法[12][13][14]旨在训练模型在具有足够可变性的合成数据上使得真实世界仅仅表现为另一种变体。本文侧重于后一种方法特别是利用数据增强作为一种域随机化形式。这种方法计算效率高并且训练期间不需要访问未标记的真实世界数据使其适用于像Kaggle竞赛中所应对的挑战。本项目利用YOLO架构的坚实基础并探索实用的数据增强策略作为一种域随机化形式以改进特定目标检测任务的合成到真实迁移。III 方法本项目采用的方法侧重于在合成数据集上训练YOLOv11 [4]模型并评估不同的方法以最大化其在未见过的真实世界图像上检测汤罐头的特定任务的性能。III-A 目标检测模型YOLOv11YOLOv11模型使用在COCO数据集上预训练的权重进行初始化以利用从大规模真实世界数据集学习到的特征[6]。YOLOv11由Ultralytics [4]开发并于2024年发布它在YOLOv8的基础上旨在进一步优化速度、准确性和计算效率之间的平衡。与YOLOv8相比Khanam等人[15]总结的YOLOv11的关键架构变化包括C3K2块C3/CSP跨阶段部分的演进提高了特征提取效率。SPPF空间金字塔池化-快速针对速度优化的实现同时通过在多尺度上池化特征来有效捕获上下文。C2PSA带并行空间注意力的卷积块集成注意力机制使网络能够聚焦于特征图内最相关的区域。精炼的骨干网络/颈部网络底层特征提取器和融合网络可能包含了这些新块以改进信息流和传递给检测头的特征图质量。YOLOv11架构的图示见图2。图2​ YOLOv11具有精炼的架构包含先进的C3k2块、SPPF和C2PSA模块显著增强了多尺度特征提取和空间注意力从而提高了检测精度。III-B 合成数据集用于训练和验证的数据集完全由合成生成的图像及其对应的YOLO格式边界框标签组成用于单个物体类别汤罐头。由Duality AI软件为Kaggle挑战[3]生成的基础数据集仅包含简单场景。认识到数据量和多样性对于模拟到真实迁移的重要性[17]使用了来自Duality AI的额外数据集。最终的数据集包含1,368张图像在背景、相机距离、光照以及是否存在家具或植物方面存在变化。为了进一步增加数据集多样性并使模型适应复杂的真实世界场景包括目标物体可能出现在杂乱场景中或背景中没有目标物体的情况引入了一个额外的合成数据集包含738张包含不同物体但没有汤罐头的图像。这些图像包含空标签因为不存在边界框目标。为了有效训练模型即使在这些多样且可能杂乱的场景中也能检测目标汤罐头采用了Mixup和Mosaic等数据增强技术这些技术允许在训练期间将包含汤罐头的图像与杂乱场景的图像组合。图3展示了Mixup和Mosaic技术的应用。请参阅图注(a)​ 无罐头的合成图像请参阅图注(b)​ 有罐头的合成图像请参阅图注(c)​ 对图像(a)和(b)应用Mixup技术请参阅图注(d)​ 对另一组四张图像应用Mosaic技术图3​ (a) 无目标物体的原始复杂场景, (b) 有目标物体的原始简单场景, (c) 应用混合增强将汤罐头图像引入复杂场景后的场景, (d) 应用Mosaic增强组合四张样本图像后的场景。总计用于大多数实验的主要合成数据集包含2106张图像和相应的标签文件1368张有汤罐头738张没有。另一组159张真实世界图像仅用于测试遵循Kaggle竞赛指南[3]。III-C 数据清理在训练之前验证了合成数据集的完整性和质量。实施了一个数据清理过程以视觉检查每张图像及其相关的标签文件。这涉及开发一个自定义脚本根据YOLO标签文件可视化带有对应边界框的图像。这使得能够识别并删除缺少标签文件、注释不正确或其他可能对训练性能产生负面影响的不一致性的图像。鉴于合成数据生成的自动化性质可能引入错误此步骤尤为重要。III-D 训练和评估策略探索了几种训练和评估策略以开发最健壮的模拟到真实迁移模型。实施了众所周知的K折交叉验证技术以获得合成域内模型性能的更可靠估计并评估不同配置的稳健性。在这种情况下最初的五个预定义数据集变体自然充当了折叠。对于每个折叠将四个变体组合用于训练剩余一个用于验证。对五个实验模型配置重复此过程总共产生25个训练模型。这种交叉验证方法旨在提供关于不同模型配置和数据增强策略在各种合成数据分布上表现的无偏评估。根据从交叉验证分析中获得的见解使用标准的80%训练/20%验证分割在整个组合数据集1,368张图像上训练实验的设置。在对测试集的预测进行定性评估之后从显著距离渲染的图像子数据集似乎引入了挑战或伪影这些伪影对真实测试集的代表性较差。因此还训练了排除此特定变体的分割上的模型以研究其影响。为了进一步训练一个对复杂、杂乱的现实环境具有鲁棒性的模型使用了扩展的2106张图像的数据集以及Mosaic和Mixup等高级数据增强方法将汤罐头添加到杂乱的场景中。通过测试集上的评估来评估这些技术的有效性。最后认识到模型规模的潜在好处除了小型YOLOv11s架构外还使用YOLOv11的中型YOLOv11m和大型YOLOv11l架构训练了实验期间找到的性能最佳配置。III-E 模型配置和数据增强训练了不同的模型配置主要是通过改变训练期间应用的数据增强。从预训练的YOLOv11s权重开始探索的配置包括基线使用Ultralytics框架提供的标准默认增强集进行训练。增强视觉旨在增加视觉可变性的额外增强例如透视变换和混合。增强颜色更强的颜色抖动增强以模拟光照和颜色的更广泛变化。增强几何更显著的几何变换旋转、平移、尺度范围以增强对视角和尺度变化的鲁棒性。增强全部多种增强策略的组合以利用其潜在的累积效应。针对每种配置监控了验证指标如mAP50、mAP50-95、精确度、召回率以及各种损失分量。根据观察到的训练动态和可用资源仔细选择和调整了学习率和训练周期数。IV 实验与结果进行了以下实验以评估不同数据增强配置和数据集组合对YOLOv11性能及其对真实世界测试图像泛化能力的影响。训练好的模型根据用于训练的数据集和策略进行分组。IV-A 在原始合成数据集上的初始5折交叉验证初始实验涉及使用5折交叉验证方法在原始合成数据集1368张图像上训练YOLOv11s模型以提供模型在不同合成分布上性能的无偏估计并评估五个预定义模型配置的有效性。这些模型训练了10个周期批量大小为16初始学习率为0.01最终学习率比率为0.01以便仅根据数据增强方法的变化快速评估性能。这些配置在各折叠上获得的平均验证指标如表I所示。表I​ 5折交叉验证中使用的每种配置的平均指标1368张图像10个周期。指标mAP50精确度召回率验证/框损失验证/分类损失验证/DFL损失配置名称​平均值​标准差​平均值​标准差​平均值​标准差​基线​0.980.010.970.020.950.04完整​0.990.020.990.030.980.04颜色​0.990.010.990.010.990.03几何​0.990.000.990.010.990.02视觉和几何​0.990.020.980.040.970.05视觉​0.990.010.980.030.990.03如表I所示所有初始增强配置的合成验证性能特别是mAP50都很高0.98-0.99表明在合成域内有效学习。然而损失的变化表明了训练动态的差异和潜在的鲁棒性。决定训练更多周期并降低学习率以帮助模型收敛同时数据增强方法的值也有所变化。IV-B 80/20分割训练和定性真实世界评估在初始交叉验证之后使用标准的80%训练和20%验证分割在原始合成数据集1368张图像上训练模型。超参数更新为20个周期和初始学习率0.0001同时根据模型在测试集上性能的视觉观察更新了数据增强值。鉴于弥合域差距的挑战仅依靠合成验证指标是不够的。因此通过视觉检查训练模型在真实测试集上的预测结果进行定性评估因为官方标签不可用。这种定性评估对于识别哪些配置产生更少的误报、更好的定位和更一致的检测至关重要。在评估期间检测到具有高置信度得分的误报这些误报与包含从显著距离渲染的图像子数据集中的物体相似。因此在其他模型上训练了排除此特定变体的分割以研究其影响。表II比较了基于合成验证指标在包含和不包含远距离相机渲染的80/20分割数据集上训练的模型。表II​ 在包含和不包含远距离相机子集的80/20分割上训练的模型比较模型名称mAP50mAP50-95精确度召回率验证/框损失验证/分类损失验证/DFL损失完整​1.000.971.001.000.290.180.78视觉和几何​1.000.941.001.000.380.200.79无距离 - 完整​1.000.971.001.000.310.180.78无距离 - 视觉和几何​1.000.961.001.000.330.180.78虽然合成验证指标表II仅显示微小差异但从训练数据中排除远距离相机子集的决定主要是基于在真实世界数据定性评估中观察到的误报显著减少。图4比较了在相同真实图像上来自训练数据中包含和不包含远距离相机变体的模型的预测结果直观展示了其对误报的影响。请参阅图注(a)​ 训练数据集中包含相机距离变体的模型的预测。请参阅图注(b)​ 训练数据集中不包含相机距离变体的模型的预测。图4​ 模型对真实世界测试图像预测的定性比较。(a) 训练数据中包含远距离相机变体的模型的预测显示了一个误报检测。(b) 训练数据中排除远距离相机变体的模型的预测显示没有误报。IV-C 在扩展数据集上使用高级增强的5折交叉验证为了进一步训练一个对复杂、杂乱环境具有鲁棒性的模型使用了一个包含无目标物体场景的扩展数据集以及Mosaic和Mixup等高级数据增强方法。为了评估不同增强配置在这个更大数据集上的性能进行了第二次5折交叉验证。结果如表III所示。表III​ 在扩展数据集2106张图像上第二次5折交叉验证中每种配置的平均指标指标mAP50精确度召回率验证/框损失验证/分类损失验证/DFL损失配置名称​平均值​标准差​平均值​标准差​平均值​标准差​完整​0.990.000.990.010.990.01基线​0.990.000.990.010.990.01颜色​0.990.000.990.010.980.02几何​0.990.010.980.040.990.02视觉和几何​0.990.001.000.010.990.01表III中的结果显示在扩展数据集上各种增强配置的mAP50始终很高与初始CV相似。比较表I原始数据集10个周期和表III扩展数据集20个周期不同的分割策略可以看出mAP50保持高位而总体损失显著降低这表明使用扩展数据集和更长的训练时间取得了积极结果。IV-D 在扩展数据集上使用高级增强进行训练然后使用在实验期间取得最佳结果的两种数据增强配置训练模型为简单起见以下分别称为“A”和“B”。配置A代表一种全面的增强策略包括几何旋转、平移、缩放、颜色空间HSV和组合方法Mosaic, Mixup而配置B使用相同的技术但没有Mosaic且参数值不同。为了评估所有先前提出的改进的影响在包含和不包含相机距离的分割数据集上训练它们然后添加没有汤罐头的扩展数据集。认识到模型规模的潜在好处所有变体也在大型YOLOv11l架构上进行了训练。为了估计在隐藏的真实测试集上的mAP50手动注释了测试集图像为模型的性能提供了有价值的初步见解。表IV总结了在不同训练数据集组合、模型规模和数据增强配置下性能最佳的模型。它包括使用合成验证集计算的mAP50以及在手动注释的真实测试集上获得的mAP50分数说明了合成性能与真实世界性能之间的相关性。表IV​ 根据真实数据测试集计算的mAP50比较不同数据集组合、模型规模和数据增强配置下性能最佳的模型数据集组合模型规模数据增强配置验证集mAP50测试集mAP50标准分割​大型​A​0.9950.877无距离分割​大型​A​0.9950.885扩展数据集含距离​大型​A​0.9950.952扩展数据集无距离​大型​A​0.9950.930正如预期的那样合成验证集的mAP50分数与真实世界测试集上的分数存在显著差异表明了域差距。值得注意的是实现最高性能的配置是A它应用了Ultralytics提供的所有可用数据增强方法。正如预期使用大型模型和扩展数据集对性能有益。在手动注释的测试集上获得高mAP50的模型和相应的预测被选择正式提交到竞赛平台。最终的mAP50分数由组织者使用预测的边界框和置信度分数计算。表V总结了竞赛平台报告的真实世界测试集mAP50分数与先前在手动标记的测试集上计算的分数进行了比较。表V​ 竞赛组织计算的性能最佳模型的mAP50比较数据集组合模型规模数据增强配置测试集mAP50竞赛mAP50标准分割​大型​A​0.8770.905无距离分割​大型​A​0.8850.885扩展数据集含距离​大型​A​0.9520.910扩展数据集无距离​大型​A​0.9300.900在评估结果之前理解挑战的主要指标很重要。mAP50代表交并比IoU阈值为50%时的平均精度。精度衡量模型阳性预测的准确性而IoU决定检测到的边界框是真阳性还是假阳性。如果预测边界框与真实边界框的重叠度大于50%则预测被视为真阳性否则为假阳性。最佳真实世界测试集mAP50分数是0.910。这是由在包含相机距离的分割数据集上并添加了扩展数据集、使用配置A进行数据增强训练的YOLOv11l模型实现的。扩展数据集的添加对包含来自其他类别的多个物体的复杂真实测试环境中的预测有积极贡献。尽管认为排除相机距离变体会对模型有积极贡献但考虑到可用数据集的受限和小尺寸向模型提供物体更多样化的视角被证明是至关重要的。需要注意的是在我们手动注释的标签上计算的mAP50分数与竞赛提供的官方分数之间存在差异。前者被用作估计工具以克服评估模拟到真实差距的挑战因为仅凭验证无助于分析真实世界性能。此外用于计算mAP50的方法与竞赛的方法不同后者的方法论未公开。图5展示了在扩展数据集上使用强增强策略训练的YOLOv11l的训练和验证指标曲线。曲线显示随着训练进行损失下降mAP50等指标上升表明模型收敛和验证集性能提高。图5​ 在扩展数据集上训练的最终性能最佳YOLOv11l模型的训练和验证损失及指标曲线。请参阅图注图6展示了最终性能最佳模型在真实测试集上成功检测的视觉示例和常见失败案例例如当物体仅部分可见时置信度得分低为了解其性能特征提供了见解。图6​ 最终性能最佳模型在多样真实世界测试图像上预测的标签批次。请参阅图注V 讨论本项目旨在通过Kaggle竞赛[3]的框架解决目标检测中的合成到真实域差距问题。其核心策略是仅使用合成数据训练YOLOv11模型并辅以域随机化技术主要通过数据增强实现。从合成数据集上的平均交叉验证性能表I可以明显看出所有探索的数据增强策略在合成验证集上的mAP50分数均持续保持高位0.98-0.99。这表明无论采用何种特定的增强方案模型都能在合成域内实现高精度识别。然而尽管合成验证分数表现优异但其与模型在真实数据上的实际性能之间的关系却较为复杂。由于固有的域差距domain gap仅凭合成验证数据的高性能并不足以预测模型在真实世界数据上的表现。真实测试集呈现的复杂环境及其包含的多样变化未能被合成数据完美捕捉。此外损失指标的变化表明不同的增强策略和超参数影响了训练动态并可能对模型的泛化能力产生影响。整体趋势显示延长训练时间和降低学习率有助于提升收敛稳定性而域随机化的效果则需要进一步分析。为弥补初始合成数据集的局限性项目采用了迭代优化策略以提升场景复杂度和视觉多样性。具体措施包括扩展数据集以纳入不含目标物体的图像运用组合式增强技术如Mixup和Mosaic创建更丰富的训练样本。这些技术的有效性通过实证确定训练不同模型后分析其在真实测试集上的预测表现以此指导后续优化方向。这一在缺乏官方测试标签条件下建立的反馈循环被证明对调整域随机化策略至关重要。例如该过程揭示在扩展数据集上应用Mixup和Mosaic的配置在杂乱场景中展现出卓越的鲁棒性而过度激进的几何增强则可能导致定位偏差这有助于找到提升检测准确性的平衡点。值得注意的是对测试集预测结果的视觉检查最初表明远距离视角渲染的合成图像会损害模型泛化能力导致误检率上升见图4。基于该观察部分训练实验排除了该数据变体以探究其影响。然而真实测试集的最终定量结果显示在包含远视角的扩展数据集上训练的模型获得了竞赛方计算的最高mAP50分数。这表明尽管远视角数据可能引发初期误检但将物体的多样化视角纳入训练集最终通过提升训练数据的整体多样性积极增强了模型在更广泛真实场景中的泛化能力。在真实测试集上取得最高mAP500.910的配置是通过结合扩展的多样化合成数据集与精心调校的增强策略实现的这印证了域随机化策略在模拟到真实任务中的有效性。尽管许多先进方法采用复杂技术如对抗域适应[10][12]或基于GAN的图像转换[11]本研究结果证明针对特定问题更简洁的方法同样有效。研究发现策略性地扩展合成数据集的多样性如增加多视角样本和负样本其效果超越任何单一增强技术。这表明聚焦合成数据的质量与多样性可在避免复杂模型架构或困难训练流程的前提下实现良好的真实场景性能。然而研究也凸显了现存挑战。合成数据未能充分模拟的因素可能导致真实测试集上的漏检或误检。未来的模拟到真实迁移策略可从以下方向受益生成更逼真多样的合成数据包含杂乱场景和遮挡整合先进域适应技术探索缩减合成与真实数据分布差异的新方法。VI 结论本项目探索了仅使用合成数据和域随机化策略以数据增强为主训练针对特定物体汤罐头的鲁棒目标检测模型并在未见过的真实图像上实现高性能的可行性。基于YOLOv11架构研究探索并评估了多种数据增强配置初期通过合成数据集交叉验证后续通过真实测试集定性评估。尽管不同增强策略下的合成验证指标尤其是mAP50持续表现优异但由于模拟到真实的域差距这些指标本身不足以预测真实场景性能。因此研究采用视觉检查进行定性评估并在官方标签受限的情况下通过手动标注实现定量评估这对评估模型在真实数据上的性能构成额外挑战。提升真实场景泛化能力的关键在于扩展合成数据集以包含更复杂的背景并基于对真实图像预测的实证观察和定性分析精细调整数据增强参数。在真实测试集上取得最高性能mAP500.910的配置是采用YOLOv11l模型在扩展合成数据集上训练并融合视觉、几何及组合式Mixup/Mosaic增强策略的结果。这证明通过精心调校的数据增强实现域随机化即使不依赖真实训练数据也能成为弥合合成到真实差距的有效策略。然而所达成的分数也凸显了仅靠此方法完全消除域差距的挑战。未来工作可探索生成能更好捕捉真实世界全复杂度与多变性的合成数据研究更先进的域适应技术。在实际应用中合成数据常与真实数据结合以弥合模拟到真实的迁移鸿沟。本次竞赛的核心挑战在于仅使用合成数据达成这一目标。