网站优化吧织梦做分销网站

网站优化吧,织梦做分销网站,深圳市住房和建设局招标公告,发布信息免费的网站近年来#xff0c;参数高效微调#xff08;PEFT#xff09;方法因其在大幅减少可训练参数#xff08;通常少于2%#xff09;的同时保持良好性能而受到广泛关注。其中#xff0c;低秩适配#xff08;LoRA#xff09;凭借其无需额外推理开销且性能优于其他PEFT方法的优势…近年来参数高效微调PEFT方法因其在大幅减少可训练参数通常少于2%的同时保持良好性能而受到广泛关注。其中低秩适配LoRA凭借其无需额外推理开销且性能优于其他PEFT方法的优势成为主流选择。然而LoRA受限于低秩假设在复杂任务中常表现不足。为此AMD研究团队提出**Dual LoRA通过引入归纳偏置来更真实地模拟全量微调中基于梯度的参数更新机制将低秩矩阵解耦为幅度组控制是否更新及更新强度通过ReLU激活和方向组决定更新正负方向通过符号函数。**研究团队在多种NLP任务上以GPT-2、RoBERTa、DeBERTa及LLaMA系列为基线模型进行实验。结果表明在可训练参数数量相同的情况下Dual LoRA持续优于原始LoRA及其当前最先进的变体验证了该方法在提升微调效率与效果方面的有效性。论文标题Dual LoRA: Enhancing LoRA with Magnitude and Direction Updates论文链接https://arxiv.org/pdf/2512.0340201方法图1 原始LoRA和Dual LoRA架构在Dual LoRA中与LoRA不同不使用两个低秩矩阵而是使用四个低秩矩阵并将它们分为一个幅度组和一个方向组如图1所示。1幅度组给定两个低秩矩阵和幅度组计算方式如下该设计具有两方面作用首先非负输出可被自然地视为在训练过程中学习更新的幅度其次通过使矩阵 BA 的某些输出元素为负值并利用 ReLU 函数将其过滤置零可以方便地冻结原始权重矩阵中已针对下游任务充分优化的参数。这一机制在以往基于 LoRA 的方法中较难实现。2方向组给定两个低秩矩阵和方向组的计算方式为其中 Sign(⋅) 是一个逐元素操作对于正输入输出 1否则输出 −1。需要注意的是Sign(⋅)的梯度几乎处处为零所以在训练过程中无法直接应用反向传播。为此给定 xbSign(x)引入了直通估计器Straight-Through Estimator, STE方法来近似其梯度具体计算方式如下其中L是下游任务对应的损失函数并且方向组用于控制更新矩阵中每个元素的符号即决定原始权重矩阵中的对应元素应向前还是向后调整。3整体更新给定一个预训练的权重矩阵 W0Dual LoRA 的整体更新可表示为其中⊙表示两个矩阵之间的逐元素乘积类似地给定原始前向传递hW0x修改后的前向传递是只要将 ΔW 合并到 W0 中就不会影响推理过程。4初始化在 Dual LoRA 中幅度组中的低秩矩阵不能初始化为零。否则由于 ReLU(·) 和 Sign(·) 函数的存在会导致梯度始终为零无法更新以及无法实现训练初期更新矩阵为零的目标。具体来说给定可以计算损失函数 ( L ) 相对于四个低秩矩阵的梯度如下所示其中是指示函数。当将 A或 B的值置为0时会有且 ReLU(BA)0从而导致上述公式中的四个梯度均为零使训练过程的参数无法更新。若将 C0 或 D0虽然不会引发梯度消失的问题但由于符号函数 Sign(x) 对任意非零输入始终输出 1 或 −1因此无法保证在训练初始阶段使更新矩阵为零。在实验中对全部四个低秩矩阵均采用随机高斯初始化并在训练初期引入预热warm-up策略以确保在训练开始时 ΔW0。02评估表1 在常识推理数据集上Dual LoRA与其他方法对比的结果在常识推理任务中研究者采用 LLaMA-7B、LLaMA-13B、LLaMA2-7B、LLaMA3-8B 和 LLaMA3-70B-Instruct 作为基线模型。为确保公平将 Dual LoRA 的低秩矩阵秩rank减半使其可训练参数量与其他 LoRA 类方法一致除学习率外其余超参数均与 DoRA 保持一致。训练时LLaMA3-70B-Instruct 训练 1 个 epoch其余模型训练 3 个 epoch。表1表明Dual LoRA 在所有基线模型上均以更少的可训练参数超过 DoRA在 LLaMA-7B和LLaMA-13B 上平均准确率分别提升 0.9% 和 0.6%在 LLaMA2-7B、LLaMA3-8B 和 LLaMA3-70B-Instruct 上也分别提升 0.8%、0.2% 和 0.8%。表2 在GLUE数据集上Dual LoRA与其他方法结果对比研究者在广泛使用的自然语言理解NLU基准 GLUE 上评估Dual LoRA。基线模型为RoBERTa-base、RoBERTa-large 和 DeBERTa-XXL采用已经在MNLI 任务上用 LoRA 微调过的检查点继续训练而非原始预训练模型。除学习率外其余训练参数与 LoRA 保持一致。如表 2 所示Dual LoRA 在所有三个基线模型上均取得当前最优性能在 RoBERTa-base 上平均准确率比 LoRA、LoRA 和 DoRA 分别高出 1.6%、1.2% 和 1.8%在 RoBERTa-large 上分别提升 1.1%、0.4% 和 0.9%在超大规模 DeBERTa-XXL15 亿参数上仍优于 LoRA、LoRA 和 DoRA 1.3%、1.1% 和 1.1%。值得注意的是Dual LoRA 甚至超过了全量微调FFT分别领先 1.9%、0.8% 和 0.5%充分体现了该方法的优势。在原始LoRA中给定和且满足r≪min(d,k)更新矩阵的秩有上界这是一个硬性低秩约束。 即使原始权重是高维的如 d4096LoRA 只能在一个极低维子空间中调整模型表达能力受限。Dual LoRA 更新矩阵形式为尽管 BA 和 DC 本身是低秩矩阵但经过 ReLU 和 Sign 等非线性操作后其输出不再受原始低秩结构的限制ReLU 引入稀疏性和非线性使部分维度被“激活”有效提升矩阵的表达能力而 Sign 函数提供方向信息与 ReLU 结果逐元素相乘后可生成更复杂的更新模式。理论上ΔW′ 的秩满足虽然这是一个较宽松的上界但已远高于原始 LoRA 中的秩上限 r例如当 d4096 时上界可达数百万。实验结果如图3所示Dual LoRA 的整体更新矩阵和方向组的秩几乎达到了满秩4096幅度组的秩虽然相对较低但仍显著高于 LoRA 的秩。表明Dual LoRA 通过提升更新矩阵的有效秩在不增加参数量的情况下显著增强了模型通过微调机制对下游任务进行有效调整的能力。图3 LoRA 的更新矩阵 ΔW、Dual LoRA 的幅度组、方向组以及整体更新矩阵的平均秩如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】