中卫市建设局网站中国建设银行保函查询网站

中卫市建设局网站,中国建设银行保函查询网站,滕州网站建设网站行吗,上海天华建筑设计有限公司侯岳随着大语言模型#xff08;LLM#xff09;的广泛应用#xff0c;它们在医疗、金融、教育等关键行业扮演着愈发重要的角色。然而#xff0c;一个被忽视的现实是#xff1a;大模型的知识并不会自动更新#xff0c;更不总是准确。当模型输出过时信息、错误事实甚至自信满满的…随着大语言模型LLM的广泛应用它们在医疗、金融、教育等关键行业扮演着愈发重要的角色。然而一个被忽视的现实是大模型的知识并不会自动更新更不总是准确。当模型输出过时信息、错误事实甚至自信满满的“胡说八道”时如何快速、精准、低成本地纠正它知识编辑Model Editing因此成为近年来的研究热点。但现有知识编辑评估基准遇到两个痛点编辑测试范围太窄大多数基准数据只覆盖极少数知识领域无法反映真实世界中海量、多样的知识结构。编辑影响评估不全面修改一条知识可能会在模型中“牵一发而动全身”。现有基准往往只测“是否记住修改”却很少考察关联知识的连锁反应。UniEdit 首次在开放域构建统一而全面的知识编辑测试体系华东师范大学联合阿里巴巴、合肥工业大学提出 UniEdit——第一个覆盖25个知识领域、包含31.1 万条样本的大规模开放域知识编辑基准。目前已被人工智能顶级会议NeurIPS接收。下图展示了UniEdit数据的一个构成样例。它的独特之处在于基于 Wikidata 构建最大规模开放域编辑数据集UniEdit筛选了 Wikidata 中约2990 万个实体与2400 个关系并覆盖五大知识板块自然科学、人文科学、社会科学、应用科学及交叉学科比以往任何编辑基准都更全面。提出 NMCS邻域多跳链采样算法首次统一所有编辑评价维度知识编辑不仅要测试“记住没”还要测Generality泛化性编辑后的模型是否能在多跳推理、别名、关系反转等变化场景正确应用新知识Locality局部性模型是否能保持其他不相关知识不受影响UniEdit 的NMCS 算法能自动采样生成多跳、跨关系、跨实体的复杂知识链条让测试覆盖多跳推理、关系反转、实体别名、1-N 遗忘以及各种组合情况。UniEdit 是唯一能同时覆盖所有组合的基准。全自然语言生成易于真实应用评测通过 DeepSeek-V3 自动生成自然语言描述使每条编辑样例、泛化样例、局部性样例均具有清晰语义、多样的语言表达、真实世界的复杂度。这些都使得 UniEdit 更接近真实大模型使用场景。这篇工作评测了 8 大主流编辑方法揭示了重要发现大多数方法“记住编辑内容”没问题但“泛化”普遍困难尽管当前主流的知识编辑方法如 ROME、SERAC、GRACE 等在 可靠性Reliability 维度上几乎都能做到 90% 以上说明它们能够成功让模型“记住被修改的知识”但在最关键的 泛化性 上表现普遍不足。表格数据显示即便是表现最好的方法如 IKE、SERAC泛化性指标均值也难以超过 80%许多 Locate-and-EditLE方法泛化性分数甚至跌至 30%–50% 区间这说明模型虽然“记住了正确答案”但在真实场景下面对 语义变化、多跳推理、别名、关系变化 时仍然容易回归错误或缺乏理解能力。这揭示出一个关键挑战如何让模型不仅记住编辑内容更能理解并正确应用它人文与自然科学领域表现更好社会科学和应用科学更难编辑跨领域的实验结果显示自然科学如化学、生物、数学 和 人文学科如历史、文学 的编辑泛化效果普遍较好社会科学政治学、经济学、心理学 与 应用科学工程、医学等 表现显著偏低。这主要源于当前大模型在预训练语料中接触的数据分布不同自然科学与人文学科的知识结构更稳定、概念更规范大模型预训练时也学习得更多而社会科学、医学、工程中存在大量细粒度知识、背景依赖性强、概念模糊性高使得模型更容易混淆或误泛化。该结果说明低资源领域与高知识噪声领域的编辑仍需重点突破。泛化性相较于局部性在高复杂度场景中更容易出错图中的雷达图清晰展示了当测试涉及 多跳MH 别名SA/OA 关系反转RR 等复杂组合时绝大多数方法在 泛化性 上出现明显下降然而在 局部性 测试中模型不出错的能力则相对稳定。原因在于泛化性需要模型真正理解知识之间的逻辑关系因此对知识结构的掌握度要求极高而局部性只是要求“不被错误干扰”复杂句式反而降低触发错误关联的几率使其评分更容易保持。这表明未来的研究需要更关注如何在复杂语境下真正让模型“懂得”编辑后的知识而非仅做匹配式记忆。依赖编辑训练的方法如 SERAC对训练域高度敏感进一步的实验显示编辑训练方法如 SERAC具有明显的 领域敏感性。当模型仅在某一领域如化学进行编辑训练时它在 同领域测试 上的效果最好但在跨领域如文学、心理学测试时泛化性能显著下降。这说明编辑训练方法在“见过的领域”表现稳健但在“未见过的领域”难以迁移如果希望训练式编辑方法具备强泛化能力必须提供 跨领域、大规模、覆盖多知识结构的训练数据集。而 UniEdit 的推出正是为了解决这一痛点。UniEdit 不止用于模型编辑更能推动多个前沿 AI 研究方向虽然 UniEdit 是为 大模型知识编辑Model Editing 设计的但它的结构化、多领域、大规模、可控复杂度的特点使它能在更广泛的研究方向中发挥作用。以下是几个典型的潜在应用方向事实一致性Fact Consistency与幻觉检测Hallucination EvaluationUniEdit 的知识链条结构多跳、别名、反转关系等适用于测模型是否输出与事实一致的答案在复杂推理条件下是否会产生幻觉模型是否因相似实体或相似关系而误判多跳推理Multi-hop Reasoning与知识链条理解UniEdit 提供大量多跳自然语言知识链可用于评估模型的跨实体 / 跨关系推理能力研究 LLM 在复杂知识结构中的路径选择训练或微调多跳问答Multi-hop QA模型知识图谱问答KGQA与 KG-to-Text 研究UniEdit 源于 Wikidata并搭建了一个完整的从知识图数据到自然语言数据的采样、生成管道。它能支持KGQA基于知识图谱的问答训练与评估、知识图谱到自然语言生成KG-to-Text任务、自然语言与结构化知识对齐alignment等研究。展望UniEdit 提供了第一套覆盖开放域、统一评价标准、结构复杂的大规模知识编辑基准。在UniEdit的基础上未来可关注更强大的编辑泛化能力多模态图像、视频的知识编辑多语言知识编辑UniEdit 的推出为未来 LLM 的知识更新、安全应用与可靠性研究奠定了基础。希望这一工作能够成为推动高质量模型编辑研究的重要基石同时对事实一致性、多跳推理和KGQA等多个领域的发展起到推动作用。网址Paper: https://arxiv.org/abs/2505.12345GitHub: https://github.com/qizhou000/UniEditDataset: https://huggingface.co/datasets/qizhou/UniEdit