企业官网建设流程全解析

关于建设网站的申请,定制做网站报价,南昌网站快速排名提升,滨海住房和城乡建设局网站在当前大语言模型的发展中#xff0c;长上下文推理能力的提升已成为关键研究方向。然而#xff0c;构建具备高级长上下文推理能力的模型仍面临多重挑战。 首先#xff0c;用于训练的理想问题需足够复杂以激发深度推理并支持从长上下文中动态检索关键信息#xff0c;而且答…在当前大语言模型的发展中长上下文推理能力的提升已成为关键研究方向。然而构建具备高级长上下文推理能力的模型仍面临多重挑战。首先用于训练的理想问题需足够复杂以激发深度推理并支持从长上下文中动态检索关键信息而且答案可验证。然而满足这些条件的高质量长上下文数据极为稀缺。其次要提升长上下文性能模型通常需在接近目标长度的上下文中训练。然而将强化学习的 rollout 从短上下文1K token扩展到128K以上会带来巨大的计算与内存开销在常规资源下难以实现。第三即便技术上可实现长上下文训练单一任务类型的集中训练可能引发模型能力的失衡。为此微软联合上海交通大学等提出LoongRL这是一种面向高级长上下文推理的数据驱动型强化学习方法训练得到的LoongRL-14B得分为74.2性能媲美 o3-mini74.5和 DeepSeek-R174.9等规模更大的前沿模型通过全部128K“大海捞针”测试提升长上下文检索能力且保持短上下文推理能力。论文标题LOONGRL:REINFORCEMENT LEARNING FOR ADVANCEDREASONING OVER LONG CONTEXTS论文链接https://arxiv.org/pdf/2510.1936301方法1数据集构建图1 利用KeyChain方法构建数据流程图研究团队从真实任务中选取整理好的高质量短上下文问答对 {oLi, oqi, oai}。首先插入干扰文档将每个样本扩展为长度为16K token的长输入 L′i。随后通过 KeyChain 方法随机插入多跳键值链key-value chains将原始三元组 {L′i, oqi, oai} 转换为 {Li, qi, ai}其中原始问题 oqi被隐式嵌入到扩展后的键值序列 Li中从而显著增加任务的推理难度。面对新问题 qi模型必须首先追踪链条以恢复原始问题 oqi然后在长上下文 Li上进行推理生成正确答案 ai。该构建方式确保强化学习训练聚焦于长上下文下的深度推理而非记忆或浅层检索。图 2 长上下文多跳问答任务中使用与不使用 通过KeyChain构建的数据进行强化学习的模型行为对比图对比实验表明模型在使用通过KeyChain构建的 数据时展现出更优的推理行为其推理过程呈现出一种涌现的“规划–检索–推理–复核”思维模式各阶段职责分明推理更为可靠并能有效泛化至更长的上下文相比之下在不使用 KeyChain 数据时模型的推理与检索过程相互混杂通常缺乏明确的规划阶段对检索结果也未能进行深入的推理整合导致错误频发。图2中推理步骤以蓝色标记检索步骤以橙色标记直观体现了两种条件下思维路径的差异。2长上下文强化学习基于 KeyChain 构建的数据研究团队提出了面向长上下文任务的强化学习方法包括奖励设计、数据混合与多阶段训练策略。1GRPO训练采用 GRPO算法。具体而言对于数据集D中的每个问题 q、其对应的长上下文 L以及真实答案aGRPO 首先从旧策略πθold中采样一组 rollout 轨迹{o1, o2, · · · , oG}然后通过最大化以下目标函数来优化策略πθ 其中超参数 ε和 β分别控制重要性采样比率的裁剪范围以及KL散度惩罚项的权重。每个 rollout 轨迹的优势估计值 Ai,t基于一组奖励 {r1,r2,…,rG}计算得到其中ri为轨迹 oi的奖励通过基于规则的验证器进行评估以缓解奖励博弈问题。2)基于规则的奖励机制首先训练过程中在prompt中明确要求模型将其最终答案输出在\boxed{ } 标签内以确保答案可被清晰提取。然后对框内答案采用双向子字符串精确匹配策略。对于每条 rollout 轨迹 oi,将根据提取出的最终答案yans与真实答案a 的匹配情况获得一个二值准确率奖励 ri∈{0,1}即若 yans包含 a作为子字符串或 a包含 yans作为子字符串则奖励为 1否则为 0。形式化地奖励计算方式如下3)训练方案为实现通过强化学习提升模型的长上下文推理能力的同时保留保留模型在一般短上下文任务上的推理能力的训练目标我们构建了一个混合数据集训练数据的来源、输入上下文长度及任务难度如表1所示并采用多阶段强化学习训练策略。表1 LoongRL 训练所用混合数据集的构成与统计信息预热阶段Warm-up首先在不包含通过 KeyChain构建数据的混合数据集上训练一个 epoch。该阶段有助于模型在较简单任务上提升检索与基础推理能力确保后续训练的稳定性。第一阶段引入 KeyChain 增强在预热后引入 KeyChain 构建的数据逐步提升任务难度。此阶段促使模型学会有效规划、从干扰密集的长上下文中精准检索信息并将证据整合为连贯的推理链。第二阶段聚焦难题训练在第一阶段结束后使用当前最优检查点对每个样本生成八条 rollout 轨迹。若某样本在所有轨迹中均被正确解答则将其从训练集中剔除仅保留约 30–40% 的困难样本子集。后续强化学习仅在此子集上进行集中优化模型对难题的处理能力提升训练效率同时避免过拟合现象。02评估实验团队对 Qwen2.5-7B-Instruct 和 Qwen2.5-14B-Instruct 两个模型进行了 LoongRL 训练并与多个前沿大模型进行对比结果如表2和表3所示。对其进行分析得出以下四个关键结论表 2 LoongRL 与前沿大模型在长上下文推理及通用短上下文任务上的性能对比。表 3 LoongRL 与前沿大模型在长上下文推理任务上的性能对比1小规模模型实现强竞争力的长上下文推理能力如表2所示LoongRL 使 Qwen2.5-7B-Instruct 和 Qwen2.5-14B-Instruct 的平均性能分别提升了 23.5% 和 21.1%。相比之下R1-distilled Qwen 系列模型在 14B 规模下仅提升 11.8%7B 规模下性能反而下降 17.7%QwenLong-L1-32B 的平均提升也仅有 4.6%效果有限。值得注意的是LoongRL-7B 的表现甚至以 2.3% 的优势超越了 QwenLong-L1-32B充分证明通过我们的方法小规模模型亦可超越大规模基线模型。表3汇总了 LoongRL 与当前先进模型在长上下文推理任务上的性能对比。LoongRL 在显著更小的模型规模下实现了前沿水平的长上下文推理能力。在 14B 规模下LoongRL 将模型性能提升至 74.2已接近甚至媲美 o3-mini74.5和 DeepSeek-R174.9等更大规模、经过大量训练的先进模型。2短上下文训练却能更好泛化至长上下文尽管训练时仅使用了 16K 长度的输入上下文但模型学习到的推理模式能够有效泛化至更长的上下文。这得益于 KeyChain构建的数据的引入它促使模型习得“规划–检索–推理–复核”的思维模式。如表3 所示LoongRL-7B 和 LoongRL-14B 在更长上下文的推理与检索任务上均取得显著提升超越了在更长上下文上训练的 R1-distilled 系列模型和 QwenLong-L1-32B。在 RULER 基准上其他基线模型随着上下文长度增加性能急剧下降而我们的模型始终保持强劲表现表明所学习到的推理模式具有高度的长上下文迁移能力。3近乎无损的短上下文推理能力保留表2 显示LoongRL 有效保留了基础模型的在短上下文推理与通用任务上核心能力。在 MMLU 上LoongRL 带来了2.8%和1.1%的增益。相比之下R1-distilled 模型和 QwenLong-L1-32B 均出现性能下降。在指令遵循能力方面R1-distilled 模型表现严重退化而 LoongRL 仅出现轻微下降。在数学推理任务中LoongRL仍稳定保持了基础模型的数学能力。图3 检索能力对比图4长上下文检索能力显著提升研究团队使用“大海捞针”Needle in a Haystack基准评估不同方法的信息检索能力如图 3 所示。LoongRL 显著提升了基础模型的检索能力在所有深度上均实现了 100% 的准确率。其他方法则表现受限R1-Distill-7B 在超过 20K 长度后无法有效检索QwenLong-L1-32B 也未能完全通过该测试。这表明 LoongRL 不仅增强了推理能力也显著提升了模型在长上下文中定位关键信息的能力。消融实验如图4(c,d)所示平均响应长度在训练过程中稳步增加。图4(a,b)展示了长上下文推理准确率其在每个阶段持续提升表明了多阶段强化学习方法的有效性。图4 强化学习训练过程中长上下文推理准确率与训练响应长度的变化情况表4 对 KeyChain 构建的数据有效性消融实验如表4 所示使用常规问答数据的强化学习性能提升较小而引入KeyChain构建的数据则实现了显著提升达到了前沿水平的表现。表5 在7B模型上对不同答案验证器的消融实验为评估答案验证方法有效性研究团队将双向子串精确匹配与三种基线对比F1得分、LLM评判和完全匹配。如表5所示F1和LLM评判增益有限完全匹配虽准确但过于严格会误罚格式微差的正确答案。相比之下双向子串精确匹配在保持高精度的同时允许合理变体将推理得分提升至72.4显著优于基线验证了其在强化学习中的有效性与实用性。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】