研究指出,采用竞技场式偏好投票的模型榜单存在被系统性操纵的空间,公开排名可信度受到质疑。
该研究分析基于成对偏好比较的模型评测机制,包括竞技场式排行榜,并展示通过策略性提交、影响投票分布等方式,就能在不提升真实能力的前提下抬高排名。文中给出操纵成本与所需样本量的估计,并讨论现有榜单在采样、匿名化与统计检验环节的薄弱点。
榜单分数反映的是投票分布,并不能直接等同于模型能力;偏好式评测的可操纵性在模型选型时构成实际风险。
把 Agent 做出来的工程层。框架、评测基准、训练方法与基础设施——决定 Agent 是 demo 还是产品的,通常是这一层。
最近 40 条 · 按发布时间倒序 · 全部历史周报
研究指出,采用竞技场式偏好投票的模型榜单存在被系统性操纵的空间,公开排名可信度受到质疑。
该研究分析基于成对偏好比较的模型评测机制,包括竞技场式排行榜,并展示通过策略性提交、影响投票分布等方式,就能在不提升真实能力的前提下抬高排名。文中给出操纵成本与所需样本量的估计,并讨论现有榜单在采样、匿名化与统计检验环节的薄弱点。
榜单分数反映的是投票分布,并不能直接等同于模型能力;偏好式评测的可操纵性在模型选型时构成实际风险。
研究在冻结模型权重条件下,评估 Agent harness 从失败轨迹中学习的增益与边界。
论文在冻结模型权重的前提下,考察 Agent 运行框架(harness)能否通过失败轨迹获得改进,并测量其增益幅度与失效边界。研究区分了框架层学习与模型层训练两种改进路径,给出在何种条件下失败轨迹能带来有效提升的实验结论。
不改模型、只改脚手架就能从失败中变好,其收益上限在哪里被明确摆了出来,这对判断该不该动模型权重有参照价值。
论文提出 MAPE 框架,用程序进化自动搜索 Agent 的记忆设计方案。
该工作把 Agent 记忆机制视为可搜索的程序空间,用程序进化方法自动生成并迭代记忆设计方案,替代逐项手工设计。摘要称通过进化搜索发现了有效记忆设计,但未披露搜索空间规模、评测任务与对比基线。
记忆设计从手工调参变成可搜索空间,写入、表征与检索策略被纳入统一进化循环。
提出 Folio,用可恢复的多分辨率上下文折叠替代有损摘要压缩,服务长任务 Agent。
Folio 针对长程语言 Agent 的上下文管理问题,提出多分辨率折叠方案:将历史上下文按不同粒度组织并可恢复地折叠,而非用摘要做不可逆压缩。该方法保留原始信息可回溯性,用于缓解长任务中上下文超限与关键细节丢失的矛盾。
上下文管理从「摘要丢信息」转向「可恢复折叠」,长任务 Agent 的记忆设计多了一条路径。
快手分享智能互动 Agent 在商业场景的落地路径与实践经验。
快手介绍了智能互动 Agent 在其商业场景中的落地路径与工程经验,覆盖从场景选择到实际部署的过程。内容属于大流量商业场景下的 Agent 实践复盘,涉及互动类 Agent 在真实业务中的运行情况与遇到的问题。
商业场景下的 Agent 落地复盘,来自日活规模平台的实战经验,而非实验室环境验证。
豆包工作接入Kimi、GLM、DeepSeek等第三方模型,用户可按任务选型并查看成本倍率。
字节跳动旗下豆包工作上线多模型接入能力,在自研模型之外还可调用Kimi、GLM、DeepSeek等第三方模型。产品在模型选择界面标注各模型的成本倍率,用户可按任务需求在效果与成本之间切换。这一改动让办公类Agent产品从绑定单一自研模型,转向多模型可选的形态。
成本倍率被直接展示在模型选择界面上,多模型路由从工程内部的调度决策,变成用户可见、可手动选择的产品功能。
AICon 北京站分享差旅 Agent 的业务语义、偏好图谱与上下文工程实践。
该分享以差旅场景为例,讲 Agent 如何从“搜到知识”推进到“理解约束”:包括业务语义建模、把用户偏好组织成图谱,以及在多轮任务中做上下文工程的具体做法。内容来自真实落地实践,覆盖从语义层到上下文组织方式的完整链路。
偏好图谱加业务语义约束,是把 Agent 从检索问答推向可执行任务的一条具体路径,而非停留在 prompt 调优层面。
豆包工作宣布接入 Kimi、GLM、DeepSeek 等第三方模型,用户可在平台内切换多个模型。
字节跳动旗下豆包工作上线多模型接入,在自有豆包模型之外新增 Kimi、GLM、DeepSeek 等第三方模型可选,用户可在办公场景中按任务切换不同模型。多模型聚合正成为国内 AI 办公与 Agent 平台的常见配置。
办公入口开始把模型当作可替换组件,竞争焦点从单模型能力转向工作流编排、上下文积累与分发渠道。
介绍 Agent DLC 方法论,讲解如何度量 Agent 质量并搭建可重复的 CI/CD 评测闭环。
文章以从原型到生产为主线,提出 Agent DLC 工程方法论,核心围绕 Agent 质量的度量方式与评测流程的工程化。内容覆盖如何把评测接入持续集成与持续交付环节,形成可重复执行的评测闭环,使 Agent 在每次变更后都能被系统性验证。
把 Agent 评测从一次性人工验证,转变为嵌进 CI/CD 的可重复流程,是原型走向生产的工程分界线。
Google 发布 Gemini 4 Hydrogen 模型,摘要提示需评估其在 Agent 场景的表现。
Google 推出 Gemini 4 Hydrogen。现有信息未展开具体参数与基准成绩,摘要层面提出的评估维度集中在三点:Agent 场景下的能力上限、端到端延迟,以及单位调用成本。这三点通常决定模型能否进入生产级 Agent 链路。
重磅模型发布,但对 Agent 产品而言,能力上限、延迟、调用成本三者需一起看,单看榜单分数不构成选型依据。
一篇以轨迹为中心的实证研究,追踪长周期 LLM Agent 的错误在何处进入、哪些控制手段能触及。
研究以 Agent 执行轨迹为分析单元,对长周期任务中的失败进行溯源,定位错误引入的具体环节,并对照测试各类控制手段(如检查点、验证、重试)能否覆盖这些错误来源。标题强调 dependable 与 trajectory-centered 两个限定,属实证类工作而非框架发布。
把失败归因从最终结果挪到轨迹中间步骤,控制手段的有效性取决于它能否触及错误进入的位置。
月之暗面推出托管智能体,作者提出租买三层决策框架,认为 Agent 计价锚点从 IT 预算转向人力预算。
Kimi 上线托管式数字员工,按任务或订阅方式交付。文章据此提出租用、购买、自建三层决策框架,并指出 Agent 的定价参照正在从软件采购预算迁移到人力成本预算,讨论了这一变化对采购与计费模式的影响。
计价锚点从软件预算滑向人力预算,意味着 Agent 的竞争对手与采购决策人都会换一批。
月之暗面 Kimi K3.1 Pro 上线 Amazon Bedrock,兼容 OpenAI 接口并支持提示缓存。
Kimi K3.1 Pro 通过 Amazon Bedrock 对外提供调用,接口层兼容 OpenAI 格式,已有基于 OpenAI SDK 的应用可直接改指向;同时支持提示缓存,用于降低长系统提示与重复上下文的调用开销。公告摘要未披露上下文窗口、定价与区域可用范围等具体参数。
国产模型以 OpenAI 兼容协议进入海外主流云市场,接入成本被压缩到改一个 endpoint 的程度。
阿里千问办公升级到 Qwen4,文章将其与 WorkBuddy 做办公 Agent 能力的正面对比。
千问办公接入 Qwen4 后,在文档生成、表格处理、多步任务执行等办公场景做了能力升级。文章从任务完成度、响应速度、可调用工具范围等维度,将它与 WorkBuddy 逐项对照,并列出两者在真实办公用例中的表现差异。
国内办公 Agent 赛道从模型比拼转向产品级对标,Qwen4 上车千问办公意味着基础模型迭代直接决定办公入口的体验上限。
Manus 取消传统编程面试环节,产品经理直接参与写代码,工程师招聘规模降至峰值一半。
据文章披露,Manus 在招聘流程中取消了传统的编程面试,改为其他考察方式,同时产品经理开始直接编写代码。文章同时提到,该公司的工程师招聘数量已下降到巅峰时期的一半,并围绕这一变化讨论了 AI 编程对团队岗位分工与用人标准的影响。
招聘环节的考察对象从算法题转向实际交付能力,PM 与工程师的职责边界在同一团队内被压缩。
沃尔玛分享在 4700 家门店运行多智能体 LLM 批处理工作流的成本与容错实践。
沃尔玛在技术演讲中介绍其多智能体 LLM 批处理工作流的规模化落地情况,部署范围覆盖 4700 家门店。内容围绕批量任务的成本控制与内置容错机制设计展开,涉及如何在大规模批处理场景下组织多智能体协作、控制单任务推理开销,以及应对失败重试与降级,属于生产环境工程经验的对外披露。
4700 家门店量级的批处理多智能体,把讨论从 demo 拉到了 token 成本与失败重试这种运维颗粒度。
Anthropic 工程师发布长文,讲述 Coding Agent 的管理实战经验与协作方式。
Anthropic 工程师以长文形式复盘 Coding Agent 的实际使用经验,核心论点是使用者的管理能力,包括任务拆解、验收与反馈,直接决定 Agent 产出质量。文章按实战场景给出具体做法与反例。
Anthropic 内部工程师把用好 Coding Agent 的前提落在管理能力上,而不是提示词技巧。
千问办公 2.0 发布,补齐办公 Agent 的关键能力短板,形态从个人助手转向团队任务执行。
千问办公升级至 2.0 版本,官方称补齐了办公 Agent 此前缺失的关键环节,产品定位由面向个人的辅助助手扩展为可替团队完成任务的形态。具体新增能力与开放范围未在摘要中展开。
从个人助手到团队任务承接,办公 Agent 的竞争点正在从单点功能转向组织内协作链路。
腾讯云提出企业级 Agent 从办公提效转向对经营结果负责。
腾讯云阐述企业级 Agent 的演进路径,将其划分为办公提效阶段与面向经营结果的 Service Agent 新赛道,主张 Agent 的价值衡量从效率指标转向业务结果指标。内容以行业观点与赛道判断为主。
衡量口径从效率指标切换到经营结果,企业级 Agent 的付费逻辑与验收标准随之改变。
腾讯 Hy4 因调用量激增完成十倍扩容,官方称其 Agent 能力居开源模型第一。
腾讯披露 Hy4 模型上线后调用量快速增长,已完成十倍规模扩容以承接流量;配套产品 WorkBuddy 方面表示 Hy4 的 Agent 能力在开源模型中位列第一。内容涉及模型服务承载能力与智能体任务表现的官方口径数据。
十倍扩容由真实调用量驱动,反映开源模型的生产负载;Agent 能力排名出自官方口径,尚无第三方评测对照。
InfoQ 梳理智能体 Harness 从链、图到代码化的演进路径与工程取舍。
InfoQ 发文回顾智能体 Harness 的架构演进,从早期的链式编排、图结构编排,逐步走向以代码表达流程的方向,并对比各阶段在可调试性、灵活性与复杂度上的取舍。
编排范式从图转向代码,反映的是智能体流程控制权在框架与开发者之间的移动。
提出 Agent-R² 方法,用真实来源数据合成来规模化训练执行生产力任务的 Agent。
针对 Agent 训练数据难以规模化的瓶颈,Agent-R² 从真实工作来源(文档、应用、业务流程)中抽取并合成任务轨迹,构造贴近真实生产力场景的训练数据,再用于 Agent 能力扩展。工作给出了数据合成的流程设计与在真实任务上的扩展效果对比。
训练数据不再靠人工标注或纯模拟环境,而是从真实工作来源反向合成,绕开了真实任务轨迹稀缺的问题。
论文重新审视代码 Agent 的代码表示方式,指出原始文件读取与检索式访问各自的局限。
论文讨论代码 Agent 应以何种形式“看”代码,分析当前主流的两种做法:直接读取原始文件、以及通过检索按需取片段,并指出两者在上下文占用、结构信息丢失与跨文件依赖上的不足,进而提出对代码表示方式的重新设计方向。
代码 Agent 的能力上限很大程度由输入表示决定;原始文件与检索片段这两种默认做法同时被质疑,指向一个被忽视的设计层。
某团队开源自进化研发平台 LoopForge,并分享 Coding Agent 在研发团队的落地工程经验。
团队发布并开源 LoopForge 平台,定位为可自进化的研发平台,围绕 Coding Agent 在真实研发流程中的接入方式、协作机制与迭代闭环展开。文章以工程实践为主线,复盘落地过程中的架构选择与踩坑,具体参数与模块划分需见原文。
自进化与研发流程闭环被放到开源平台里落地,Coding Agent 从单点工具走向团队级基础设施的一个样本。
文章审视 Agent harness 的演进路径,追问 benchmark 涨分能否等同于可迁移的真实能力提升。
文章围绕 Agent harness(模型外层的工具调用与流程编排层)的迭代展开,指出 benchmark 分数上涨与真实任务表现之间可能存在落差,分析评测设置与实际部署环境在任务分布、反馈机制、错误恢复上的差异,并讨论如何判断一次 harness 改动带来的是可迁移能力还是对特定测试集的适配。
把「benchmark 涨分」和「能力真的变强」拆开看,是评估 Agent 迭代时最容易被跳过的一环。
openJiuwen 提出面向长周期编码 Agent 的动态 Harness 与多 Agent 协作机制。
openJiuwen 针对长周期编码任务中静态 Harness 难以适应任务阶段变化的问题,提出可动态调整的 Harness,并配套多 Agent 协作机制,用于在长时程任务中切换执行策略与分工,项目定位为编码 Agent 的运行框架。
把 Harness 从固定脚手架改为随任务阶段动态调整,长周期编码 Agent 的框架层开始出现新范式。
Replit 发布 ViBench 2.0,用于评测 Agent 在长周期任务中完整构建软件的能力。
Replit 推出 ViBench 2.0 基准,把评测对象从单轮代码生成转向端到端的软件构建:Agent 需要在多步骤、跨文件的流程中完成一个可运行的软件项目。基准围绕长周期任务的完成度设计,考察规划、编码、调试与整合等连续环节的表现,并配套公开了评测方法与结果。
代码基准的评测单位正在从函数级、单文件级,迁移到“一个能跑起来的完整软件”,长周期连贯性成为新的度量对象。
InfoQ AICon 北京分享 AI Coding 场景下 Skill 门禁与 Harness 的落地实践。
该分享围绕 AI Coding 的增量风险管控展开,介绍 Skill 门禁与 Harness 两套机制在工程团队中的落地方式,涵盖门禁规则设计、执行链路与实践中遇到的问题,属于方法论加工程实践的复盘型内容。
把 AI 生成代码的增量风险收敛到 Skill 门禁与 Harness 两层,是较少见的从管控侧切入 AI Coding 的实践视角。
论文实测同一大模型在更换 Agent Harness 后的银行合规表现变化,并发现跨模型差异不一致。
研究以银行业行为规范为测试场景,固定底层大模型不变,仅更换 Agent 框架(Harness)与脚手架,观察模型对合规规则的遵守程度如何变化。结果显示脚手架本身会显著改变合规表现,且不同模型对同一脚手架的反应方向和幅度并不一致,意味着模型评测结果难以脱离其运行框架单独比较。摘要未给出具体模型清单与规则条目数。
标题给出的判断是“Harness 即模型”:合规行为并非模型固有属性,换一套脚手架就能改写评测结论。
Bloomberg 介绍 LLM 与确定性流水线混合的架构,用于企业级大规模代码迁移。
Bloomberg 分享了企业级大规模代码迁移的落地架构:由 LLM 负责需要语义理解的改写环节,由确定性流水线负责可规则化的步骤,两者混合编排。这是面向大规模代码库迁移场景的工程实践分享。
它没有采用纯 LLM 方案,而是把 LLM 限定在语义环节、其余交给确定性流水线,规模化迁移中的一种分工范式。
提出面向自托管模型的最小 Agent 设计思路:优化 Harness 而非微调模型。
工作把 Agent 效能瓶颈定位在外围 Harness(提示编排、工具接口、上下文组织、失败重试)而非模型权重,并在自托管开源模型上构建最小可行 Agent 用于调查性分析任务。通过约束 Agent 的组件数量与自主度,在可控成本与数据不出域的前提下达到可用表现。
在自托管场景里,投入 Harness 工程的边际收益可能高于换更大模型,且天然规避数据外流。
同一模型在相同任务上跑分从 30 分提升到 95 分,差距来自 Harness 工程外壳而非模型本身。
文章用同一模型在不同 Harness 下跑分从 30 分到 95 分的对比,说明 Agent 效果差异主要来自模型之外的工程外壳,并拆解设计要点:上下文组织与压缩、工具定义与返回格式、错误重试与状态管理、子 Agent 拆分以及验证回路等。
同一模型 30 分到 95 分的落差全部落在 Harness 上,把“换模型”之外那部分调优空间做了量化。
腾讯推出企业级 Agent 平台,主张把 Agent 的构建与管控权交给企业自身。
腾讯发布企业级 Agent 平台,定位是把 AI 生产力从个人工具推进到组织级规模化落地。平台强调企业自主掌握 Agent 的搭建、数据接入与权限边界,覆盖从单点试用走向多部门复用的路径,面向的是企业内部统一管控与合规需求。
大厂把叙事从“个人提效”切换到“组织级管控”,平台的竞争点落在权限、数据边界与可治理性上。
DeepSeek开源Super-agent Harness架构,意在减少人在Agent运行中的重复性手工负担。
DeepSeek开源名为Super-agent Harness的Agent架构,官方将其定位为减少“人给AI打工”的负担,也就是减少人在Agent执行过程中逐步下指令、搬运结果等重复投入。相关架构与代码已公开,可自行部署复用。
大厂把“如何让Agent少占用人力”直接做成开源架构,Agent编排层的公共基础设施又多了一个可复用选项。
英伟达开源 Nemotron 3.5 Super 与 Lightning 两款模型,采用混合 Mamba-Transformer 的 MoE 架构,主打 Agent 推理与长上下文。
英伟达以开源权重形式发布 Nemotron 3.5 系列,分 Super 与 Lightning 两个档位,共同点是采用 Mamba 与 Transformer 混合的 MoE 架构,官方定位是 Agent 推理与长上下文场景。公开摘要未给出具体参数量、激活参数比例与上下文窗口数值,需查阅模型卡与评测结果。
MoE 加 Mamba 混合架构被明确挂到 Agent 场景上,而不是通用对话;同一系列用 Super 与 Lightning 两个档位覆盖不同推理成本区间。
面向金融场景提出三引擎架构与上下文工程方法,处理 Agent 数值准确性与可审计性。
文章针对金融领域 Agent 提出三引擎架构,并配套上下文工程方法,用于解决 LLM 直接封装导致的数值不准确和过程不可审计问题。架构将计算、上下文组织与校验职责分离,使关键数值可追溯。摘要未披露具体引擎实现与测试数据。
金融 Agent 的架构分水岭:把数值计算从语言模型里拆出来,才能同时拿到准确性和审计链。
一篇系统性综述,梳理语言模型与规则引擎耦合的 13 种混合模式,并讨论选型依据。
文章把 LLM 与规则引擎的结合方式拆解为 13 种模式,覆盖规则前置过滤、后置校验、路由分发、回退兜底等不同耦合位置,并从延迟、可解释性、成本、错误传播等维度给出模式之间的对比与选择标准。
把'LLM 加规则'从笼统原则拆成 13 种可命名的具体架构,选型讨论从感觉转向模式编号。
InfoQ 发文拆解生产级 AI 系统中的隐性故障类型、工程落地路径与智能体治理实践。
InfoQ 发布一篇聚焦生产环境 AI 的实践文章,内容分为三部分:识别生产环境中不易察觉的隐性故障(如静默降级、输出漂移),梳理从原型到上线的工程落地路径,以及智能体在权限、审计、责任边界上的治理做法。文中结合具体案例讨论每类问题的表现与应对方式。
隐性故障被单独列出讨论,这类问题在演示阶段看不出来,往往在流量上来后才暴露,且难以归因到单一模块。
阿里云将云能力延伸至智能体构建运行与企业数据组织,推出 Agentic Cloud 基础设施底座。
阿里云提出 Agentic Cloud 定位,在原有云服务之上补齐智能体的构建、运行与托管能力,同时纳入企业数据组织环节,形成面向 Agent 的基础设施底座。这一布局被视为模型服务之后的下一段生意,思路是把智能体开发所需的运行时、工具调用与数据接入打包为云上标准能力。
云厂商开始把智能体运行时当作与模型服务并列的独立产品线,基础设施层的竞争从卖算力转向卖 Agent 运行环境。
小红书分享企业级AI助理Seal从三天Demo到一个月内全员可用的规模化落地过程。
小红书介绍其企业级AI助理Seal的落地路径,从最初三天的Demo验证起步,在一个月内推进到全员可用。内容涉及内部场景选择、权限与数据接入、用户推广等环节,呈现了企业内Agent产品从原型到规模化铺开过程中的实际问题与应对方式。
三天 Demo 到一个月全员可用,这个时间比例呈现了大厂内部 Agent 落地的真实节奏。