智能体感知Perception

Agent 的输入层。多模态理解、视觉、语音与 OCR 的每一次推进,都直接决定 Agent 能看见什么、看漏什么。这里收的是感知维度的信号。

最近 40 条 · 按发布时间倒序 · 全部历史周报

★★★★★

李飞飞创办的 World Labs 世界模型正式对外开放,输入一句话即可生成可交互 3D 场景。

World Labs 将世界模型产品正式开放,用户输入一句文本描述即可生成可交互的 3D 场景,作者以重庆山城为题做了实测。模型输出的是可漫游、可交互的三维空间,而非常规的图片或视频,代表空间智能方向的产品化落地。

值得记下

从文本直达可交互 3D 空间,输出形态不同于图像与视频生成;世界模型开始从论文走向对外开放的产品。

2026-11-13·ifanr.com感知
★★★★★

MiniMax 开源 SOTA 生图模型,支持原生 4K 输出,单张成本约两毛。

MiniMax 开源一款多模态生图模型,宣称达到 SOTA 水平,支持原生 4K 分辨率输出,无需超分后处理。官方给出单张生成成本约 0.2 元,并同步开放模型权重与推理接口,覆盖文生图与图像编辑任务。

值得记下

原生 4K 加两毛单张成本,把开源生图的价格与分辨率基准同时往上抬了一档。

2026-11-12·qbitai.com感知
★★★★★

字节发布 Seedream 5.5 图像模型,支持上百轮连续图像编辑。

字节跳动推出 Seedream 5.5 图像生成与编辑模型,主打长程多轮编辑能力,官方称可支撑约 100 轮的连续图像修改而不易崩坏。相比前代在生成速度上有提升,同时下调了 API 调用价格。文中通过多轮编辑的实测对比展示其在指令跟随与画面一致性上的表现。

值得记下

百轮编辑不崩、速度提升、API 降价三项同时出现,长程多轮编辑正在成为图像模型的新比拼维度。

2026-11-10·qbitai.com感知
★★★★★

Meta 旗下 AI 助手 Muse 上线 Apple Watch 与 Wear OS,支持语音通话和文字交互。

Meta 将 AI agent Muse 扩展到可穿戴设备,覆盖 Apple Watch 与 Android Wear OS 两个平台,提供语音通话与文字两种交互方式,把 Agent 入口从手机延伸到手腕场景。

值得记下

Agent 的入口之争蔓延到手表:语音通话形态意味着可穿戴设备被当作常驻对话终端,而非通知屏。

2026-11-10·techcrunch.com感知
★★★★★

字节Seedream 5.5实现像素级界面改图,图像编辑向AI版PS演进。

字节跳动Seedream 5.5展示了针对iPhone Duo界面的精准修改能力,可按指令对UI截图做像素级局部编辑,保留原有布局、字体与控件细节。文章称该模型把图像编辑推向“AI版PS”方向,但未披露模型规模、推理成本与对外可用形式。

值得记下

从整图重绘转向保留结构的局部像素级编辑,UI截图这类高结构密度图像成为图像模型的新测试场。

2026-11-09·ifanr.com感知
★★★★★

对豆包 Seedream5.5 图像模型进行实测,考察多轮改图的一致性与工作流接入方式。

文章记录了作者对豆包 Seedream5.5 的实测过程,覆盖连续上百轮局部修改后画面仍保持一致这一能力,以及模型在素材生成、修图、排版等环节与工作流衔接的具体方式。文中提到豆包将图像生成定位为整条生产流程中的一环,而非单次出图工具。

值得记下

实测关注的是「百轮改图不糊」这类长链条一致性指标,而非单张出图质量,评测维度本身指向图像模型从出图工具向工作流组件的变化。

2026-11-09·ifanr.com感知
★★★★★

腾讯混元Hy4跻身最强开源模型,实测搭配WorkBuddy的多模态Agent交付力。

腾讯混元发布Hy4模型,被列为当前最强开源模型之一。文章以第一手实测方式,将Hy4与WorkBuddy组合,考察其在多模态Agent任务中的交付表现,覆盖理解、工具调用与产出环节,但未给出与同类开源模型的完整横向跑分对比。

值得记下

开源模型的能力评估正从榜单分数转向“模型+Agent框架”组合下的端到端交付力实测。

2026-11-09·qbitai.com感知
★★★★★

Gemini Omni 1.2 Flash 的视频生成与编辑能力正式 GA,主打速度与成本。

谷歌宣布 Gemini Omni 1.2 Flash 的视频生成与编辑功能进入普遍可用阶段,官方定位为快速、低成本且可靠的视频生成模型,面向批量商业视频场景的生成与编辑任务。公开摘要强调速度与成本两项指标,未给出分辨率、时长上限与具体计价参数。

值得记下

视频生成模型以“Flash”这一低成本档位命名并 GA,批量商业视频是被明确瞄准的落地场景。

2026-11-05·cloud.google.com感知
★★★★★

OpenAI GPT-Image-2.6 全量上线,支持直出 GIF 与 SVG,最快 6 秒出图

OpenAI 将 GPT-Image-2.6 全量上线,新增直接生成 GIF 与 SVG 两类格式的能力,官方口径称最快 6 秒完成一次出图。同期内容提到 6.2 Astra 模型现身,但摘要中未说明其开放范围、可用入口与具体能力差异,仅作为附带信息出现。

值得记下

直出 SVG 意味着生图模型的输出从像素层进入矢量可编辑格式,GIF 则把时间维度纳入单次生成范围,两个方向都超出了静态位图的框。

2026-11-05·qbitai.com感知
★★★★★

开源 Agent 记忆框架 openJiuwen Agent-Memory 支持长视频视听双流记忆,问答时延最高降 97%。

该开源框架为 Agent 增加长视频的视觉与音频双流记忆能力,能够从长视频中抽取并保留关键事件,在问答阶段按需检索。官方给出的数据显示,问答时延最高可降低 97%,同时关键事件召回不遗漏。属于 Agent 记忆层的感知维度扩展。

值得记下

长视频场景下把「视听双流」纳入 Agent 记忆,并给出 97% 时延降幅这一具体量化指标,记忆层从文本走向多模态的进展。

2026-11-04·qbitai.com感知
★★★★★

一款纯语音 Personal Agent 产品问世,以语音原生交互替代屏幕操作。

内容介绍了一款不做图形界面、完全依靠语音完成任务的 Personal Agent,交互围绕连续对话与任务执行展开,而非单轮问答。文中将其与乔布斯时期的 Siri 设想作对照,讨论语音原生形态下的唤醒、上下文保持与任务闭环设计,属于交互形态层面的产品观察。

值得记下

去掉屏幕、只留语音,等于把上下文管理和打断恢复全部压到对话层,这是与图文 Agent 完全不同的工程约束。

2026-11-03·qbitai.com感知
★★★★★

国产开源 1.3B 参数 OCR 模型 OXR 登顶全球评测第一。

国产开源 OCR 模型 OXR 以 1.3B 参数规模在全球评测中排名第一,主要能力为文档解析。较小参数量即可对标更大模型,为文档解析类 Agent 提供了一条本地部署、可自行托管的国产选型路径。

值得记下

1.3B 参数量级在 OCR 榜单登顶,文档解析环节的模型体积门槛被进一步压低。

2026-10-30·qbitai.com感知
★★★★★

苹果开源 AnySpeechRecognizer 与 AnyDecisionModel 两个模型,覆盖语音识别与决策,面向 Apple 平台。

苹果发布 AnySpeechRecognizer 和 AnyDecisionModel 两个开源模型,分别处理语音识别与决策任务,运行于 Apple 平台设备端。两者面向端侧推理场景,可作为 iOS、macOS 上 Agent 的感知与决策组件。

值得记下

端侧语音识别与决策模型成对开源,意味着设备本地即可完成从听到判断的链路,无需上传云端。

2026-10-29·huggingface.co感知
★★★★★

字节即梦把剧本、导演与剪辑整合进同一 AI 工作室,视频生成走向流程化。

字节跳动即梦将剧本创作、导演调度和剪辑环节收进同一个 AI 工作室界面,把原本分散在多个工具中的视频生成步骤串成一条流水线。文章描述了这一整合如何改变创作流程的组织方式,以及视频生成从单点模型能力转向可编排、可复用的生产流程这一走向。

值得记下

视频生成产品的竞争重心从单次生成质量挪到流程编排,谁能把剧本到成片的链路收进一个工作面,谁就掌握了创作入口。

2026-10-28·geekpark.net感知
★★★★★

开源文档解析模型OXR以1.3B参数登顶三个榜单,速度超过Paddle与MinerU。

OXR是一个1.3B参数的开源文档解析模型,发布后在三个榜单上排名第一,推理速度快于Paddle、MinerU等同类的文档解析方案。团队称其效果提升来自RSI(强化自我改进)方法,开源一周GitHub star数破千。现有信息未给出具体榜单名称与速度数值。

值得记下

1.3B的体量可单卡部署,速度指标又超过MinerU、Paddle等主流方案,文档解析选型的对照表里因此多了一个条目。

2026-10-27·qbitai.com感知
★★★★★

开源OCR新模型将KV Cache压缩为常数,支持无限页数,缓存降低96%。

该开源OCR模型通过把KV Cache压成常数规模,使显存占用不再随文档页数线性增长,从而实现页数无上限的长文档解析,缓存开销下降96%。内容属于模型发布与方法说明,可作为文档解析链路选型时的参考对象。

值得记下

缓存从随页数线性增长变为常数,长文档解析的显存瓶颈被绕开,96%的降幅直接改变了单机可处理的文档长度上限。

2026-10-27·qbitai.com感知
★★★★★

语音 Agent 公司 Retell 使用 OpenAI 模型支撑每月一亿通电话,已实现规模化商用。

Retell 披露其语音 Agent 平台基于 OpenAI 模型承载每月约一亿通电话,覆盖通话中的实时语音识别与对话响应。案例给出规模化商用的实际承载量级,以及在延迟、并发与成本约束下选择模型供应商的工程取舍。

值得记下

月均一亿通电话是把语音 Agent 从演示推到生产环境的量级参照,延迟与成本是这条链路上的硬约束。

2026-10-27·openai.com感知
★★★★★

唐杰团队论文曝光一款智谱未公开模型,图文能力差异明显,被外界视作 GLM-5.5 预热。

智谱唐杰团队的一篇论文中出现了一个未公开的模型,评测显示其在图像与文本两类任务上的表现明显不均衡,呈现出偏科特征。外界据此推测该模型与尚未发布的 GLM-5.5 有关,但论文与智谱官方均未确认型号归属、参数规模与发布时间。

值得记下

论文里“顺带”露出的未发布模型,成了国产大模型下一代的提前信号;图文能力不均衡本身也透露了训练配比上的取舍。

2026-10-27·leiphone.com感知
★★★★★

声网 CEO 赵斌在 iRTE2026 提出对话 AI 五级能力框架,描述从实时互动到实时智能的演进路径。

在 iRTE2026 大会上,声网 CEO 赵斌以对话 AI 迈向 AGI 为主题,提出一个五级对话能力分级框架,将对话能力从基础实时语音互动逐级划分至更高阶的实时智能形态。演讲围绕声网所在的实时互动(RTE)技术栈,说明每一级所需的延迟、打断处理与上下文能力差异,并给出从当前产品形态向下一级过渡的技术路径。

值得记下

把对话能力做成可分级的能力阶梯,是少见地把'实时性'作为独立维度纳入 Agent 能力评估的框架。

2026-10-24·leiphone.com感知
★★★★★

讯飞发布新一代端到端语音交互模型,语音大模型调用量涨 20 倍。

讯飞推出新一代端到端交互模型,主打语音链路的端到端建模,官方称其语音大模型调用量增长 20 倍,端侧已能实现约 70% 的云端能力。发布同时给出了端云能力比例这一指标,指向低延迟、离在线一体的交互形态。

值得记下

端侧做到云端约七成能力,端云能力比被当作可对外公布的量化指标,语音交互的部署边界在往设备侧挪。

2026-10-23·infoq.cn感知
★★★★★

Kimi K3.1 信息泄露,称其 3D 生成成本为 GPT-6 Astra 的 1/14。

网络上流出 Kimi K3.1 的相关信息,称该模型在 3D 内容生成上的成本约为 GPT-6 Astra 的十四分之一,视觉能力对标海外三家厂商的模型。信息以泄露形式出现,官方尚未公布参数、评测数据与定价,成本统计口径与对比基准也未明确。

值得记下

3D 生成赛道出现以成本差距为卖点的叙事,对比对象直接指向 GPT-6 Astra。

2026-10-23·leiphone.com感知
★★★★★

Amazon Polly 生成式引擎大版本升级,语音自然度提升、延迟降低,新增 14 种音色并转为正式可用。

Amazon Polly 的生成式引擎完成一次大版本更新:合成语音在韵律与自然度上调整,首字节延迟下降,音色库新增 14 种选择,同时该生成式引擎从预览状态转为正式可用(GA),可进入生产环境使用。

值得记下

音色扩容、延迟下降、转正式可用三件事同时发生,生成式 TTS 的可用性基线被整体抬了一档。

2026-10-22·aws.amazon.com感知
★★★★★

AWS 博客介绍在 SageMaker AI 上部署 Kokoro TTS,将 Agent 回复逐句流式合成为语音。

该文给出在 Amazon SageMaker AI 上部署开源 Kokoro TTS 模型并封装为推理端点的方案,把 Agent 生成的自然语言回复按句切分后逐段送入 TTS,边生成边返回音频流,而不是等整段文本完成后再合成,以此压缩语音 Agent 的端到端响应时间。文中包含端点配置、调用示例与延迟对比。

值得记下

语音 Agent 的等待往往不在 LLM 而在 TTS 的整段合成;逐句流式把首包音频提前到第一个分句完成时。

2026-10-22·aws.amazon.com感知
★★★★★

阿里通义发布 Qwen-Audio-3.1-ASR 技术报告,语音识别与说话人分离能力升级。

阿里通义实验室发布 Qwen-Audio-3.1-ASR 技术报告,在原有语音识别能力基础上引入说话人分离(speaker diarization)升级,即在转写文本的同时区分不同说话人。报告覆盖模型结构、训练数据与评测结果,属于音频感知模型的一次版本迭代。

值得记下

ASR 与说话人分离合并进同一模型,会议转写类语音输入链路可少一次后处理拼接。

2026-10-22·arxiv.org感知
★★★★★

苹果以语音加屏幕的形态切入家庭 AI 场景。

苹果发布会以「家」为主题开场,家庭 AI 产品采用语音交互加屏幕显示的形态。内容围绕这一组合展开,呈现了家庭场景下 Agent 的硬件载体与交互方式。

值得记下

家庭 AI 的交互落点仍被收敛到语音加屏幕,硬件形态本身成为 Agent 能力边界的一部分。

2026-10-16·ifanr.com感知
★★★★★

网易上线AI原生语音Agent『叭哥说』,并出资10万元向用户征集真实需求。

网易推出 AI 原生语音 Agent 产品『叭哥说』,同步发起 10 万元悬赏向用户征集真实需求,且不设专业与学历限制。内容为该产品的上线动作与需求征集活动说明。

值得记下

AI 语音 Agent 用 10 万元悬赏征集用户需求,需求来源从内部调研转向公开征集。

2026-10-16·qbitai.com感知
★★★★★

禾赛发布 AI 空间相机,可将现实场景复刻为虚拟空间,面向空间感知与具身应用。

禾赛推出一款名为 AI 空间相机的硬件产品,主打把现实场景复刻为虚拟空间,为空间感知与具身智能应用提供采集端设备。产品定位在激光雷达主业之外的空间数字化方向,输出可用于构建虚拟空间的环境数据,服务于具身智能、三维重建等需要真实世界空间输入的场景。

值得记下

激光雷达厂商把能力延伸到「空间数据采集」,具身智能的上游硬件供应商开始直接对准 Agent 的世界模型需求。

2026-10-15·ifanr.com感知
★★★★★

NVIDIA 发布 Nemotron 3.5 Super VL 多模态模型,为专用 Agent 提供视觉推理能力。

NVIDIA 推出 Nemotron 3.5 Super VL,属 Nemotron 系列中的视觉语言多模态模型,定位为专用 Agent 的感知与视觉推理底座。官方将其与专用 Agent 场景绑定,强调模型可处理图像输入并完成推理任务,供开发者在垂直领域构建具备视觉理解能力的 Agent。目前公布信息集中在模型定位与能力方向上。

值得记下

多模态能力正从通用聊天模型下移到专用 Agent 的感知层,NVIDIA 选择以「为 Agent 供货」的方式切入视觉推理。

2026-10-15·developer.nvidia.com感知
★★★★★

千问推出 2218 元起售的 AI 眼镜,主打第一视角获取现实世界上下文。

千问发布 AI 眼镜新品,起售价 2218 元。硬件以第一视角拍摄与感知为核心,为模型提供现实世界的上下文输入,而非停留在拍照、翻译等单点功能。摘要提出拍照和翻译难以支撑 AI 眼镜品类,产品思路转向持续感知与上下文采集。

值得记下

把眼镜定位成现实世界上下文的采集端而非拍照翻译工具,硬件竞争点从单点功能转向持续输入能力。

2026-10-15·infoq.cn感知
★★★★★

复旦邱锡鹏团队创业公司成立两年获超 10 亿融资,主攻模型对动态世界的感知与响应。

复旦邱锡鹏团队创立的公司成立两年,获得超 10 亿人民币融资。团队方向是让模型感知、理解并响应不断变化的真实世界,属于面向动态环境建模的研究与产业化路径。邱锡鹏为国内自然语言处理领域学者。

值得记下

学者创业公司两年拿到 10 亿级融资,对动态世界的感知与响应被单列为一条独立技术路线。

2026-10-13·geekpark.net感知
★★★★★

Clef发布原生多模态模型Clef-omni,统一处理音视频图文,同步更新Clef并下调Clef-flash价格。

Clef推出原生多模态模型Clef-omni,支持音频、视频、图像与文本的统一输入输出处理,而非多个单模态模型的拼接。同批发布还包括速度更快的Clef,以及价格更低的Clef-flash。公告摘要未给出具体基准测试分数、上下文窗口大小与定价数字。

值得记下

同一厂商同时押注“原生多模态”与“更便宜的flash档”,两条产品线分别对应能力上限与调用成本,多模态Agent的选型空间被再拉宽一次。

2026-10-09·blog.cloudflare.com感知
★★★★★

AWS 演示用 AgentCore、Nova Sonic 与管理知识库搭建可语音改签的旅行助手。

该示例串联 Amazon Bedrock AgentCore、Managed Knowledge Base 与语音模型 Nova Sonic,构建一个旅行礼宾 Agent:用户以语音提出改签需求,Agent 检索知识库中的航班与政策信息,再通过工具调用完成改签流程。文章给出整体架构与实现步骤。

值得记下

把语音输入、Agent 编排、知识库检索与真实业务操作串成一条完整链路的公开示例并不多,AgentCore 的定位在演示中变得更具体。

2026-10-06·aws.amazon.com感知
★★★★★

Google 发布 Gemini 3.8 Live 与 Live Avatar,升级实时语音加数字人形象的多模态交互。

Google 推出 Gemini 3.8 Live,同时发布配套的 Live Avatar 能力,在原有实时语音交互基础上加入数字人形象输出。产品定位为实时多模态对话,语音与视觉形象同步生成,面向需要拟人化实时交互的场景。

值得记下

实时语音叠加上数字人形象,交互层从「听觉通道」扩展到「视觉通道」,这是 Gemini Live 系列首次把形象生成纳入同一模型能力。

2026-09-24·deepmind.google感知
★★★★★

Google 宣布 Gemini 3.8 Live 与 Live Avatar 正式商用,支持实时多模态数字人 Agent 落地。

Google 将 Gemini 3.8 Live 与 Live Avatar 从预览转为正式可用(GA),面向开发者开放实时语音与视频交互能力。Live Avatar 提供可实时驱动的数字人形象,与 Live API 的流式多模态输入输出配合,用于构建能对话、能出镜的实时 Agent。官方未在发布中突出给出延迟、并发与定价等具体参数。

值得记下

数字人从离线视频生成走向实时会话通道,Agent 多了一层可长期在线的可视化交互界面。

2026-09-24·cloud.google.com感知
★★★★★

阿里 Qwen 发布 Qwen-Audio-3.1-Realtime 实时语音 Agent 模型,统一思考、行动与语音。

阿里 Qwen 团队发布 Qwen-Audio-3.1-Realtime,定位为面向可靠语音交互的实时语音 Agent 模型。其设计把推理(思考)、工具调用(行动)与语音输出放在同一模型内统一处理,模型命名中的 Realtime 指向实时交互场景,属于感知维度的模型发布。

值得记下

思考、行动、语音三合一出现在实时语音模型上,级联式语音 Agent 架构多了一个可对照的方案。

2026-09-23·arxiv.org感知
★★★★★

阿里发布 Qwen3.8-Omni-Flash 原生全模态智能体模型,面向真实多模态生产力任务。

阿里推出 Qwen3.8-Omni 系列中的 Flash 版本,定位为原生全模态智能体模型,即在模型内部统一处理多种模态输入,而非外挂拼接式方案。官方描述其重心从感知与交互能力,转向可落地的真实多模态生产力任务。目前公开信息以模型命名与定位为主,摘要中未给出参数量、上下文长度与评测数据。

值得记下

全模态与 Agent 能力的合并路线正被大厂推到台前,模型命名上已同时标注 Omni 与 Agent 双重属性。

2026-09-23·arxiv.org感知
★★★★★

Vidu S2 实测:生成「乔布斯」形象并与之对话,体验边看边改的交互式视频编辑。

作者用 Vidu S2 做了一轮实测:先生成「乔布斯」的数字形象,再与其进行对话,围绕虚构的「iPhone Duo」展开访谈式内容。体验重点验证了角色生成、口型与对话一致性,以及「边看边改」的交互式视频编辑方式,即在预览过程中直接调整画面与内容。属第一人称产品实测,未给出量化评测数据。

值得记下

看点不在生成得像不像,而在边看边改的编辑交互:视频生成正从一次性出片,转向可反复迭代的对话式编辑。

2026-09-17·ifanr.com感知
★★★★★

谷歌发布 Gemini 3.8 Live 与扩展思考版两款模型,强化实时多模态与推理能力。

谷歌推出 Gemini 3.8 Live 及其 Extended Thinking 版本,前者侧重低延迟的实时音视频多模态交互,后者在 Live 基础上开放扩展思考,允许模型在响应前进行更长的推理链。发布信息未披露具体定价与上下文窗口参数,也未说明 API 开放范围。

值得记下

实时多模态与扩展推理被拆成两个独立版本,Live 场景下的推理深度成为可选项而非默认。

2026-09-15·deepmind.google感知
★★★★★

OpenAI 在 API 上线 GPT-Live-1 全双工语音模型,支持自定义音色与电话接入。

OpenAI 将语音模型 GPT-Live-1 开放至 API,采用全双工架构,可同时收发语音。相较前代,其指令遵循能力有所增强,并支持自定义音色与电话线路接入,面向客服、语音助手等实时对话场景。摘要未给出延迟指标与调用价格。

值得记下

全双工叠加电话接入,把语音 Agent 的落地通道从 App 内延伸到传统电话线路,音色自定义则牵涉品牌一致性。

2026-09-10·openai.com感知
★★★★★

谷歌推出Gemini的agentic视频理解能力,AI代理可感知视频并执行后续推理。

谷歌发布Gemini的agentic视频理解新能力,使AI代理不再只处理文本或静态画面,而是将视频作为输入进行感知与推理。其场景包括观看屏幕录像、分析操作演示、从连续帧中提取事件,并将理解结果接入代理的决策和行动流程。该能力面向需要视觉证据和时序信息的自动化任务,扩展了智能体在真实世界动态环境中的应用范围。

值得记下

Gemini从理解和生成文本图像扩展到消耗连续视频,agent获得的输入模态从快照变为时序信息。

2026-09-01·deepmind.google感知