定档！从对话式 AI 到实时智能，Voice Agent Builder 的年度春晚 iRTE2026 来了丨10 月23-24 日，北京见！

今年从对话式 AI 一路聊到实时智能，现场有 15+ 论坛、100+ 场深度演讲，汇聚 150+ 全球技术领袖和行业专家，全双工+交互式模型、实时互动世界模型、AI 硬件、AI Coding 工具等方向都会集中开聊。文本、语音、图像、视频、触控和相机运动等输入都可以在生成过程中继续加入，并从当前世界状态直接改变后续内容，无需重新开始生成。Vivix-W1 不再把视频生成、音频生成和交互理解拆成独立模块，而是联合处理场景状态、动作、声音、参考素材和实时控制信号，并原生同步生成画面、对白、环境声和空间音效。

用户无需下载独立 App，只需像给联系人发消息一样与 Caddy 对话，它会持续学习用户的工作方式和关注事项，并连接 Gmail、Google Calendar、Slack、Linear、Todoist 等工具完成后续操作。，重点提升电脑操作、软件工程、浏览器使用和复杂专业任务执行能力。SolarWM 对 143 万段视频统一整理视觉画面、相机几何参数、文本描述、质量信息和数据来源等字段，把原本格式、镜头参数和标注方式不同的数据转换成同一套逐帧对齐格式，使不同视频骨干可以复用同一套数据处理和训练流程。

最关键的市场判断是：语言模型赛道已经有 OpenAI 这样强势的玩家，而且它们能提供最好的模型和可规模化的 API，对我们这种小团队来说很难正面竞争。这给了我们放弃旧产品的证据。这个产品后来迭代了一阵，但到了 2021、2022 年，行业进入了「现代数据栈」非常火的阶段——Databricks、Snowflake 之后，大家都在谈数据转换、数据管道和大数据，那时候甚至还没有 ChatGPT，AI 也不是行业焦点。几个月后，我在公司完成种子轮融资前正式加入，并一直工作到现在，我做过很多基础设施方面的工作。

工具会把每次评测使用的声音、合成配置、原始音频、ASR 转写、文本规范化方式、阈值和逐样本结果保存在同一目录，让开发者可以从最终分数一路追溯到具体哪条语音出了问题，而不是只得到一个无法复现的平均值。低工资、低经验的年轻人受到的冲击更大，有经验的中高职位需求则相对稳定。推出可穿戴 AI 日志设备 Mori，用户佩戴后无需每次手动开启录音，设备检测到说话即可自动开始记录，再由 AI 完成转写、分类和总结，把工作交流、朋友聊天、旅行感想和临时想法整理成一段段可回顾的记录，并在每天晚上进一步汇总成个人日志。

前几代的架构通常是这样：它给人一种实时的感觉，但实际上发生的是，系统会在你说话时缓冲你的音频，等待轮次检测器判断"哦，他们说完了」，然后一次性把所有音频喂给模型，说：去转写、生成、把文本给我。NLP 是一把挺重的锤子，在双讲场景（double‑talk scenario，AI 和用户同时说话）中，AEC（回声消除，Acoustic Echo Canceller）为了不让系统听到自己的回声，会用「重锤」削掉残余回声，但也会把用户语音削坏。当它需要更多信息时，可以咨询前沿模型，进行更深入的推理、思考、搜索等。

目前 Gemini 3.5 Transcribe 已经在 Google 自己的多个产品中上线，包括 Gboard 上的 Rambler 语音输入、macOS 版 Gemini 应用的 Speak to Window 功能，以及 Chrome 浏览器的语音输入中。电竞解说实时转写向来是业内难啃的「硬骨头」——超快语速、高密度的黑话和选手 ID，叠加激烈的游戏背景音，对模型的识别能力和延迟解决方案是全方位的极限考验。需要注意的是，SMART 模式和词级时间戳、说话人分离互斥，不能同时开启。

相比此前的 Chirp 3，新模型不只做逐字 ASR，而是直接把原始语音整理成可用文本：能处理自我纠正、去除「嗯」「啊」等口头填充词、自动排版，并结合自定义词汇提升专业术语和订单号、邮编等实体的识别准确率。相比此前主要面向浏览器操作的 n1/n1.5，n2 将执行范围扩展到 Linux、macOS 和 Windows 完整桌面环境，并不再限定 Agent 只能「像人一样点击界面」，而是让模型根据任务主动选择 GUI、命令行、工具调用或代码执行，以更少步骤完成长流程任务。自己推荐的信源、项目、话题、活动等；

与传统榜单只比较模型能力不同，Pipette 将一次端侧部署视为「模型 + 量化方式 + 运行时 + 设备」的完整系统，同时测量质量、首 Token 延迟、吞吐、端到端延迟和内存占用，让开发者直接判断某个模型在目标硬件上是否真正可用。Hume AI 发布 ASR 基准优化研究，对 11 个常用开源 ASR 模型进行三组测试后发现，一些公开基准上的高分模型会根据音频中的数据集特征，输出测试集「预期的参考答案」，而不是严格按照实际听到的内容转录。另一方面，应扩大个人使用 AI 的能力。

英伟达 CEO 黄仁勋在署名文章中表示，公司与 Apollo、BlackRock、Blackstone、Brookfield、Goldman Sachs 和 KKR 建立合作关系，创建独立融资平台，计划逐步调动超过 5000 亿美元的第三方资本建设 AI 基础设施。自己推荐的信源、项目、话题、活动等；CyboPal 由 90 后清华博士彭天放带队，核心成员来自机器人、自动驾驶、大厂 AI、供应链和生产体系，具备从硬件终端、交互模型到 Agent OS 的一体化研发与量产交付能力。

几何阶段负责结构一致性和相机轨迹遵循，外观阶段则侧重视觉细节和画面保真度。

已接入 TTS、Voice Cloning、Voice Conversion、ASR、Forced Alignment、VAD、Speaker Diarization、Audio Codec、Source Separation、Music/SFX Generation 等任务。FireRedTTS3-Base 支持英语、中文、日语、韩语、法语、西班牙语等 24 种语言，并覆盖四川、上海、闽南、温州、吴语等 21 种中文方言的 Zero-shot Voice Cloning。技术报告目前尚未发布。

Soniox TTS v2 带来了卓越的语音质量、通过音频标签实现的丰富表情控制、极高的精准度、高保真度的语音克隆功能、超过 60 种语言支持、自然语言混音功能，以及低延迟的流媒体播放能力。别着喇叭的哑巴不愿拿喇叭换提着獭犸的喇嘛的獭犸。据《商业内幕》报道，加拿大裔美国创投家、Y Combinator CEO Garry Tan 在昨日发布的一档播客节目中建议，初创公司创始人不应过度担心 AI Token 的消耗成本，而应采取「Tokenmaxxing」策略，通过重金投入 AI 智能体来获取竞争优势。

指标分为 Agentic Capability、Conversational Dynamics 和 Naturalness 三组，包括 Pass@1、Goal State、Turn-Taking、Conversation Progression、Selectivity、Faithfulness、DNSMOS、UTMOS、NISQA 等，官方明确不将它们合并成一个总分。现代 TTS 已能表现温暖、犹豫、笑声和停顿，但需要明确的表达指令，且不同 Provider 使用不同的标记语法。

西湖心辰完成数亿元人民币 B+ 轮融资，由广发信德领投，西湖创新投、武汉江豚基金、容亿投资、南通投管等机构跟投，58 产业基金等产业资本参与，蚂蚁集团、汤姆猫等老股东继续支持。新版本支持中文、英语、日语、西班牙语和阿拉伯语，并保留跨语种与音色情感解耦能力，同时新增语速控制和更细粒度的发音控制。数据包含 Acholi、Kiswahili、Luganda、Akan、Ewe、Shona、Fula、Lingala、Hausa、Igbo 和 Yoruba 等语言，不同语言分别提供 ASR、TTS 或两类数据。

如果你正在关注 Conversation AI、Physical AI，或正在寻找 AI 技术落地到消费硬件与新交互产品的可能性，欢迎来现场一起交流、碰撞。，邀请来自 AI 潮玩、智能硬件、Voice AI 与创业一线的嘉宾，从技术实现、产品创新到 IP 孵化与商业增长，共同拆解 AI × 潮玩的新机会。当 AI 从屏幕走向真实世界，潮玩、硬件与实时交互正在成为新的创新试验场。作者提示: 个人观点，仅供参考。

所谓「蒸馏」，通常指利用更先进模型的输出结果训练另一个模型，以较低成本获得接近前沿模型的能力。：UNITH 平台提供数字人创建、API 集成和工作流接入能力，可将数字人嵌入网站、应用和企业业务流程，用于客服、培训、销售和内部协作场景。：DEVA-1 不仅驱动嘴部动作和语音同步，而是实时生成完整面部状态，包括表情变化、微动作和情绪表达，用于增强数字人的自然交互能力。张一鸣的判断背后，是对 AI 长期竞争逻辑的另一种理解：真正的领先优势，不只是获得当前最强模型的能力，而是持续创造下一代模型的能力。

桌面上的 SKI、Qwen-Audio-Agent、Zoku 还假设人至少在电脑附近，拥有 4G 网络的 Disbrief 则把同样的问题带到了走路、通勤和离开屏幕之后：多个 Agent 继续在后台工作，人通过语音保持联系。前台的对话不断流动，后台的任务也在持续推进，两者同时发生，却互不阻塞。，做法很直接：不自己做 Coding Agent，而是连接 Claude Code、Codex、Cursor、Gemini CLI、OpenClaw 等已经存在的工具，在它们上面增加一层双向语音。

该模型基于 Self-Flow 方法构建，目标是学习现实世界中的物体、运动和声音之间的关联，并支持视频生成、编辑以及动作预测等能力。自己推荐的信源、项目、话题、活动等；Gemini 依托 Google 的多模态模型能力，提供更强的上下文理解和生成式交互能力，Google 此前已开始将 Gemini 能力逐步整合到 Assistant 体验中。FLUX 3 Video 支持文本生成视频、图像生成视频、视频到视频编辑、关键帧过渡、视频音频续写等能力，单次生成最长可生成 20 秒视频，并支持原生音频生成。

Vocci 推出 AI 智能戒指 Vocci Ring，通过戒指内置麦克风采集会议、对话和语音笔记，并将内容转换为文本、摘要和可检索的 AI 上下文。Anthropic 长期将安全、对齐和负责任开发 AI 作为公司核心叙事，但与此同时，它也必须通过高薪、股权和更有竞争力的待遇，与 OpenAI、Meta 等公司争夺顶尖研究员和工程师。2026 年是雷霄骅离世十周年，FFmpeg 社区将该版本命名为「Lei」，纪念雷霄骅在 FFmpeg 源码分析、音视频编解码、格式封装和流媒体协议等领域的技术分享。

OpenAI 的 GPT-Realtime/GPT-Live、Google 的 Gemini Live，以及 Thinking Machines Lab 的 Interaction Models，均围绕实时语音与多模态交互，构建全双工、端到端体系，提升推理、工具调用与响应速度。语音则是一条单通道、强占用的交互媒介。一方面，Front-desk VUI 需要将用户在多轮对话中逐步形成的目标、约束和 context，整理为 Background Agent 可以执行的 task，而不是简单转发某一句原始输入。

R1 集成摄像头、语音 AI 和视觉识别能力，针对跑步、骑行和户外活动设计，支持第一视角记录与免手操作交互。Disclosure、Audit Log 成为基础组件，企业部署语音智能体时，需要在实时语音链路中加入 AI 身份提示、交互记录和合成音频标记能力，使透明度要求成为运行时能力，而非上线后的人工流程。：TaoMate 在生成过程中保留不可变的视觉锚点，同时将已生成的视频和音频片段压缩为固定容量的动态状态，通过残差注意力机制检索历史信息，避免随着上下文增长导致计算成本增加。

实时语音模型不是自己在干所有活。它是持久 Agent 系统里的协调者：听、理解意图、分配任务、引导对话；Worker Thread 拿对应的工具和权限执行具体任务；只有需要用户知道的事件才会用语音反馈。语音开始成为异步工作的控制平台。不只是发 Prompt 的另一种方式。

模型面向人形机器人交互场景，将视觉、音频、语言、动作和表情统一建模，通过 Thinker–Talker–Actor 架构实现从环境理解、交互决策到语音和动作输出的一体化生成。：Qwen-Audio-3.0-ASR-Flash 覆盖中文、英语、日语、韩语、泰语、越南语、印尼语、马来语、印地语、阿拉伯语等 30 种语言；：模型将文本、视觉、音频和音视频输入映射至统一表示空间，由 Thinker 负责多模态推理与交互决策，Talker 流式生成语音，Actor 输出机器人动作和表情，使动作与语音成为同等级输出。

这些对看得见的人是废话，对看不见的人却是全部。但解说这事儿，硬是把语音从"念稿机"逼成了"现场嘴替"：它得先看懂场上发生了啥，再用对的情绪、对的人设，在对的那一秒开口。视频里发生的事，说白了就一句话：给一路真实的直播流，配一个会看画面、会实时开口的 AI 解说员。整体的技术设计中，最吃功夫的其实是"实时"这两个字：画面要实时进来，AI 生成的语音还得低延迟送回直播间。这场比赛是美国对阵比利时，解说员是"特朗普"：个人特色非常鲜明，夸人有自己的一套，还有自己的专属口头禅，总能将话题引到自己身上。

他表示，开发者能够通过模型、工具调用、记忆系统、安全防护和运行环境等组成部分持续优化 AI 系统，因此应将其视为可理解、可改进的计算工具。在动物实验中，植入团队研发的仿生听觉神经接口后，失聪兔不仅重新建立了声音感知能力，还能够识别不同语音指令，并完成「打字」「踢球」等对应行为任务，实现了从「听见声音」到「理解语义」，再到「完成动作」的完整人造听觉神经信息处理链路。生态方面，STEPX 已与携程、支付宝、滴滴、美团、WPS、剪映、百度、京东等平台展开合作，覆盖出行、本地生活、办公和内容创作等场景。

Thinking Machines 提出，真正重要的是各组织自己衡量：AI 是否帮助其「更好做判断、生成新知识、达成目标」，这会导致一套与「纯自动化」路径截然不同的优化目标与训练数据选择。Thinking Machines 承认「模型可被深度修改」同样带来安全风险，并引用冯·诺依曼「狮子与羔羊难以分离」的比喻，认为真正的安全来自持续的判断过程，而不是一次性封装。他以自己的四个孩子为例，指出这一代生长于网络环境的年轻人能瞬间识别并看透 AI 内容的本质：他们对 AI 垃圾的判断是即时且严厉的。

在 50 小时的专用数据集训练下，系统跨说话人验证集的字错率降至 15.6%（从 1.5 万样本时的 102% 降至 5 万样本时的 15.6%），表现逼近基于 100 万小时数据集训练的唇读技术（12.5% 字错率），大幅超越同类超声波基准（TaL 数据集上的 83.8% 字错率）。自己推荐的信源、项目、话题、活动等；评估时，通过游戏状态探针直接从模型激活值中逆向读取车辆与球的位置、速度，并结合基于逆动力学模型的动作可恢复率和 FID 指标，量化评估模型的物理保真度与操作控制率。

完全兼容现有的底层 REST API，支持开发者自由选择并配置自有的 STT、LLM、TTS 供应商（如 OpenAI、Google Gemini、Deepgram、阿里云、MiniMax 等）API 密钥，亦可无缝切换至 Agora 托管的第三方模型服务。with_tts（） 进行链式调用，实现语音转文本、大语言模型、文本转语音等模块的模块化组装，并在 IDE 中提供完整的自动补全与类型检查支持。：VAST 将 3D 资产解构为视觉效果（皮）、拓扑结构（肉）、绑定与动画（骨）、交互逻辑（脑）四层。

当带有特定英语口音（如印度、法国口音）的说话者朗读关于其他国家（如意大利、日本）的文本时，除 Qwen3.5 Omni Plus 能部分还原真实口音外，其余模型均受文本干扰，直接将文本提及的国家判定为说话者的口音来源。：构建了专属宠物行为模型与场景识别体系，交叉比对画面抖动频率、IMU 动作幅度、麦克风声学特征及 GPS 轨迹，量化判定宠物的活动偏好、同伴社交、分离焦虑等状态，避免无依据的叫声语义翻译。支持在输出音视频的同时，持续接收、理解用户的视觉与听觉反馈，并可根据中途干扰动态调整后续回应。

无论是最近刚学到的新技术、正在琢磨的新产品，还是开发过程中遇到的一些好玩的坑，我们都很想听。这次，RTE 开发者社区也会在现场，我们会在一个充满探索感的开发者冒险空间——「Agentopia」等大家！为了这次见面，我们还特意准备了专属的「建造卡片」和「成长卡片」。不管你正在搭建什么，这两套卡片都能帮你记录下当下的状态和想法，陪伴你更好地 build and grow。带上你的好奇心，来找我们聊聊吧！记得来领取你的「Build 卡片」和「Grow 卡片」，还有我们准备的专属小礼物。