功能升级 · 2026-11-01

狗急加速器上线 AI 应用加速通道:大模型首字响应缩短 41%

AI 加速节点使用的 GPU 服务器机箱,对应大模型推理服务的跨境访问场景
AI 应用加速通道的最后一公里仍是推理集群:客户端能优化的是到达推理服务之前的每一段链路。(配图:Nvidia DGX front view, dllu,CC BY-SA 4.0)

2026 年 11 月 1 日,狗急加速器上线「AI 应用加速通道」(内部代号 AI Channel)。这条通道不改变用户访问的目标站点,只针对 AI 应用最典型的三种流量做单独处理:以流式方式逐字返回的对话接口、需要长时间挂起的开发者 API 调用,以及动辄几十上百兆的模型文件与语料上传。灰度四周的数据显示,大模型对话的首字响应时间中位数从 1.42 秒降到 0.84 秒,降幅 41%;流式输出过程中超过 800 毫秒的停顿出现率从 4.8% 降到 0.7%;200MB 文件上传的成功率从 92.4% 提升到 99.6%。

这条通道是过去半年用户工单里最集中的一个诉求。团队统计了 2026 年 4 月至 9 月的 4.1 万条工单,与 AI 工具相关的占比从 6.8% 升到 21.4%,其中描述最多的问题不是「打不开」,而是「打开了但一直在转圈」「回答到一半卡住不动」「上传附件老是失败」。这三句话对应的其实是三种不同的链路问题,用一条通用加速线路去覆盖,效果总是差一点。

“通用线路优化的是吞吐和平均延迟,AI 应用在意的是第一个字什么时候出来、第一百个字会不会断。这两件事的优化目标不一样,混在一起做,两边都做不好。”—— 周叙,狗急加速器传输协议负责人

为什么 AI 应用需要单独一条通道

传统网页访问是「请求—响应」的短连接模型:一个页面拆成几十个请求,每个请求互相独立,某一个慢一点,其他资源照常加载;即使某个请求失败,重试一次也就过去了。AI 对话完全不是这个形状。一次对话是一个长连接,服务端按 token 逐段推送,客户端边收边渲染;这条连接可能持续十几秒到几分钟,中间任何一个丢包或重传,用户看到的就是文字停住、光标闪烁。

开发者的 API 调用又是另一种形态。批量任务往往一次挂起几十秒,返回的是结构化数据,对完整性要求极高,一旦中途断流就得整段重跑;而单次请求的报文很小,对首包时间极其敏感。第三类是上传:模型权重、数据集、图片素材,单个文件几十兆到几个 G,跨境链路上行丢包比下行更常见,传统的单流 TCP 一旦丢包就整体降速,用户感受到的是「传到 80% 不动了」。

这三类流量对链路的要求因此互相冲突:对话要的是低延迟与稳定的小包通道,API 要的是长连接不被中断,上传要的是上行吞吐与快速恢复。此前的智能选路引擎按「目标域名 + 实时质量」选线,对网页和视频都很好用,但它不知道这条连接接下来会跑十几分钟、也不知道它只需要每秒几百字节的心跳。AI 通道做的第一件事,就是让客户端先判断流量类型,再决定用哪套传输参数。

首字响应从 1.42 秒到 0.84 秒:三处改动

首字响应由四段时间组成:DNS 解析、TCP 与 TLS 握手、请求发出到服务端开始生成、第一段 token 回到客户端。跨境场景下,前两段往往占了三分之一以上。AI 通道的第一处改动是「预热」:客户端在检测到用户打开 AI 应用后,提前与就近入口建立三条 TLS 1.3 连接并完成会话票据缓存,真正发送请求时直接复用,省掉一次完整握手。DNS 侧改为本地缓存加预解析,常用域名在会话建立时就完成解析,TTL 内不再重复查询。

第二处改动是入口与出口分离。客户端就近接入本地入口节点,再由骨干网直达目标区域的出口节点,出口侧按目标服务所在区域固定选择,避免同一会话在多次请求之间来回漂移。此前通用线路的多出口策略在网页场景下能摊平负载,但对 AI 对话而言,出口漂移会让服务端的风控与区域判定反复触发额外校验,反而拖慢首包。

第三处改动在小包调度上。请求报文本身很小,通常只有几百字节到几 KB,却要和同一条链路上的大流量排队。AI 通道为该类会话分配独立的发送队列,并启用 pacing 平滑发送,让请求包不被前面的批量数据堵住。灰度数据显示,仅这一项就把首字响应的 P95 从 3.9 秒压到 1.7 秒;P50 的改善主要来自预热,两项叠加后落在 0.84 秒。

还有一个容易被忽略的细节:TLS 会话复用并不总是生效。部分服务端在会话票据过期后会强制完整握手,客户端此时会回落到一次 RTT 的完全握手;AI 通道在检测到票据即将过期时提前续签,把这类回落控制在 2% 以内。对首字响应而言,少一次往返在跨境链路上通常意味着 80 到 150 毫秒的差别。

流式输出为什么怕丢包:长连接保活与局部重传

流式输出的技术底座是 SSE(Server-Sent Events)或 WebSocket,两者都是长连接。跨境链路上,长连接面临两个具体威胁:一是中间设备的 NAT 映射超时,常见阈值在 60 到 120 秒之间,超过就会被静默回收;二是丢包触发的重传,在传统 TCP 上会连带阻塞后续所有字节,即使后面已经到达,也必须等缺口补上才能交付。

AI 通道把心跳间隔设为 25 秒,并在心跳包中携带轻量序号,既能维持映射,也能在链路静默时快速发现中断。断开后不再走「整段重连 + 重新生成」,而是从客户端记录的最后一个完整 token 边界续接:客户端保存已渲染内容的位置,重连后携带游标请求续传,服务端从该位置继续推送。灰度期间,单次会话的平均重连次数从 0.9 次降到 0.2 次,且每次重连后不需要用户重复提问。

针对重传阻塞,通道在节点侧对小包流启用了局部重传与前向纠错:丢包率低于 1% 时不启用冗余,1% 至 3% 时加 12% 冗余,3% 以上提升到 20%,并只对当前窗口内的小包生效,避免把冗余流量摊到整条连接上。实测在 2% 丢包的模拟环境中,流式输出的有效 token 速率提升 18%,超过 800 毫秒的停顿出现率从 4.8% 降到 0.7%;代价是额外占用约 4% 的上行带宽,在上行已经跑满的环境里会自动关闭。

宽带接入机房中的光纤跳线与网络设备,对应 AI 应用加速通道的接入与骨干链路
入口就近接入、骨干直达、出口固定:AI 通道的三段链路各自由不同策略接管。(配图:North Central Telephone Cooperative Rural Broadband,美国农业部,公有领域)

灰度数据、开通方式与能力边界

灰度从 2026 年 9 月 20 日开始,至 10 月 30 日结束,覆盖 18 座城市、12,480 个账号、约 34.7 万次 AI 会话。按城市中位数统计:首字响应 P50 从 1.42 秒降到 0.84 秒,P95 从 3.9 秒降到 1.7 秒;流式输出停顿出现率从 4.8% 降到 0.7%;200MB 文件上传成功率从 92.4% 提升到 99.6%,平均耗时从 6 分 12 秒缩短到 3 分 41 秒;开发者 API 调用的整段断流率从 2.3% 降到 0.4%。对照组使用同一批账号在关闭通道后重复测试,各项指标回到灰度前水平,排除了季节与目标服务自身波动的干扰。

开通方式很简单:更新到最新客户端后,AI 通道随 v4.4.1 推送默认生效,无需额外订阅;判断依据是目标域名是否属于已收录的 AI 应用与开发者接口列表,命中后自动切换到 AI 传输参数,其余流量仍走原有线路。如果不需要,可以在「设置 - 连接 - 流量类型」中关闭,关闭后完全回落到通用加速逻辑,套餐权益不受影响。当前支持 Windows、macOS、Android 与 iOS,路由器固件在下一版接入。

能力边界需要说清楚。通道不改变目标服务本身的可用性:如果目标服务在用户所在地区不提供服务,或者账号本身受到区域限制,加速器不会绕过这些限制,也不会提供账号或代注册服务。对端限速与配额超限(例如接口返回 429)属于业务层限流,与网络质量无关,通道无法改善。企业通过 MDM 限制代理、终端省电策略强制断网、或者在加速器之上再叠加一层全局代理的环境,通道同样无法生效。上传场景若本地宽带上行不足 20 Mbps,改善幅度会明显小于实测数据。

隐私边界与既有版本一致:客户端只记录域名、字节数与链路指标,不读取也不上传对话内容、请求体与文件内容;通道判断所需的域名列表保存在本地,命中计数做匿名化聚合,用于评估是否需要调整默认参数。相关开关与说明可在客户端「隐私」页查看。接下来,团队会把 AI 通道的传输参数开放为可调项,并评估把首字响应指标放进「网络体检」报告,让用户在同一个界面里看到链路与业务两层的表现。

上一篇狗急加速器 v4.4 发布:定时策略与无缝漫游,切网中断缩短至 0.3 秒

用户评论(8 条)

林
林知远

做开发的,每天要跑几十次接口调试。以前批量任务跑到一半断了得整段重来,现在断流基本没遇到过,这个提升比降延迟实在。

顾
顾弈

对话首字快了很明显,之前问一句要等一秒多,现在基本是按下回车就开始出字。

谭
谭静

传数据集终于不卡在 90% 了。研究生的痛,一个 300M 的压缩包传三次失败,现在一次过。

许
许一航

建议把哪些域名算 AI 应用列出来,有时候一个小众工具没被识别,得手动改线路。

邵
邵雨桐

流式输出到一半停住的情况确实少了很多。之前写长文档,出来一半不动,只能刷新重开。

程
程朗

公司电脑装了 MDM,通道开了也没用,这个能理解。家里用自己的机器效果很好。

伊
伊楠

上行只有 15M 宽带,传大文件感觉改善有限,看了说明才知道是本地带宽的问题,不是加速器。

路
路遥

隐私说明写得挺清楚,只记域名和字节数,不碰内容。这点对用 AI 写东西的人来说挺重要。

让 AI 应用先出字,再谈速度

下载狗急加速器最新客户端,AI 应用加速通道自动生效,118 个全球加速节点即连即用。