如果你开发过 AI Agent,一定遇到过这样的场景:用户问了一个复杂问题,大模型在思考,前端页面一直在转圈圈。几十秒后,结果才“吧嗒”一下全部吐出来。
为了提升用户体验,我们必须要实现流式输出(打字机效果)。但是,如果你的 Java 后端用的是传统的 Spring MVC + Tomcat,当并发用户达到一定数量时,你会发现服务器的线程池被瞬间打满,系统彻底瘫痪。
为什么?因为传统 Servlet 是阻塞式 IO(BIO) 的。每个长连接都会死死占住一个 Tomcat 线程,直到大模型输出完毕。
今天,我们站在 Agent Infra 的视角,用 Spring WebFlux + SSE,手搓一个零阻塞的大模型流式网关,彻底榨干服务器的并发性能。
一、为什么必须抛弃传统 Spring MVC?
在 AI 场景下,流式响应 = 长耗时 + 持续写数据。
假设你的 Tomcat 最大线程数是 200。如果每个流式对话持续 30 秒,那么你的系统最大并发只能撑住 200 个。一旦超过,Tomcat 就会拒绝服务(503)。
Spring WebFlux 的降维打击:
WebFlux 基于 Netty 和 Reactor,采用的是异步非阻塞(NIO) 模型。它不需要为每个请求分配一个独立线程。一个只有 8 个核心的服务器,用 WebFlux 就能轻松扛住上万个并发的长连接,因为线程在等待大模型返回数据时,会去处理其他请求(事件驱动)。
二、为什么用 SSE 而不是 WebSocket?
很多新手一提到流式,就想到 WebSocket。但在大模型对话场景下,SSE(Server-Sent Events)才是真正的绝杀:
| 对比维度 | SSE (Server-Sent Events) | WebSocket |
|---|---|---|
| 通信方向 | 单向(服务端推给客户端) | 双向(全双工) |
| 协议 | 纯 HTTP / HTTPS | 需要协议升级 (Upgrade) |
| 断线重连 | 浏览器原生自动支持 | 需要自己写代码实现重连 |
| 适用场景 | 大模型打字机输出、股票行情 | 聊天室、协同编辑 |
大模型对话本质上是“客户端发一次请求,服务端持续流式返回结果”,单向推送用 SSE 完美契合,且不需要引入额外的复杂协议。
三、架构设计:零阻塞流式链路
整个链路的灵魂在于:数据像水流一样,从大模型 API 无缝流向前端,中间不经过任何线程阻塞。
四、代码实战:手搓零阻塞流式接口
1. 引入核心依赖
必须使用 WebFlux,千万不要引入 spring-boot-starter-web,否则 WebFlux 无法启动。
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-webflux</artifactId>
</dependency>
2. 编写 SSE 流式 Controller
在 WebFlux 中,Controller 返回的不再是 String 或 Object,而是 Reactor 的 Flux(表示 0 到 N 个元素的异步序列)。
import org.springframework.http.MediaType;
import org.springframework.http.codec.ServerSentEvent;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import reactor.core.publisher.Flux;
import java.time.Duration;
@RestController
public class AiStreamController {
private final LlmService llmService;
public AiStreamController(LlmService llmService) {
this.llmService = llmService;
}
/**
* 使用 SSE 返回流式数据
* produces = MediaType.TEXT_EVENT_STREAM_VALUE 是 SSE 的强制要求
*/
@GetMapping(value = "/api/ai/stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
public Flux<ServerSentEvent<String>> streamChat(@RequestParam String prompt) {
// 1. 调用大模型获取流式数据 (Flux<String>)
Flux<String> llmStream = llmService.streamChat(prompt);
// 2. 包装为 SSE Event 格式推送给前端
return llmStream
.map(chunk -> ServerSentEvent.<String>builder()
.data(chunk) // 大模型返回的文本片段
.build())
// 3. 异常处理:如果大模型挂了,给前端发一个友好的错误事件
.onErrorResume(e -> Flux.just(
ServerSentEvent.<String>builder()
.event("error")
.data("AI 思考出了点问题,请稍后再试")
.build()
))
// 4. 兜底:在流结束后发送一个特殊的结束事件
.concatWith(Flux.just(
ServerSentEvent.<String>builder()
.event("done")
.data("[DONE]")
.build()
));
}
}
3. 使用 WebClient 调用大模型 API
这里以调用 OpenAI 兼容接口的流式响应为例:
import org.springframework.stereotype.Service;
import org.springframework.web.reactive.function.client.WebClient;
import reactor.core.publisher.Flux;
@Service
public class LlmService {
private final WebClient webClient;
public LlmService() {
// 构建非阻塞的 WebClient
this.webClient = WebClient.builder()
.baseUrl("https://api.deepseek.com")
.defaultHeader("Authorization", "Bearer YOUR_API_KEY")
.build();
}
public Flux<String> streamChat(String prompt) {
// 构建请求体 (伪代码,具体参考各家大模型 API 规范)
ChatRequest req = new ChatRequest(prompt, true);
return webClient.post()
.uri("/v1/chat/completions")
.bodyValue(req)
.retrieve()
.bodyToFlux(String.class) // 接收流式响应
.map(this::parseChunk); // 解析并提取出纯文本
}
private String parseChunk(String jsonResponse) {
// 真实场景需解析 JSON,提取 choices[0].delta.content
// 此处简化为直接返回
return jsonResponse;
}
}
五、生产环境避坑指南(Infra 视角)
代码写完了,但在真实的 Infra 环境中,还有两个极其恶心的坑等着你:
1. Nginx 代理超时与缓冲
问题:前端发现数据不是“流式”出来的,而是卡了半天一次性出来的。
原因:Nginx 默认开启了 proxy_buffering(缓冲),它会等数据攒满一部分再发给前端,直接破坏 SSE。
解法:在 Nginx 的 location 配置中强制关闭缓冲和缓存:
location /api/ai/stream {
proxy_pass http://backend;
proxy_buffering off; # 关键:关闭缓冲
proxy_cache off; # 关键:关闭缓存
proxy_set_header Connection '';
proxy_http_version 1.1;
chunked_transfer_encoding off;
}
2. 客户端断开与背压(Backpressure)
问题:用户直接关掉了网页,但后端大模型还在疯狂生成 Token,白白浪费了 API 费用。
解法:WebFlux 的 Flux 天生支持取消订阅(Cancel)。当前端断开时,WebFlux 会自动发送 cancel 信号,我们只需在流上加上 doOnCancel,优雅地中断对大模型的请求:
return llmStream
.doOnCancel(() -> {
System.err.println("用户已断开连接,中断大模型调用以节省成本");
// 在这里调用底层 API 的 cancel 方法,停止扣费
})
// ... 后续封装
六、总结
在 AI 时代,长耗时、持续返回的场景(如 Agent 的长任务思考、流式对话)会越来越普遍。
将传统的 Spring MVC 升级为 Spring WebFlux,结合 SSE 协议,是实现“零阻塞”流式对话的架构标配。
面试时,如果你能从 Tomcat 线程阻塞 聊到 WebFlux 的响应式模型,再到 SSE vs WebSocket 的对比选型,最后抛出 Nginx 缓冲和背压取消 的实战坑,面试官一定会认为你是一个具备真实高并发落地经验的候选人。
431



被折叠的 条评论
为什么被折叠?



