AI 实战课 · 共 12 节

从零打造 AI 应用:完整实战课程

一休AI实验室 4.5 小时 最近更新 2026-11-19
课程目录位置
第 10/12 节

性能优化

◷ 17:33 ◉ 3.8万次观看 ◈ 更新于 2026-11-21 #AI工具#性能
本节 AI 摘要

让应用响应更快、体验更顺。本节从缓存、流式输出、并发控制三个角度优化性能,并给出可量化的评估方法。

能用之后要追求好用。响应速度直接决定体验,这节讲几个见效最快的优化点。

💡
先测量再优化

优化前先记录首字响应时间和完整响应时间,否则无法判断改动是否有效。

一、流式输出

把模型回答改成流式返回,用户几乎立刻看到第一个字,体感速度提升巨大。多数平台的 SDK 只需改一个参数。

二、缓存

对完全相同的问题缓存答案,适合高频重复查询。注意设置合理的过期时间。

知识库检索结果缓存起来,避免每次都重新计算,能明显降低延迟。

三、并发与限流

用户一多就报限流错误怎么办›

在应用侧加请求队列和并发上限,超出的请求排队而不是直接打爆 API。同时给用户体验上加排队提示。

优化是持续过程,下一节我们聊聊绕不开的成本和安全问题。

评论

有疑问、勘误或想聊的,欢迎在下面留言

不填则显示为「匿名访客」
0 / 500