文 / STEM Career 编辑部
“把响应时间降低一半”是很吸引人的项目结果，却也很容易被追问：输入是否相同，输出是不是更短，失败请求算进去了吗，准确性有没有下降，测试时是否只有一个用户？如果这些条件说不清，漂亮的百分比可能只是比较了两件不同的事。
一份有说服力的AI性能项目，需要先说明服务什么任务、哪里在等待、怎样判断结果合格，再展示改变了什么和哪些证据支持改变。本文提供一套六请求的合成记录练习，所有时间与成本单位都是教学设定。它用于核验计算和取舍，不是任何模型、硬件或服务商的真实跑分。
优化目标要从用户任务开始
假设你做一个客服工单分流工具，每条输入包含问题描述和少量账户上下文，输出类别、理由与待人工确认的处理建议。交互用户在屏幕前等待，批量运营任务却可以晚一点完成。这两种使用方式的优先级不同，不能用一个“越快越好”同时定义它们。
先为交互路径定义起点与终点：从用户按下提交，到收到第一段可用内容，再到结构化结果通过校验。若后台还会写入草稿，界面显示完成和写入成功也需分开计时。一个很早出现的加载提示不会缩短任务完成时间，流式输出让人早一点看到内容，也不等于整条任务更快结束。
成功条件可以写为：同一组工单的分类与必填字段满足预设规则，错误不得静默进入下游，随后比较延迟与资源使用。门槛来自本项目范围，不是行业统一标准。若读者申请的是离线数据处理岗位，则可以改为每天多少条在限定时间内完成，以及失败如何补跑，避免拿聊天界面的指标套所有任务。
分清用户时间和系统时间
一次请求可以等待网络、权限核对、检索、模型执行、工具回传和最终校验。端到端时间是用户真正经历的总过程，某一段模型执行的加速不一定能改变总等待。比如主要时间花在串行外部查询，换更快的生成模型可能收益有限，需要先用分段记录确认。
Claude的延迟文档说明首个token时间、输入输出长度和流式响应等因素。本项目据此区分首段反馈和完整结果，不把流式体验改善直接写成总耗时下降。具体模型速度、参数或价格不引用旧截图，实际实验另记版本与日期。
自托管服务还要区分排队、预填充和解码；vLLM的生产指标文档提供等待请求数、队列时间、端到端时间和首token等监控入口。引用它是为了明确可观察的阶段，不能根据文档存在这些指标，就声称自己的项目已经测量了所有阶段。
建立能重跑的基线再改实现
保存任务集、输入长度分布、输出要求、并发安排、模型与框架版本、机器资源、超时和重试策略。一次试验至少能让别人知道同样的输入怎样进入系统，以及哪些结果被保留。若只是终端里手动问了几句，先称为探索观察，不急着包装成稳定性能结论。
对生成结果，固定任务不等于每次输出完全一样。可以在相同条件下重复运行并报告波动，保留原始记录，而不是只挑最好的一次。热启动与冷启动分别测；若前后条件不同，写清不能直接对比的部分。将基线配置保存下来，也方便后来发现质量下降时回退。
特别检查失败请求。基线十次有两次超时，候选配置十次全部完成，不能只拿两组成功请求的平均时间比较后就说谁更快。成功率、超时与端到端耗时需要一起看。重试产生的调用也计入成本，否则把错误转移到后台，就会显得接口既快又便宜。
六请求练习怎样暴露错误结论
下载性能记录计算练习包，用Python三点十或更高版本运行 practice.py。三组时间为人工设定的毫秒数，每组六条请求；合格与成本单位同样是设定值。程序只验证统计口径，没有运行大模型，也没有实施缓存或模型替换。
基线完整耗时为一百、一百二十、一百三十、一百五十、一百六十和九百毫秒，六条全部合格，总成本一百二十单位。按最近秩方法，百分之九十五分位取排序后第六项，所以为九百；每条合格结果成本为二十。样本非常小，尾部分位实际上等于最大值，不能因此推断生产的长期分布。
候选甲把尾部降到三百，总成本八十，却只有五条合格；候选乙尾部为五百，总成本一百，六条均合格。若任务要求不损失当前这组样本的合格数，甲不满足条件，即使它每个合格结果只花十六单位。乙每条合格结果成本为五十除以三，约十六点六七单位，才可以作为本轮继续研究的候选。
为什么平均值和单次截图不够
平均值会把一个长等待稀释到大量快请求中。对前台用户，偶尔卡住可能比平时少几十毫秒更明显；但小样本百分位同样不稳，所以不能简单用一个分位数替代所有指标。报告中至少给出样本量、成功与失败数、典型与尾部时间，以及定义方式。
不同工具的分位数插值规则可能不同。练习明确采用最近秩，不与其他计算库的默认输出混用。若面试官用插值算法得到不同结果，应先对齐方法，而不是立刻判断对方错误。真实监控的直方图还涉及桶边界和聚合方式，需要按系统实际定义解释，不能把毫秒精度的小数当成测量特别精确。
要观察输入结构。短问题、长文档、需要外部工具的任务可以有不同分布。优化后总样本更快，可能只是短输入比例提高，并不代表相同任务改善。最好按相同任务配对，再分别看分组结果；合并图表可用于总结，原始分组才帮助识别原因。
缓存 缩短输出与模型选择各有什么代价
缓存适合可重复且允许复用的结果，但首先要明确键包含什么。只用问题文本作为键，可能忽略文档版本、用户权限或语言，返回过期或越权结果。可以先测命中率与正确性，再比较命中和未命中两条路径。高命中率本身不证明缓存内容仍然有效。
缩短输出可以减少生成工作，但要看任务是否仍完整。工单分流只需要类别和必要理由，去掉长篇背景说明可能合理；若同时删掉证据和风险提示，合格标准也被改变了。要把输出契约固定在实验前，说明哪些字段不能删，才不会把“少做一部分工作”包装成无损优化。
更换模型或增加请求路由时，需要检查困难样本。简单请求交给较小模型，复杂请求转交另一条路径，可能节省资源，也可能误判难度并增加重试。展示选择阈值如何来自样本，以及错误转交怎么办。没有真实实现和结果时，可以把它列为下一轮假设，不在简历上写成已经兑现的收益。
并发与批处理要结合排队解释
单请求更快，不等于高并发时更稳。系统处理能力有限，增加并发可能提高资源利用，也可能让队列变长，使尾部等待恶化。测试计划应说明请求到达方式：一次同时发出，还是按固定速率逐步到达，两者负载不同，观察结果也不能直接混为同一种压力测试。
批处理同样有两面。等待更多请求一起处理，可能提高总体吞吐，却增加第一个请求的排队时间。离线报告生成可以容忍这段等待，用户正在等一个短答复时未必合适。面试里可以用业务需求解释选择，而不是把吞吐提升当成对所有用户都有利。
资源预算也属于比较条件。候选方案增加一倍机器后更快，并非没有价值，但需要报告资源变化与成本；基线和候选使用不同硬件时，不能声称收益全部来自某段代码。若只能用自己的电脑完成项目，就明确小规模范围，重点展示测量设计与推理，不模拟不存在的集群运行经历。
成本应按完成的有效任务计算
最简单的调用成本只是输入输出用量乘以适用价格。真正比较一个任务，还要考虑检索、外部工具、失败重试、人工复核与维护工作。是否纳入这些项由项目目的决定，但前后方案应使用同一范围。不能基线计人工、候选只计API，得出表面上惊人的节省比例。
练习使用虚构成本单位，避免把随时变化的计费表写进一份长期教程。真实项目应保存供应商、模型、地区、计费日期与用量类别，再说明是否包含缓存或批处理等价格条件。只有能够解释账单和日志的对应关系，单位任务成本才是一项可追问的项目结果。
分母尽量贴近业务产物。候选甲每请求看起来便宜，却漏掉一条合格结果；如果人工要补做，额外成本不能凭空消失。可以同时列总请求、合格任务和人工处理次数，让读者判断方案价值。时间节省也不要自动折算成已经实现的财务收益，除非确有采用与资源调整证据。
把优化报告写成可以反驳的结论
一页报告可以依次放任务与质量门槛、基线条件、瓶颈证据、候选方案、比较结果和适用边界。每一项改进连到运行记录，所有看起来不利的结果也保留。例如候选甲虽然最快，但因为一条关键任务不合格而被淘汰；这个决定本身就体现你承担结果责任。
建议加一个“什么证据会让我改变决定”的问题。若候选乙只在短输入有效，长输入反而超时，就需要重新分组或缩小适用范围。若监控显示瓶颈不在推理，而在外部工具，就把下一轮实验转到工具路径。工程判断应允许被新的观察修正，不能把一次对比固化为结论。
在限时面试中，先给出被验证的范围，再讲关键数字。可以说“我在固定的离线任务集上比较了三个条件，淘汰了质量不满足要求的方案”，随后说明规模和未覆盖项。不要把本文合成记录改写成自己的模型实测成绩。关于岗位选择，可继续读AI岗位地图；关于实验解释，可读机器学习项目评估。
用一轮小实验找到真正需要补的能力
准备时先独立复算练习包，再替换为你有权使用的真实应用日志。记录一次没有改善的实验，并说明为什么停止。接着请同伴只看报告提问：输入是否一致，超时怎样统计，成本分母是什么，哪些失败被隐藏。答不清的地方就是下一轮要补的内容，而不是再添加一个复杂框架。
完成后再检查报告能否重建一次运行：原始任务文件是否留存、配置是否对应版本、结果是否含全部请求、人工复核使用了什么标准。没有这些关联，即使图表做得漂亮，隔一周也可能无法解释数字从何而来。把可复现性落实到文件与记录，能使项目成果在技术追问中更稳。
如果你已经做过AI应用，但简历只剩“优化效率”四个字，可以带目标岗位、任务集和一份比较记录咨询。需要帮助的可能是性能测量、质量定义、成本复算，也可能是把已完成的工程决定讲清楚。蒸汽项目与面试准备服务可以围绕实际证据讨论训练重点，不需要先声称自己做过大规模生产优化。
常见问题（FAQ）
练习里的时间是模型实测吗？
不是，全部是人工设定的合成记录，只验证计算和决策方法。
最快的方案一定最好吗？
先检查任务质量门槛，再比较速度、成本、失败和适用范围。
流式输出代表完整任务更快吗？
它可能改善首段反馈体验，完整任务时间仍需单独测量。
- Production Metrics· vLLM
- Reducing latency· Anthropic
添加顾问微信，带目标工程岗位、任务集与比较记录，讨论性能测量、成本复算和项目追问。