文 / STEM Career 编辑部
A/B测试面试里，最值得练的不是背出显著性检验的步骤，而是把一个业务问题变成能够被检验的实验：改什么、对谁随机、衡量什么、观察多久，以及看到结果后能作出多强的判断。
下面使用完整的原创合成案例。样本、指标和数字不代表任何企业的真实表现，也不是招聘真题。你可以先遮住分析部分，自己写一页实验设计，再对照检查。
从业务决定开始
教学情景是一款订阅产品想调整注册后的引导流程，目标是帮助新用户在七天内完成首次购买。实验改变的是引导顺序，其他主要条件在设计中保持一致。需要回答的是，这项改变是否值得进一步推广。
先问清是否真正可以随机分配、哪些用户符合条件，以及哪个决定将由实验支持。若业务只能观察已经自行选择不同版本的用户，结果就不能直接按随机实验解释。
Microsoft实验平台介绍展示了可信实验在产品决策中的用途。本文的任务是练习设计与解释，不把平台介绍当作某个雇主必考本题的证据。
将假设写成可以被推翻的话
可以写：“与旧版相比，新引导会改变符合条件新用户在首次分配后七天内的购买概率。” 再说明期望的业务方向，以及什么程度的改善才值得承担上线与维护成本。
不要写成“证明新版更好”。实验有可能显示变化不明确、成本增加，或某些保护指标变差。设计时允许结果推翻原先期待，才能避免看完数据再更换目标。
还要区分产品假设与机制解释。即使观察到购买增加，也不自动证明用户更理解产品；如果需要解释原因，还要补充对应的观察与研究。
先确定分组单位
本例按符合条件的用户随机分配，并保持同一用户在实验期间看到同一版本。如果按访问随机，用户反复访问可能跨组；如果同一家庭或组织内会互相影响，还要考虑更合适的单位。
分组单位、实际曝光与分析单位应当能够对应。不能按用户分组，却在分析时把每次访问都当成互相独立的人；重复行为可能改变统计假设。
面试中不需要一开始列出所有复杂情况，但应指出会改变设计的关键条件。可以先讲本例采用的简化假设，再说明真实业务遇到共享账户或跨设备时需要进一步处理。
明确主要指标与观察窗口
主要指标设为七天内首次购买用户数除以符合分析条件的分配用户数。这里的分母不是所有访问次数，也不是所有已经购买的人；一次用户多笔购买，在这个指标里仍只记一个购买用户。
七天窗口要对每位用户完整观察。实验最后一天进入的用户，不能只观察一天就和早期用户直接混在一起比较。可以等待其窗口完成，或使用事先约定且适当的方法处理，不应临时选对结果更有利的口径。
同时预先安排保护指标，例如错误率、关键步骤耗时或投诉情况。它们帮助判断代价，不应在主要结果不理想时被随意替换成新的主要目标。
原创数据先做描述
假设两组各有一千名随机分配、完整观察七天的用户，数据已去除同一用户的重复记录。旧版有一百人完成购买，新版有一百二十人完成购买，先得到以下结果。
| 组别 | 分配用户 | 购买用户 | 购买率 |
|---|---|---|---|
| 旧版 | 1000 | 100 | 10% |
| 新版 | 1000 | 120 | 12% |
新版购买率高出两个百分点，相对旧版提高百分之二十。这两种表述不能混用，也不能把购买用户多二十人解释为所有未来用户都会有相同变化。
再解释不确定性
在独立二项样本等本例假设下，使用常见正态近似的双侧两比例检验，得到的p值约为0.153。对购买率差作未合并方差的百分之九十五近似区间，约从负零点七四个百分点到正四点七四个百分点。
计算区间时先取两组各自的比例，标准误为两组比例方差之和的平方根，再以差值加减相应倍数。检验与区间使用的方差估计方式不同，应说明方法，不能把几个软件输出任意拼接。
这组样本给出的点估计为正，但按事先设定的百分之五双侧水平，尚不能据此作出拒绝零差异假设的结论。不能说“证明新版无效”，也不能只展示百分之二十的相对提升宣布胜出。
p值不能回答什么
p值不是“新版有多大概率无效”，也不是实验结论正确的概率。它与所采用的模型、假设和数据有关；即使数值较小，也还需要考虑设计有效性、数据质量和业务意义。
同样，一个未达到阈值的结果，不等于两个版本完全一样。可能样本不够精确，也可能实际差异较小。应结合区间、最小有意义变化和预先计划，说明目前能判断到哪里。
面试回答中，先把这个边界讲清，再说明下一步，比把一串统计术语说得很快更有价值。对不熟悉的检验方法，应先补基础，避免只记住软件按钮。
样本量在看到结果之前规划
规划样本量需要基线比例、希望识别的变化、显著性水平、检验功效及分配方式等输入。希望识别的变化越小，通常需要更精确的数据；不能只说“跑一周应该够了”。
本例没有把一千人设成所有实验的推荐规模。它只是为了演示已有结果的解释。真实设计还要考虑流量、完整观察窗口、分群数量与可能的用户相互影响。
若面试官不给具体输入，可以先说明需要哪些信息，再讨论方向。不必为了显得会算，现场编造一个适用于所有产品的样本量数字。
不要不断看结果直到过线
每增加一点数据就检查一次普通p值，并在第一次低于阈值时停止，会改变原先的错误控制。不是所有持续查看都禁止，而是分析与停止方式应事先设计，并采用适合的方法。
对初学练习，可以先明确固定样本或固定观察安排，避免临时追到喜欢的结果。若业务需要持续监测，应进一步学习序贯分析和保护指标告警，不能把两者简单混为一谈。
监测严重错误与宣布业务效果成功也不同。发现产品故障时可能需要及时处理，但这不意味着可以用停止时的任何一个数值当作完整效果结论。
数据质量检查先于效果解释
检查用户是否只进入一个组、实际分配比例是否异常、日志是否缺失，以及两组是否经历了不同的埋点变更。若购买事件在新版漏报或重复上报，检验方法再标准，也只是在分析错误记录。
例如合成数据中某批新版用户每次刷新都重复发送购买事件，事件数会增加，但购买用户数未必变化。应回到用户标识、事件语义和去重规则，不能直接把事件量当成目标指标。
还要记录排除规则。哪些用户因技术原因未进入有效观察，应按事先约定且合理的原则处理；不能只排除某组表现不佳的人，以制造更好的结果。
分群探索怎样保持克制
整体结果不明确时，拆十几个渠道、地区与设备，可能偶然找到一个看起来很好的子组。这些发现可以成为后续假设，但不能无条件当作最初就计划验证的确定结论。
如果某些分群本来就有业务理由，可以在设计时说明，并考虑相应的比较与精度问题。解释结果时分清预先计划与事后探索，让阅读者知道证据强度不同。
当用户数量很少、组间分布不平衡或观察窗口不足时，分群结果尤其需要谨慎。样本量更小并不会因为图表颜色清楚，就自动变得更可靠。
有显著变化也要检查代价
即使未来一次正确设计的实验发现购买率有明确增加，仍要看退款、用户体验、性能和执行成本等信息。统计变化并不自动等于适合所有用户全面上线。
如果主要指标提高，而关键步骤错误率同时上升，可以说明需要定位原因、判断影响范围，并按事先约定的决策方式处理。不要把不利指标隐藏，也不要将一个未经分析的风险点直接称为已证实损害。
本例可以提出下一步收集什么证据，但不凭空补造保护指标结果。保持事实与待验证事项分开，是业务分析的重要部分。
将结果讲成一段面试回答
一个回答顺序可以是：“我先确认业务决定与随机单位，再定义主要指标、完整窗口和保护指标。本例点估计为正，但近似区间包含零，现有样本尚不能支持明确的提升结论。我会先检查设计和日志，再结合原定样本计划与业务阈值决定后续。”
接下来用具体数据解释两百分点和百分之二十的区别，并说明采用的方法假设。如果面试官追问如何增加把握，可以讨论合理规划与新证据，而不是简单说再跑到显著。
这段结构需要用自己的理解讲出来。背下整段却说不清分母、分组或计算，仍然无法支持后续追问。统计准备可与数据面试指南一起安排。
用三个变化检验掌握程度
第一，把分母改成访问次数，解释为何原来的用户级分析不能直接沿用。第二，让部分用户只观察一天，说明比较为什么不完整。第三，让某个分群显示很大提升，讨论它是计划内分析还是探索发现。
每次只改变一个条件，重新写设计与结论。这样能检查自己是否理解方法所依赖的条件，而不是只会用同一个表格计算。
再请伙伴追问“为什么不直接上线”。回答应联系不确定性、数据可信度和业务代价，不必为了显示谨慎而否定一切，也不能为了显得果断而越过证据。
写一份可以交给业务同事的结论
可以将本例写成一段决策备忘：本次在约定窗口内，新版本观察到较高的首单率，但现有样本仍有较大不确定性；同时需要确认退款和投诉等护栏指标。当前记录不足以支持“已经证明有效、立即全量”的结论。接下来先检查分组与埋点，按事先约定的计划完成观察，再结合收益和风险决定后续动作。
备忘中要分开三种内容：样本里实际发生的数值、分析采用的假设，以及准备做的决定。如果你建议继续实验，还应解释希望减少哪一项不确定性，以及什么新结果会让你改变建议。不能只把“再收集数据”当成所有问题的答案。
练习时让伙伴扮演产品负责人，追加一个限制：发布时间不能无限延后。你需要讨论可逆的小范围推进、监控与停止条件，或明确建议暂缓，并说清代价。没有统一的商业答案，但每个选项都要对应当前证据与具体约束。
把实验准备对应到目标岗位
不同数据与产品岗位对统计深度、代码和业务讨论的要求会不同。先读JD和邀请范围，再决定投入。不能因为一篇练习出现A/B测试，就默认所有数据岗位一定会考同样内容。
你可以把实验设计页、计算过程和两分钟解释放在一起，检查三者是否使用同一口径。Microsoft技术面试指导可作为统计与数据准备的参照之一，正式安排仍以雇主说明为准。
如果已经有数据或产品分析岗位邀请，可以点击本页按钮添加蒸汽顾问微信，说明目标地区、岗位与面试范围，带上自己的实验设计和计算。结合数据与面试训练服务讨论概念、设计还是表达最需要先补，让练习进入下一步具体任务。
常见问题（FAQ）
转化率从百分之十到十二是增加百分之二吗？
绝对增加两个百分点，相对增加百分之二十，需要区分。
p值能证明方案长期有用吗？
不能单独作这种判断，还需看假设、不确定性、收益与风险。
看到显著就能立即停止吗？
应按预定观察与分析规则处理，避免反复查看直到过线。
- Experimentation Platform· Microsoft Research
- Interview preparation for university data roles· Amazon Jobs
添加顾问微信，说明目标数据或产品岗位，带上自己的实验回答，讨论指标、推理与追问准备。