摘要：更换采集代理后，真正该比较的不是单次响应快慢，而是在同一时间窗口、同一任务样本和同一请求参数下，每单位成本能产出多少有效记录。双路测试的价值，就是把代理差异与站点波动、任务变化拆开。在招投标公开数据采集这类场景中：代理链路不能只按IP可用率或平均延迟评价。
最终要看页面是否完整、字段能否解析、错误是否集中，以及单位有效记录的成本。否则，“代理更快”可能只是网络层更快，数据层并没有改善。
为什么换前换后各跑一次，结论容易出错？
先用旧代理跑一天，再换新代理跑一天，是最常见的测试方式，也是最容易误判的方式。
两个时间段里的目标页面、服务器负载、任务并发和访问频次可能都不一样，最后看到的差异未必来自代理。
例如，旧链路测试当天恰好遇到目标站点响应变慢，新链路测试当天恢复正常。即使采集程序和请求数量没有变化，新链路的平均响应也会明显更好，但这不能证明代理本身带来了改善。
反过来也一样。候选链路如果在站点高负载时段测试，即使资源质量没有问题，也可能表现得比旧链路差。
只做前后对比，相当于同时更换代理和测试时间。两个变量混在一起，就无法确认究竟是谁造成了结果变化。
关键判断：同任务双路测试让旧链路和候选链路在相同时间窗口内处理同类任务，并尽量保持请求参数、并发、超时、重试和解析逻辑一致。这样得到的差异，才更接近代理链路本身的影响。双路测试怎样保证比较的是代理链路？
双路测试不是简单地把每个URL同时请求两次。对公开数据任务来说，无控制地重复发送请求会增加目标站点负载，也可能改变原有访问节奏。
更稳妥的做法，是先建立同质任务样本，再随机分配给两条链路。
测试可以按六步组织
- 固定任务范围
- 从同一批公开页面中抽取测试样本，确保页面类型、分页深度、地区和数据规模接近。
- 随机分配链路
- 按任务ID或URL哈希值，把样本均匀分给旧链路和候选链路，避免人工挑选造成偏差。
- 锁定程序参数
- 两路使用相同的并发、超时、重试次数、请求头、解析器版本和数据校验规则。
- 保持时间同步
- 两路在同一时间窗口运行，并覆盖业务中的高峰与低峰时段。
- 分别记录错误
- 不要只记录“成功”或“失败”，还要区分连接错误、超时、空响应、页面不完整、字段缺失和解析失败。
- 统一计算成本
- 把代理支出、重试消耗和有效记录数量放在同一口径下，计算单位有效记录成本。
如果任务要求会话连续性，就不能逐条随机分配请求，而应把完整会话作为最小测试单元。
否则，同一会话被拆到两条链路上，测试结果反映的会是会话设计问题，而不是代理差异。
测试前还应设置短暂预热期。连接复用、域名解析缓存和程序线程启动都会影响开头一段数据，直接把预热结果计入正式样本，容易让先启动的链路吃亏。
候选链路更慢，为什么仍可能更合适？
假设某招投标公开数据采集任务准备更换代理。测试人员从同一批页面中建立两个同质样本，每路各安排10000次任务，请求参数、并发和解析规则保持一致。
数据说明：以下数据仅用于演示判断方法，不是极安代理或其他厂商的真实测试结果，也不能作为产品性能承诺。
只看速度，旧链路更好
旧链路的P95比候选链路低150ms。如果测试报告写到这里就结束，结论大概率会是“没有必要更换”。
把数据产出算进去，结论变了
候选链路的有效记录产出率高出4.3个百分点，页面不完整率和网络类错误也更低。
虽然单次请求更慢，但完成同样数量的有效记录时，需要补跑的任务更少，单位有效记录成本反而下降了8%。
这组虚拟结果说明，响应速度不是独立目标。对批量公开数据采集而言，如果任务没有严格的毫秒级时限，慢一点但能减少空页面、字段缺失和重复补跑，整体产出可能更划算。
不过，这还不能直接支持全量切换。
下一步要按小时、页面类型和任务批次拆分结果，确认候选链路的改善是否持续存在。如果优势只集中在某一类页面或某个短时段，整体均值就可能掩盖链路波动。
哪些指标才能回答“换代理有没有效果”？
代理测试至少要分成网络层、数据层和成本层。三层指标解决的问题不同，不能用其中一个代替全部结论。
网络层：链路有没有正常工作？
网络层关注连接是否建立、请求是否超时、响应耗时怎样变化。
这些指标能够说明链路状态，但不能证明页面内容一定可用。HTTP请求返回正常状态，不代表正文完整，也不代表关键字段已经出现。
数据层：任务实际拿到了什么？
数据层更接近采集任务的真实目标。
建议把“有效记录”定义为通过完整性校验、关键字段校验和重复检查的数据，而不是把收到响应的请求全部算作成功。
有效记录产出率＝通过校验的有效记录数÷计划任务数成本层：得到一条可用数据花了多少？
代理报价低，但超时和补跑多，最终成本未必低。
更合适的计算方式是：
单位有效记录成本＝测试期内相关支出÷有效记录数这里的相关支出至少应使用统一口径统计代理消耗。是否加入服务器、带宽和开发维护成本，可以根据测试目的决定。
但两路必须采用同一种算法，不能给旧链路只算代理费用，却给候选链路加入全部运维成本。
我们极安代理更倾向于把这三层指标放在一起看：网络层解释链路发生了什么，数据层确认任务实际得到什么，成本层决定这种改善是否值得长期保留。
任何单一指标胜出，都不等于候选链路已经全面胜出。
这组结果达到什么条件，才值得切换？
是否切换，取决于任务最看重什么。
对于定时汇集招投标公开信息的任务，有效记录产出率和单位有效记录成本通常比几十毫秒的响应差异更重要。对于强调即时展示的网站可用性监测，尾部响应耗时的权重则可能更高。
因此，测试前就要写清决策门槛。不能先看完结果，再挑对候选链路有利的指标。
一个可执行的切换门槛可以包括：
- 有效记录产出率不能下降；
- 关键页面类型不得出现集中异常；
- 尾部响应不得超过业务可接受范围；
- 单位有效记录成本需要保持或下降。
切换也不必一步到位。
可以先让候选链路承接一小部分真实任务，持续观察分时段结果，再逐步增加比例。旧链路暂时保留，直到候选链路覆盖完整业务周期，并且错误分布没有出现新的集中问题。
如果候选链路在总体指标上更好，但不同时间段的波动很大，应先延长测试，而不是急着全量切换。
代理更换不是一次参数选择，而是把一条生产链路替换为另一条生产链路。真正需要验证的不是“最好的一小时”，而是常态运行时能否保持同一套结果。常见问题
Q1：双路测试一定要让两条链路请求完全相同的URL吗？
A：不一定。
若重复请求会增加目标站点负载，可以先按页面类型、地区、分页深度和数据规模建立匹配样本，再随机分配给两条链路。重点是让两组任务具有可比性，而不是机械地复制每一次请求。
Q2：双路测试应该运行多长时间？
A：没有适用于所有任务的固定时长。
测试至少应覆盖业务中的高峰、低峰和常见页面类型。如果任务存在明显的工作日与非工作日差异，还应覆盖一个完整业务周期，避免用短时间内的偶然表现作结论。
Q3：候选链路有效记录更多，但响应更慢，应该怎么选？
A：先看响应变慢是否影响业务时限。
如果任务是批量离线采集，且候选链路减少了空页面、字段缺失和补跑次数，较高的响应耗时可能可以接受。如果业务要求即时返回，就应提高尾部响应指标的决策权重。
Q4：IP可用率更高，是否代表采集效果一定更好？
A：不代表。
IP可用率描述的是代理资源或连接层口径，具体任务结果还会受到目标站点规则、请求节奏、页面类型、解析逻辑和数据授权边界影响。评估时应把IP可用率与有效记录产出率分开记录。
