凌晨 0 点的定时任务,早上起来一看:8 个作者跑完了 7 个,最后一个倒在查询节点上,日志里只有一行 502 UPSTREAM_RISK_CONTROL。这不是第一次了。之前几天,同样的任务也出现过零星失败,我一直以为是对方平台偶尔抽风,直到这次我把执行日志和服务端状态放在一起看,才发现问题根本不在对方,而在我自己的重试配置里。

这篇文章记录整个排查过程。结论先说一句:重试不是免费的保险,它是放大器。配错了,一次风控能变成五次。

一、现象:412 与 108 秒冷却

链路是这样的:n8n 定时工作流每天凌晨拉取一批公开数据,走一个自部署的采集服务。服务内部维护了一个身份池——8 个访客身份轮换使用,外加一个预留账号身份不参与轮换。

那天出事的环节是 B 站的作者查询接口。服务端返回的错误很明确:

1
2
HTTP 502 UPSTREAM_RISK_CONTROL
retry_after: 60

翻译过来:上游(B 站)返回了 412,判定这次请求是自动化流量。采集服务接到 412 后,会把当次使用的身份冷却一段时间,避免继续用它去撞风控。冷却时间的算法是:

1
冷却时间 = retry_after × 1.8,连续命中指数退避,最高 6 小时

第一次就是 60 × 1.8 = 108 秒。一次 412 本来只影响一个身份,池子里还有 7 个,任务完全可以继续跑。但那天晚上的日志显示,短短几秒内多个身份接连进入冷却——这就不正常了。

二、放大器:5 毫秒间隔的重试

打开 n8n 工作流的查询节点配置,问题直接摆在眼前:

1
2
maxTries(最大重试次数): 5
waitBetweenTries(重试间隔): 5ms

一次 412 触发重试后,节点会在 1 秒内连发 5 次请求。每次请求轮换一个新身份,每个新身份都会撞上同一次风控判定——B 站的风控不是按身份算的,是按出口 IP 和行为模式算的。于是:

1
2
3
4
5
第 1 次请求 → 412,身份 A 冷却 108 秒
第 2 次请求(5ms 后)→ 412,身份 B 冷却 108 秒
第 3 次请求(5ms 后)→ 412,身份 C 冷却 108 秒
第 4 次请求(5ms 后)→ 412,身份 D 冷却 108 秒
第 5 次请求(5ms 后)→ 412,身份 E 冷却 108 秒

一次本该只消耗一个身份的风控事件,1 秒内烧掉了 8 个身份里的 5 个。更糟的是,工作流里还有两个 0 延迟的环节在火上浇油:

  • 分页等待节点没有设置延迟,翻页请求一个接一个;
  • 循环到下一个作者时没有任何间隔,8 个作者的查询几乎是连续打出去的。

风控判定最喜欢的就是这种行为模式:高频、规律、无停顿。我的定时任务在对方眼里,和脚本扫描没有任何区别。

三、第一次修复,与一个静默的钳制

找到原因后,我当天下午就改了配置:

1
2
3
4
maxTries: 5 → 3
waitBetweenTries: 5ms → 60000ms
分页等待:0 → 5 秒
作者之间:新增 10 秒等待

改完看着很合理:重试间隔 60 秒,虽然还不到 108 秒冷却,但配合 3 次重试,至少不会再 1 秒烧 5 个身份了。我当时觉得这事结了。

结果第二天凌晨的执行记录打了脸。失败的那次查询,总耗时只有 10994 毫秒。按我的配置,3 次尝试、每次间隔 60 秒,光等待就该 120 秒以上。11 秒说明什么?说明重试确实发生了(2 次重试),但每次等待只有 5 秒。

查了一圈才确认:n8n 会把重试等待时间钳制在 0–5000 毫秒之间。我在界面上填的 60000,没有任何报错和提示,就这么被静默截断成了 5000。重试次数的上限也被限制在 2–5 次。

5 秒等待 vs 108 秒冷却——重试全打在冷却期里,一次都成功不了。这个 60 秒的”修复”,从头到尾就没生效过。复盘时最让我后怕的不是配错了数字,而是我把一个没经过实测的改动当成了已修复,还心安理得地等了一晚上。

四、正确解法:把等待从重试里拿出来

既然节点内置的重试等待靠不住,正确的做法是不用它做等待,只用它做次数控制,把等待交给显式的 Wait 节点:

1
2
3
4
5
6
查询节点(失败时走错误分支)
↓ 失败
Wait 节点:等待约 120 秒(> 108 秒冷却)
↓
回到查询节点重新执行
↓ 循环上限 3 次,超过则标记该作者失败、继续下一个

这个结构有三个要点:

  1. 等待时间由冷却时间决定,不是拍脑袋。108 秒冷却,等待就设 120 秒,留出余量。冷却是指数退避的,连续命中会翻倍,所以等待也可以做成递增的:120 秒、240 秒、480 秒。
  2. 失败要隔离。一个作者查不到,最多就是这个作者今天没数据,不能让整个任务陪葬。循环上限到了就记录失败、继续下一个作者,第二天再说。
  3. 身份池要留预留。预留身份平时不参与轮换,只在池子被打空时应急。8 个轮换 + 1 个预留,比 9 个全上更扛揍。

另外一个小经验:分页和循环之间的等待不要省。5 秒分页间隔、10 秒作者间隔,看起来拖慢了任务,实际上是把请求节奏拉回了人类水平。风控系统不讨厌请求,它讨厌机器一样的节奏。

五、复盘清单

这次排查留下的几条经验,贴在工作流旁边当检查表:

  • 重试是放大器。每次重试都是一次新的上游请求。重试次数 × 触发频率,就是风控看到的你。先算这笔账,再填数字。
  • 平台的钳制不会告诉你。n8n 把 60 秒截成 5 秒,没有任何警告。任何”我以为生效了”的配置,都要用一次真实执行验证——看耗时,看日志,不要看界面上的数字。
  • 冷却时间决定等待时间。对方说冷却 108 秒,你的等待就必须大于 108 秒,否则重试只是在冷却期里反复撞墙,还顺便延长冷却。
  • 监控冷却事件本身。采集服务每次冷却都应该记一条日志甚至发一条告警。冷却频率突然上升,就是风控策略变化或者你的节奏出问题的最早信号。
  • 修完要实测,不要等下一个凌晨。手动触发一次完整执行,盯着日志看完,比任何”应该没问题了”都可靠。

最后说一句:这次事故里,B 站的风控、采集服务的冷却机制、n8n 的重试钳制,每一个单独看都是合理的设计。问题出在它们叠加在一起,而我只盯着其中一层。排查系统问题时,把每一层的实际行为都实测一遍,比在任何一层里猜原因都快。