新闻资讯

记录优翰动态,分享技术实践。

微服务分布式事务最终一致性:补偿任务失效的排查指南

微服务拆分之后,下单扣库存、支付开账户、审批改状态这类跨服务写操作,往往采用最终一致性而不是两阶段提交。系统跑起来却发现:主流程成功、下游没收到,补偿任务扫不到,或者补偿重复执行把余额改了两遍。本文按排查顺序梳理常见成因与预防做法。

先确认现象:不一致出现在主流程、补偿阶段还是对账阶段

同样是「数据不一致」,成因差异很大。界面上看到的差异,可能只是最终一致性窗口内的暂时状态,几分钟后会自然收敛;也可能是补偿任务根本没跑起来,属于永久偏差。两类问题的处置完全相反。

建议先从业务侧记录偏差发生的时间点,再对照三处日志:主流程事务提交时间、消息或事件投递时间、补偿任务执行记录。三者的时间关系往往直接指向问题所在的环节。

  • 主流程阶段:本地事务已提交,但消息未成功发出,下游始终没被通知;
  • 补偿阶段:任务已生成、但一直未被消费,或消费后回写失败;
  • 对账阶段:偏差由对账作业发现,说明前两段都漏了,靠兜底才发现。

排查方向一:本地事务与消息投递是否脱节

最常见的失配是「业务表写成功,消息没发出去」。例如先提交业务数据,再调用消息中间件,中间进程崩溃就会出现漏发。

通用做法是把待发消息当作业务数据的一部分,与业务记录落在同一个本地事务里,再由独立投递器异步发出。这样只要业务提交成功,待发记录就一定存在;发不出去也能靠补偿任务扫描重发。

取舍上,事务消息与本地消息表两种方案都可以达到目的,前者依赖中间件能力,后者需自建投递与清理机制。系统集成与接口开发中涉及第三方系统时,推荐稳妥的本地消息表,因为对方不一定提供幂等接口。

排查方向二:补偿任务是否具备幂等与去重能力

补偿任务被重复执行几乎是必然的:节点重启、多实例抢锁、超时重投都可能触发。若补偿逻辑不幂等,修复一次偏差可能制造新的偏差。

判断标准很直接:同一业务操作重复执行两次,最终数据是否相同。设计上通常给每个业务动作设定幂等键,在补偿表与目标系统中都做一次状态判断,只有「还是待处理」才执行。

  1. 核对业务记录与补偿记录是否一一对应,能不能靠业务单号唯一定位补偿任务;
  2. 检查幂等键是否由业务字段构成,而不是只在服务内部生成的序列号;
  3. 检查目标系统是否在写成功前记录了幂等标识,避免「写成功但没留痕」导致下次重复;
  4. 验证多实例并发补偿时是否存在加锁或状态机约束。

本主题更细致的接口幂等取舍与重复提交防护,可以在我整理的系统集成技术文章里找到同类问题拆解,口径一致,便于团队统一规范。

排查方向三:重试策略与任务持久化是否经得起重启

补偿任务如果只放在内存队列里,服务重启就一并丢了。更隐蔽的情况是重试次数用尽后任务被标记为失败,但没有人跟进。

建议把任务先落库或落到可持久的队列中,再按状态机推进:待处理、执行中、成功、失败。每次失败记录错误原因和下一次重试时间,并按业务价值设定退避策略,避免短时间高频重试拖垮下游。

  • 重试上限是否与业务补办时效匹配,超限后是否进入人工处理队列;
  • 退避是否按业务类型分级,超时等待是否会阻塞整批任务;
  • 任务状态变更是否有记录,出问题时能否还原每一步;
  • 任务清理是否有归档规则,避免表持续膨胀拖慢扫描。

排查方向四:监控告警与对账是否真的覆盖到偏差点

只靠业务反馈发现问题,说明监控缺位。可行的做法是双轨并行:一条是补偿任务的执行指标,包括堆积量、连续失败次数和执行时长;另一条是按天或按小时的对账作业,比对两个系统的关键字段合计值。

对账的难点在于找到可比的公共维度,例如业务单号、时间窗口与金额类字段。设计时建议先做单向核对再做双向核对,先按批次比总量再下钻到单据,这样问题容易定位到具体记录。

如果内部系统数量较多,任务与对账逻辑分散在各服务里会很难统一,通常的做法是抽到一个独立的补偿平台,经系统集成与接口开发服务与各业务系统对接。项目里有不少跨系统同步与对账场景,见物流与供应链项目案例。

常见问题与自查清单

偏差多数来自设计细节,而非大框架选错。以下问题可以直接拿到设计评审上逐条对照:

常见问题

  • 补偿任务由谁来推进?一般是各业务服务自己维护任务表,跨多个服务的由专门的补偿组件统一调度。
  • 主流程该不该等待补偿结果?不等待,但要在界面明确告知业务处于处理中,避免用户重复操作。
  • 补偿失败后如何处理?超过重试上限即转人工处理,并保留原始报文与上下文数据。
  • 对账多久做一次?视业务时效而定,资金类要求较高时可按小时,非关键业务可按天。

自查清单

  1. 业务数据与待发消息是否在同一个本地事务中提交;
  2. 补偿任务是否持久化,服务重启后能否继续执行;
  3. 各服务是否定义了统一的幂等键,跨服务口径一致;
  4. 目标系统写操作前是否检查过是否已处理过同一业务单号;
  5. 重试是否有次数上限、退避间隔与人工处理入口;
  6. 任务表是否有归档与清理策略,扫描范围内无长期滞留任务;
  7. 是否有堆积量、失败率与执行时长监控,并配置了告警阈值;
  8. 对账作业是否按批次加单据两级核对,差异可定位到记录;
  9. 关键链路是否做过故障演练,含消息中间件不可用与节点宕机。

按这份清单逐项确认后,多数「补偿不生效」与「重复补偿」问题都能在设计阶段被挡住。需要把补偿任务与业务系统统一到一处设计和落地时,可以看我们做过的同类项目交付案例,再据此判断是改造成本低,还是调整方案更划算。

@2016-2026 上海优翰信息科技有限公司 版权所有
沪ICP备16045124-1号
沪公网安备 31011202014563号

沪公网安备 31011202014563号