---
id: O5
slug: reliability-by-design
status: done
created_at: 2026-04-23
achieved_at: 2026-04-23
---

# O5 — 可靠性内建（Chaos Engineering + Observability）

## 背景

2026-04-23 老板需求："最怕做了运维动作放那儿，半年后真要用时发现它早就失效了"。业界叫 Chaos Engineering（定期演练稀有事件）+ Observability（持续性能观测）。本 O 在"付费闭环"做之前先把**防腐烂 + 防降级** 基础设施搭起来，保证后续所有业务代码运行在可信基座上。

## KR（关键结果）

- [x] **KR5.1**：M1 备份新鲜度每小时心跳 ✅
- [x] **KR5.2**：M2 备份完整性每日 sqlite integrity_check ✅
- [x] **KR5.3**：M3 异地恢复演练每周（GHA runner 独立环境）✅
- [x] **KR5.4**：M4 装机流程演练每月（真开按量 ECS）✅
- [x] **KR5.5**：M6 真迁移演练每月（backup → restore → 真数据 smoke）✅（first drill 暴露 SSH keepalive bug 已修）
- [x] **KR5.6**：M5 性能指标每日（p50/p95/p99/error_rate）✅（中）
- [x] **KR5.7**：README 徽章墙 7 条（ci / docs / tests / coverage / backup-fresh / backup-integrity / restore-drill / migration-drill / api-p95 / error-rate）✅
- [x] **KR5.8**：对外 `docs/reliability.md` 让用户看见健壮性投入 ✅
- [x] **KR5.9**：设计文档入库 `blueprints/chaos-engineering.md` ✅

## 达成证据

- 7 条 chaos workflow 全部 green（2026-04-23 凌晨实测）
- 主仓 commit `af19133` 完整文档落地
- issue #005 closed + archive

## 后续（不在本 O 范围，另立）

- M7: 性能退化自动告警（issue #006 完整版）
- M8: 告警链路本身演练
- M9: Postgres 迁移后加主从 lag check

## 相关

- blueprint `../blueprints/chaos-engineering.md`
- docs/reliability.md（对外）
- archived issue `../issues/archive/005-chaos-engineering-backup-migration.md`
