阿里云存储系统容灾切换风险洞察阿里云存储系统容灾切换风险洞察阿里云存储系统容灾切换风险洞察

┌─────────────────────────────────────────────────────────────────────────────┐
│                         切换前风险检查框架                                    │
├─────────────────────────────────────────────────────────────────────────────┤
│  ┌────────────────┐  ┌────────────────┐  ┌────────────────┐                │
│  │ 实例状态风险   │  │ 数据同步风险   │  │ 资源容量风险   │                │
│  │ - 运行状态     │  │ - 复制延迟     │  │ - CPU/内存     │                │
│  │ - 架构支持性   │  │ - 数据一致性   │  │ - 存储空间     │                │
│  │ - 版本兼容性   │  │ - 同步链路     │  │ - 连接数       │                │
│  └────────────────┘  └────────────────┘  └────────────────┘                │
│  ┌────────────────┐  ┌────────────────┐  ┌────────────────┐                │
│  │ 客户端风险     │  │ 配置风险       │  │ 网络风险       │                │
│  │ - 重连机制     │  │ - 参数配置     │  │ - 白名单       │                │
│  │ - 超时配置     │  │ - HA配置       │  │ - VPC/跨AZ     │                │
│  │ - 连接池状态   │  │ - 权限配置     │  │ - 带宽限制     │                │
│  └────────────────┘  └────────────────┘  └────────────────┘                │
└─────────────────────────────────────────────────────────────────────────────┘

┌─────────────────────────────────────────────────────────────────────────────┐
│                         切换后风险验证框架                                    │
├─────────────────────────────────────────────────────────────────────────────┤
│  ┌────────────────┐  ┌────────────────┐  ┌────────────────┐                │
│  │ 服务恢复风险   │  │ 数据完整性风险 │  │ 应用连接风险   │                │
│  │ - 实例状态     │  │ - 数据一致性   │  │ - 连接重建     │                │
│  │ - 新主节点     │  │ - 事务完整性   │  │ - 错误率       │                │
│  │ - 性能恢复     │  │ - 索引状态     │  │ - 重试情况     │                │
│  └────────────────┘  └────────────────┘  └────────────────┘                │
│  ┌────────────────┐  ┌────────────────┐  ┌────────────────┐                │
│  │ 同步链路风险   │  │ 只读实例风险   │  │ 监控告警风险   │                │
│  │ - 备节点重建   │  │ - 延迟恢复     │  │ - 指标异常     │                │
│  │ - 反向同步     │  │ - 链路重建     │  │ - 告警触发     │                │
│  │ - 复制状态     │  │ - 数据追赶     │  │ - 日志分析     │                │
│  └────────────────┘  └────────────────┘  └────────────────┘                │
└─────────────────────────────────────────────────────────────────────────────┘

风险链路：
Client ──写入──> Master ──异步复制──> Replica
                    │
                    ▼
              [立即返回OK]
                    │
              ┌─────▼─────┐
              │ Master宕机 │
              └─────▼─────┐
                    │
              ┌─────▼─────┐
              │ 未同步数据  │ ← 永久丢失
              └───────────┘

# 1. 检查实例状态和架构
aliyun r-kvstore DescribeInstanceAttribute --InstanceId <id>
# 风险检查点：
# - InstanceStatus: 必须为 "Running" 或 "Normal"
# - ArchitectureType: 确认架构类型（单副本不支持切换）
# - NodeType: 确认节点类型

# 2. 检查主备节点分布和角色
aliyun r-kvstore DescribeRoleZoneInfo --InstanceId <id>
# 风险检查点：
# - 各节点Role: 确认主备角色正确
# - ZoneId: 确认跨可用区部署（如有）
# - 节点状态是否正常

# 3. 检查复制状态（关键！）
aliyun r-kvstore DescribeLogicInstanceTopology --InstanceId <id>
# 风险检查点：
# - ReplicaDelay: 延迟时间（建议 < 1秒）
# - SyncStatus: 同步状态
# - connected_slaves: 连接的备节点数

# 4. 检查实例性能指标
aliyun r-kvstore DescribeHistoryMonitorValues --InstanceId <id> --StartTime <时间> --EndTime <时间>
# 风险检查点：
# - memory_usage: 内存使用率（建议 < 80%）
# - connection_count: 连接数
# - replication_backlog_used: backlog使用率

# 检查集群拓扑，确认主备角色唯一性
aliyun r-kvstore DescribeLogicInstanceTopology --InstanceId <id>

#!/bin/bash
# Redis 切换前风险检查脚本

INSTANCE_ID="your-instance-id"

echo "=== Redis 切换前风险检查 ==="

# 1. 实例状态检查
echo "[1] 检查实例状态..."
aliyun r-kvstore DescribeInstanceAttribute --InstanceId $INSTANCE_ID
# 风险检查：InstanceStatus = "Running"

# 2. 架构检查
echo "[2] 检查实例架构..."
aliyun r-kvstore DescribeInstanceAttribute --InstanceId $INSTANCE_ID
# 风险检查：确认非单副本架构

# 3. 节点角色检查
echo "[3] 检查节点角色..."
aliyun r-kvstore DescribeRoleZoneInfo --InstanceId $INSTANCE_ID
# 风险检查：确认主备角色正确

# 4. 复制状态检查（关键！）
echo "[4] 检查复制状态..."
aliyun r-kvstore DescribeLogicInstanceTopology --InstanceId $INSTANCE_ID
# 风险检查：ReplicaDelay < 1秒

# 5. 性能指标检查
echo "[5] 检查性能指标..."
aliyun r-kvstore DescribeHistoryMonitorValues \
  --InstanceId $INSTANCE_ID \
  --StartTime $(date -u -v-10M +%Y-%m-%dT%H:%M:%SZ 2>/dev/null || date -u -d '10 minutes ago' +%Y-%m-%dT%H:%M:%SZ) \
  --EndTime $(date -u +%Y-%m-%dT%H:%M:%SZ)
# 风险检查：内存 < 80%，连接数正常

echo "=== 检查完成 ==="

┌─────────────────────────────────────────────────────────────────────────────┐
│                     RDS 复制延迟 → 数据丢失风险映射                           │
├─────────────────────────────────────────────────────────────────────────────┤
│                                                                             │
│  延迟 < 1秒   │████████████████████│ 数据丢失风险极低，可以安全切换         │
│  延迟 1-5秒   │██████████████████  │ 数据丢失风险低，评估后可切换           │
│  延迟 5-30秒  │██████████████      │ 数据丢失风险中等，谨慎切换             │
│  延迟 30-60秒 │████████████        │ 数据丢失风险较高，不建议切换           │
│  延迟 > 60秒  │██████████          │ 数据丢失风险高，禁止切换               │
│                                                                             │
│  注：Seconds_Behind_Master可能不准确，建议使用心跳机制辅助检测              │
│                                                                             │
└─────────────────────────────────────────────────────────────────────────────┘

# 1. 检查实例状态和系列
aliyun rds DescribeDBInstanceAttribute --DBInstanceId <id>
# 风险检查点：
# - DBInstanceStatus: 必须为 "Running"
# - Category: 必须为 HighAvailability 或 Cluster（基础版不支持切换）
# - EngineVersion: MySQL版本

# 2. 检查主备延迟（关键！）
aliyun rds DescribeDBInstancePerformance --DBInstanceId <id> --Key MySQL_DataDelay
# 风险检查点：
# - Seconds_Behind_Master: 建议 < 5秒
# - 注意：此指标可能不准确，需结合其他方式验证

# 3. 检查只读实例状态
aliyun rds DescribeReadOnlyDBInstances --DBInstanceId <id>
# 风险检查点：
# - 只读实例延迟状态
# - 只读实例数量和分布

# 4. 检查HA配置状态
aliyun rds DescribeHASwitchConfig --DBInstanceId <id>
# 风险检查点：
# - SwitchConfig: 应为 Auto（非 TempClose 或 PermanentClose）

# 5. 检查连接数和性能
aliyun rds DescribeDBInstancePerformance --DBInstanceId <id> --Key MySQL_Sessions,MySQL_CpuUsage,MySQL_SpaceUsage
# 风险检查点：
# - 连接数使用率
# - CPU使用率
# - 存储空间使用率

# 6. 检查Binlog状态
aliyun rds DescribeDBInstancePerformance --DBInstanceId <id> --Key MySQL_BinlogSize,MySQL_IOPS

┌─────────────────────────────────────────────────────────────────────────────┐
│                        RDS 只读实例切换风险链                                 │
├─────────────────────────────────────────────────────────────────────────────┤
│                                                                             │
│   Master ──切换──> New Master                                               │
│      │                    │                                                 │
│      ▼                    ▼                                                 │
│   [只读实例]          [只读实例]                                             │
│      │                    │                                                 │
│      │                    ▼                                                 │
│      │             [复制链路断开]                                            │
│      │                    │                                                 │
│      │                    ▼                                                 │
│      │             [链路重建] ← 几分钟延迟                                   │
│      │                    │                                                 │
│      │                    ▼                                                 │
│      │             [数据追赶] ← 延迟恢复                                     │
│      │                    │                                                 │
│      ▼                    ▼                                                 │
│   [读延迟开始]          [延迟恢复]                                           │
│                                                                             │
│   风险：只读实例在主备切换后会有几分钟的复制延迟                               │
│   影响：读请求可能读到旧数据                                                  │
│                                                                             │
└─────────────────────────────────────────────────────────────────────────────┘

#!/bin/bash
# RDS 切换前风险检查脚本

DB_INSTANCE_ID="your-instance-id"

echo "=== RDS 切换前风险检查 ==="

# 1. 实例状态检查
echo "[1] 检查实例状态和系列..."
aliyun rds DescribeDBInstanceAttribute --DBInstanceId $DB_INSTANCE_ID
# 风险检查：DBInstanceStatus = "Running", Category != "Basic"

# 2. 主备延迟检查（关键！）
echo "[2] 检查主备延迟..."
aliyun rds DescribeDBInstancePerformance --DBInstanceId $DB_INSTANCE_ID --Key MySQL_DataDelay
# 风险检查：Seconds_Behind_Master < 5秒

# 3. 只读实例检查
echo "[3] 检查只读实例状态..."
aliyun rds DescribeReadOnlyDBInstances --DBInstanceId $DB_INSTANCE_ID
# 风险检查：只读实例延迟正常

# 4. HA配置检查
echo "[4] 检查HA配置..."
aliyun rds DescribeHASwitchConfig --DBInstanceId $DB_INSTANCE_ID
# 风险检查：SwitchConfig = "Auto"

# 5. 性能指标检查
echo "[5] 检查性能指标..."
aliyun rds DescribeDBInstancePerformance --DBInstanceId $DB_INSTANCE_ID \
  --Key MySQL_Sessions,MySQL_CpuUsage,MySQL_SpaceUsage,MySQL_IOPS
# 风险检查：资源使用率正常

# 6. Binlog检查
echo "[6] 检查Binlog状态..."
aliyun rds DescribeDBInstancePerformance --DBInstanceId $DB_INSTANCE_ID --Key MySQL_BinlogSize

echo "=== 检查完成 ==="

┌─────────────────────────────────────────────────────────────────────────────┐
│                    PolarDB 热备 vs 非热备切换对比                             │
├─────────────────────────────────────────────────────────────────────────────┤
│                                                                             │
│  【热备模式】                           【非热备模式】                        │
│                                                                             │
│  切换时间: 5-10秒                       切换时间: 20-30秒                    │
│  ████████████                          ████████████████████████████████    │
│                                                                             │
│  事务保留: 支持                         事务保留: 不支持                     │
│  数据丢失: 极少                         数据丢失: 可能较多                   │
│                                                                             │
│  适用场景: 关键业务                     适用场景: 一般业务                   │
│                                                                             │
│  前提条件:                              前提条件:                            │
│  - 开启热备功能                        - 无特殊要求                          │
│  - VDS正常                                                                  │
│  - 备节点预热完成                                                           │
│                                                                             │
└─────────────────────────────────────────────────────────────────────────────┘

# 1. 检查集群状态
aliyun polardb DescribeDBClusters --DBClusterId <id>
# 风险检查点：
# - DBClusterStatus: 必须为 "Running"
# - HasHotStandby: 是否开启热备（关键！）
# - 节点列表和角色

# 2. 检查节点详细状态
aliyun polardb DescribeDBClusters --DBClusterId <id>
# 风险检查点：
# - 各节点 DBNodeRole
# - FailoverPriority: 切换优先级
# - ZoneId: 可用区分布

# 3. 检查连接地址
aliyun polardb DescribeDBClusterEndpoints --DBClusterId <id>
# 风险检查点：
# - EndpointType: Primary/Cluster/Custom
# - 地址可访问性

# 4. 检查性能指标
aliyun polardb DescribeDBClusterPerformance --DBClusterId <id>
# 风险检查点：
# - CPU使用率
# - 内存使用率
# - 存储使用率
# - 连接数

# 5. 检查存储空间
aliyun polardb DescribeDBClusters --DBClusterId <id>
# 风险检查点：
# - DBClusterStorageUsed
# - DBClusterStorage

#!/bin/bash
# PolarDB 切换前风险检查脚本

CLUSTER_ID="your-cluster-id"

echo "=== PolarDB 切换前风险检查 ==="

# 1. 集群状态检查
echo "[1] 检查集群状态..."
aliyun polardb DescribeDBClusters --DBClusterId $CLUSTER_ID
# 风险检查：DBClusterStatus = "Running"

# 2. 热备状态检查（关键！）
echo "[2] 检查热备状态..."
aliyun polardb DescribeDBClusters --DBClusterId $CLUSTER_ID
# 风险检查：HasHotStandby = true

# 3. 节点状态检查
echo "[3] 检查节点状态..."
aliyun polardb DescribeDBClusters --DBClusterId $CLUSTER_ID
# 风险检查：各节点状态正常，优先级配置合理

# 4. 连接地址检查
echo "[4] 检查连接地址..."
aliyun polardb DescribeDBClusterEndpoints --DBClusterId $CLUSTER_ID
# 风险检查：地址配置正确

# 5. 存储空间检查
echo "[5] 检查存储空间..."
aliyun polardb DescribeDBClusters --DBClusterId $CLUSTER_ID
# 风险检查：存储使用率 < 80%

# 6. 性能指标检查
echo "[6] 检查性能指标..."
aliyun polardb DescribeDBClusterPerformance --DBClusterId $CLUSTER_ID
# 风险检查：CPU、内存、连接数正常

echo "=== 检查完成 ==="

┌─────────────────────────────────────────────────────────────────────────────┐
│                    OceanBase Paxos 多数副本风险                              │
├─────────────────────────────────────────────────────────────────────────────┤
│                                                                             │
│  【3副本架构】                                                               │
│                                                                             │
│    Zone-1              Zone-2              Zone-3                          │
│   ┌──────┐            ┌──────┐            ┌──────┐                        │
│   │Leader│◄──Paxos──►│ F1   │◄──Paxos──►│ F2   │                        │
│   └──────┘            └──────┘            └──────┘                        │
│                                                                             │
│   可容忍故障：1个Zone故障，仍可选举（2/3多数）                                │
│                                                                             │
│  ─────────────────────────────────────────────────────────────────────────  │
│                                                                             │
│  【2F1A架构（2副本+仲裁）】                                                   │
│                                                                             │
│    Zone-1              Zone-2              仲裁节点                         │
│   ┌──────┐            ┌──────┐            ┌──────┐                        │
│   │Leader│◄──Paxos──►│ F1   │◄──Paxos──►│仲裁   │                        │
│   └──────┘            └──────┘            └──────┘                        │
│                                                                             │
│   可容忍故障：1个Zone故障 + 仲裁节点可用                                      │
│   风险：仲裁节点不可用时无法切换                                              │
│                                                                             │
│  关键参数：                                                                  │
│  - lease_time: 默认10秒，故障判定时间                                        │
│  - server_check_interval: 默认30秒，心跳检查间隔                             │
│                                                                             │
└─────────────────────────────────────────────────────────────────────────────┘

# 1. 检查集群状态
aliyun OceanBasePro DescribeInstance --InstanceId <id>
# 风险检查点：
# - InstanceStatus: 必须为 "running"
# - 集群版本信息

# 2. 检查租户信息
aliyun OceanBasePro DescribeTenants --InstanceId <id>
# 风险检查点：
# - 租户列表和状态
# - 租户类型（Primary/Standby）

# 3. 检查租户详细状态
aliyun OceanBasePro DescribeTenant --InstanceId <id> --TenantId <tid>
# 集群检查点：
# - TenantRole: Primary 或 Standby
# - PrimaryZone: 主可用区配置
# - 资源配置

# 4. 检查集群拓扑
aliyun OceanBasePro DescribeInstanceTopology --InstanceId <id>
# 风险检查点：
# - Zone分布
# - 副本类型
# - 节点状态

# 5. 检查资源使用
aliyun OceanBasePro DescribeInstance --InstanceId <id>
# 风险检查点：
# - CPU使用率
# - 内存使用率
# - 存储使用率

#!/bin/bash
# OceanBase 切换前风险检查脚本

INSTANCE_ID="your-instance-id"
TENANT_ID="your-tenant-id"

echo "=== OceanBase 切换前风险检查 ==="

# 1. 集群状态检查
echo "[1] 检查集群状态..."
aliyun OceanBasePro DescribeInstance --InstanceId $INSTANCE_ID
# 风险检查：InstanceStatus = "running"

# 2. 租户状态检查
echo "[2] 检查租户状态..."
aliyun OceanBasePro DescribeTenant --InstanceId $INSTANCE_ID --TenantId $TENANT_ID
# 风险检查：租户状态正常

# 3. Zone分布检查
echo "[3] 检查Zone分布..."
aliyun OceanBasePro DescribeInstanceTopology --InstanceId $INSTANCE_ID
# 风险检查：Zone分布合理，多数副本可达

# 4. 备租户资源检查（关键！）
echo "[4] 检查备租户资源..."
aliyun OceanBasePro DescribeTenant --InstanceId <备集群id> --TenantId $TENANT_ID
# 风险检查：资源规格充足

# 5. 资源使用检查
echo "[5] 检查资源使用..."
aliyun OceanBasePro DescribeInstance --InstanceId $INSTANCE_ID
# 风险检查：CPU、内存、存储使用率正常

# 6. standby延迟检查
echo "[6] 检查standby延迟..."
# 通过OCP控制台或SQL查询

echo "=== 检查完成 ==="

┌─────────────────────────────────────────────────────────────────────────────┐
│                       HBase WAL 同步风险链路                                  │
├─────────────────────────────────────────────────────────────────────────────┤
│                                                                             │
│  Client ──写入──> 主集群 ──写入WAL──> WAL文件                               │
│                    │                                                        │
│                    ▼                                                        │
│             [立即返回成功]                                                   │
│                    │                                                        │
│                    ▼                                                        │
│              BDS通道 ──异步传输──> 备集群                                    │
│                    │                                                        │
│                    ▼                                                        │
│           [WAL堆积窗口] ← 未同步WAL                                          │
│                    │                                                        │
│              ┌─────▼─────┐                                                  │
│              │ 主集群宕机 │                                                   │
│              └─────▼─────┐                                                  │
│                    │                                                        │
│              ┌─────▼─────┐                                                  │
│              │ 数据丢失窗口│ ← 堆积WAL永久丢失                               │
│              └───────────┘                                                  │
│                                                                             │
│  关键风险点：                                                                │
│  - BulkLoad导入数据不同步                                                    │
│  - 未写WAL的数据不同步                                                       │
│  - 未消费WAL超过48小时被删除                                                 │
│  - hbase.master.logcleaner.ttl必须 > 12小时                                 │
│                                                                             │
└─────────────────────────────────────────────────────────────────────────────┘

# 1. 检查主集群状态
aliyun hbase DescribeInstance --ClusterId <主集群id>
# 风险检查点：
# - Status: 必须为 "Running"
# - 版本信息

# 2. 检查备集群状态
aliyun hbase DescribeInstance --ClusterId <备集群id>
# 风险检查点：
# - Status: 必须为 "Running"

# 3. 检查实例配置
aliyun hbase DescribeInstance --ClusterId <id>
# 风险检查点：
# - VpcId: 主备VPC必须一致
# - ZoneId: 可用区分布
# - 存储空间

# 以下需要通过BDS控制台或HBase Shell检查：
# - BDS服务状态
# - 增量同步延迟
# - 历史数据同步进度
# - WAL未消费时间

#!/bin/bash
# HBase 切换前风险检查脚本

PRIMARY_CLUSTER_ID="primary-cluster-id"
STANDBY_CLUSTER_ID="standby-cluster-id"

echo "=== HBase 切换前风险检查 ==="

# 1. 主集群状态检查
echo "[1] 检查主集群状态..."
aliyun hbase DescribeInstance --ClusterId $PRIMARY_CLUSTER_ID
# 风险检查：Status = "Running"

# 2. 备集群状态检查
echo "[2] 检查备集群状态..."
aliyun hbase DescribeInstance --ClusterId $STANDBY_CLUSTER_ID
# 风险检查：Status = "Running"

# 3. VPC一致性检查（关键！）
echo "[3] 检查VPC一致性..."
# 风险检查：主备VpcId必须相同

# 4. 存储空间检查
echo "[4] 检查存储空间..."
aliyun hbase DescribeInstance --ClusterId $STANDBY_CLUSTER_ID
# 风险检查：备集群存储空间充足

# 以下需要通过BDS控制台检查：
echo "[5-9] 需要在BDS控制台检查以下项目..."

# 5. BDS服务状态
echo "[5] 检查BDS服务状态..."

# 6. 增量同步延迟（关键！）
echo "[6] 检查增量同步延迟..."

# 7. 历史数据同步进度（关键！）
echo "[7] 检查历史数据同步进度..."

# 8. WAL未消费时间
echo "[8] 检查WAL未消费时间..."

# 9. 客户端配置检查
echo "[9] 检查客户端haclient.cluster.id配置..."

echo "=== 检查完成 ==="