数据迁移规划器

技能文档

---
name: afrexai-data-migration
title: 数据迁移规划器
category: 开发工具
description: "数据迁移规划与执行指导工具。提供从发现、模式映射、ETL 管道设计到验证及回滚策略的全流程指导，涵盖多系统间的数据转换、质量清洗与合规性检查，产出结构化迁移操作手册（runbook）。当用户需要做数据迁移、系统切换、数据库搬迁、CRM/ERP 更换、设计 ETL 管道或制定回滚方案时触发。触发词：数据迁移、模式映射、ETL、数据库搬迁、系统切换、回滚方案、迁移手册。"
---

# 数据迁移规划器

规划、执行并验证系统间的数据迁移。覆盖模式映射、ETL 管道设计、回滚策略与迁移后验证。

## 技能工作流

### 步骤1：发现（Discovery）

- 盘点所有源端表/对象并记录数据量
- 记录数据类型、约束与关联关系
- 识别数据质量问题（空值、重复、孤儿记录）
- 梳理影响数据解读的业务规则

### 步骤2：模式映射（Schema Mapping）

对每个源端实体，逐字段产出映射表：

| 源字段 | 类型 | 目标字段 | 类型 | 转换规则 | 备注 |
|---|---|---|---|---|---|
| （字段） | （类型） | （字段） | （类型） | （规则） | （边界情况） |

### 步骤3：ETL 管道设计

```
抽取 → 暂存(原始) → 清洗 → 转换 → 校验 → 加载 → 核对
```

- **抽取（Extract）**：全量 vs 增量、API vs 直连数据库、限流策略
- **暂存（Stage）**：原始落地区，不做任何转换，保留审计轨迹
- **清洗（Clean）**：去重、空值处理、编码修复
- **转换（Transform）**：类型转换、字典映射、计算字段
- **校验（Validate）**：加载前检查（行数、校验和、业务规则）
- **加载（Load）**：批次大小、并行度、错误处理
- **核对（Verify）**：加载后对账

### 步骤4：验证（Validation）

- 行数对账（源 vs 目标，逐表执行）
- 关键列校验和验证
- 引用完整性检查
- 业务规则验证（如：所有活跃账户均已迁移）
- 用户验收抽样（随机 5% 人工复核）

### 步骤5：切换上线（Cutover）

- Go/No-Go 检查清单
- 不可回退点（point-of-no-return）定义
- 回滚流程与耗时预估
- 沟通计划（用户、相关方）
- 并行运行期（如适用）

## 输出格式

以结构化 Markdown 交付迁移操作手册，包含：

1. 执行摘要（做什么、为什么、何时、风险等级）
2. 模式映射表
3. ETL 管道规格说明
4. 验证测试套件
5. 切换操作手册（含回滚）
6. 里程碑时间线

## 风险因素

- **数据量**：超过 1000 万行必须采用分批策略
- **停机窗口**：零停机需要 CDC/双写方案
- **数据质量**：垃圾进垃圾出，先清洗再迁移
- **依赖系统**：迁移期间其他系统仍在读取源数据
- **合规要求**：传输过程中的数据合规处理（如个人信息保护要求）

## 成本预估

按复杂度的典型迁移成本参考：

- 简单（1-5 张表，<100 万行）：1-2 周内部完成
- 中等（10-50 张表，100 万-1000 万行）：1-2 个月
- 复杂（50+ 张表，1000 万行以上，多系统）：3-6 个月

使用说明

# 数据迁移规划器

规划、执行并验证任意系统间的数据迁移——CRM、ERP、数据库、SaaS 平台，产出带回滚方案的完整迁移手册。

## 使用

```text
规划一次从 Salesforce 到 HubSpot CRM 的数据迁移。
```

```text
做一份 MySQL 迁移到 PostgreSQL 的数据迁移操作手册。
```

```text
把老 ERP 的数据映射到新系统表结构，列出转换规则和风险点。
```

## 工作原理

- **五阶段框架**：发现 → 模式映射 → ETL 管道 → 验证 → 切换上线，每阶段有明确交付物
- **七环节管道**：抽取 → 暂存 → 清洗 → 转换 → 校验 → 加载 → 核对，暂存区保留审计轨迹
- **验证套件**：行数对账、校验和、引用完整性、业务规则与 5% 人工抽样
- **安全上线**：Go/No-Go 检查清单、不可回退点定义、回滚流程与沟通计划

## 目录说明

- `SKILL.md` — 五步工作流与输出规范

如何安装此技能？

访问技能市场，点击「安装」按钮，按提示将技能包放入 AI 编程助手的 skills 目录即可。