数据迁移的重要性和挑战性不言而喻。它涉及在服务器的升级、合并、以及维护的过程中,将数据重新放置到另一个数据中心;或是向某个重要的流程中添加数据湖(data lakes)与数据仓库(warehouses,请参见--https://developers.paragon-software.com/blog/data-warehouse-vs-data-lake/?utm_source=dzone.com&utm_medium=guest_articles&utm_campaign=concise_guide_to_data_migration)。

数据迁移本身具有一定的复杂性。由之产生的停机时间,以及数据被损坏、甚至是丢失等风险,迫使我们需要在了解其流程的基础上,制定出可靠的数据迁移与实施方案。

下面,我将为您准备一份简明的数据迁移指南,您可以从中了解到如下方面内容:

  • 数据迁移的定义以及原因;

  • 数据迁移的不同阶段、类别和策略;

  • 数据迁移的关键实施步骤;

  • 数据迁移的三种常用工具。

什么是数据迁移?

顾名思义,数据迁移就是将数据从一个计算环境转移到另一个计算环境中。而在实际传输数据之前,我们需要对数据依次进行选择,准备,提取和转换。此外,数据的迁移过程还包括验证已迁移的数据质量,以及关闭旧的数据系统等方面。

迁移数据的原因

如开头所述,数据迁移的原因五花八门。总的说来,我们可归纳为如下原因:

  • 服务器例行维护;

  • 服务器或存储设备的更换、升级、以及合并;

  • 应用程序的迁移;

  • 灾难恢复操作;

  • 迁移到新的数据中心。

迁移数据的好处

数据迁移可以帮助公司在提高或维持系统性能的同时,保持在业内的竞争优势。数据存储运能、以及存储数据本身的质量,会随着时间的推移而逐渐变得低下,因此我们应当采取相应的步骤,通过将数据升级或迁移到另一个数据存储系统中,来提高自身的价值。此外,数据迁移对于识别和消除系统中的无用数据,以及协调各个数据库之间的关系,也是非常实用的。

数据迁移、转换与集成

数据转换只是整个数据迁移过程中的一个步骤,该过程主要是将数据从一种格式转换为另一种格式。而数据集成则是合并来自不同源头的数据,并为用户提供该统一的数据视图。

数据迁移阶段

数据的整个迁移过程大致可分为三个主要阶段:计划、迁移和迁移后。下面我们来详细讨论每个阶段中的具体行动步骤。

规划

  • 确定需要迁移的数据,包括:数据的格式、所在的位置、及其敏感性。

  • 定义数据迁移的范围,包括:需要分配的资源和实际可用的预算。

  • 对源系统和目标系统,分别进行深入分析。

  • 确定数据迁移的过程是否会影响到正常的业务运营,进而通过对其进行调整,以避免业务的中断。

迁移

  • 验证对于硬、软件的需求。

  • 确保迁移的过程可以被定制,并能够按预期运行。

  • 从旧系统中读取并提取数据。

  • 将数据加载到新的系统中。

  • 验证迁移过程是否已完成。

迁移后

  • 验证转换后数据的准确性和完整性。

  • 通过并行运行两套系统,以发现存在的差异或数据是否有丢失。

  • 记录与报告。

  • 最终淘汰旧的系统。

数据迁移的类别

存储迁移(Storage migration)是一个将大量数据从旧的存储系统,移动到新的存储系统的过程。数据既可以位于磁盘上,也可以位于云端。而存储迁移的主要因素包括如下三个方面:

  • 技术上的更新。

  • 通过数据的验证和优化,以发现过时或被损坏的数据。

  • 针对存储效率低下的问题实施整改。

数据库迁移(Database migration)是将数据从一个数据库移动到另一个数据库的过程。如下三大因素往往会触发数据库的迁移:

  • 需要升级到最新版本的数据库。

  • 通过将数据迁移到另一个数据库,以降低成本并提高性能。

  • 将多个数据库中的数据合并到一个数据库中。

应用迁移(Application migration)是指在应用的内部、应用之间、不同应用提供商之间、以及不同的平台之间移动数据的过程。应用迁移是一个复杂的过程,源环境与目标环境之间可能存在着巨大的差异。由于某些应用程序依赖于特定的平台与设计,因此为了保证在迁移后能够平稳地运行,它们往往需要某些中间件来弥合技术之间的鸿沟,以及切换过程中的复杂性。

云迁移(Cloud migration)是将数据、应用程序和其他业务元素,迁移到云计算环境中的过程。云迁移有多种形式,例如:我们既可以从本地数据中心转移到公有云上,也可以将数据从一个云平台移到另一个云平台,甚至可以将数据移出云端环境(即:云退还,cloud repatriation)。

数据迁移策略

我们可以在实践中用来实现数据迁移的方法可谓不胜枚举。总的说来主要有两种策略,它们分别是:Big Bang迁移和Trickle迁移。其中Big Bang迁移倡导的是将数据的迁移操作作为一项一站式的活动。也就是说:所有实时系统都会在数据经历ETL(Extract-Transform-Load)流程,以及过渡到新系统时,会出现宕机时间。而Trickle迁移则提倡采用增量的方法,分阶段进行数据迁移,从而保证新旧系统能够处于并行运行的状态。

数据迁移的关键实施步骤

尽管具体实施的方法因行业而异,但是我在此为您总结了如下通用的数据迁移步骤:

  • 检索和评估源系统;

  • 定义和设计迁移步骤;

  • 建立迁移的实施方案;

  • 执行现场测试;

  • 在迁移前备份源数据;

  • 采用变更管理并执行数据迁移;

  • 执行实施后的数据质量审核。

数据迁移的三大工具

Paragon Drive Copy Professional(https://www.paragon-software.com/home/drive-copy/?utm_source=dzone.com&utm_medium=guest_articles&utm_campaign=concise_guide_to_data_migration)

Paragon Drive Copy是Hard Disk Manager(硬盘管理器)的一部分。作为一款既易用又实用的软件,它可以让您将任何源数据迁移至任何目标位置。Drive Copy的主要功能包括如下几个方面:

  • 能够创建不同的备份,并管理各种分区;

  • 可实现数据迁移(例如:将旧的操作系统迁移到新的PC上);

  • 将操作系统克隆到USB闪存驱动器上;

  • 将硬盘克隆到更大的HDD上;

  • 将数据复制、或恢复到具有不同扇区大小的HDD、或其他存储设备上。

家用版:$ 79.95

商业版:从$ 99到$ 899不等,可被订阅使用。

Acronis True Image(https://www.acronis.com/en-eu/personal/computer-backup/)

Acronis能够将可靠的备份方案,与复杂的反恶意软件技术相结合,以提供增值的安全功能。在数据迁移方面,Acronis Disk Cloning(磁盘克隆)工具提供了如下功能:

  • 可实现可靠的备份和恢复;

  • 可将存储介质从HDD轻松地转变为SSD;

  • 可对HDD的镜像采取复制、格式化、以及分区等操作。

软件费用每年从€ 49.99至€ 99.99不等。

Zinstall(https://www.zinstall.com/)

作为一个完整而直观的数据迁移软件包,Zinstall Migration Kit Pro可用于如下场景:

  • 将数据从外部HDD传输到SSD上;

  • 无需网络连接即可传输数据;

  • 选择性地传输虚拟化的数据;

  • 迁移到那些基于Apple Mac的Windows环境中。

专业版售价:169美元

【原标题】Concise Guide to Data Migration (作者: Dmitry Rogov)

【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】