转载

Hadoop的快速发展带动了对数据迁移工具的需求

Hadoop是由Apache基金会所开发的分布式处理平台。其最核心的设计就是：HDFS分布式文件系统和分布式计算框架Map/Reduce。HDFS具有高容错性、高吞吐量的特点，为海量数据提供存储；Map/Reduce则为大数据数据计算提供支持。目前，Hadoop以其低成本、高扩展性、靠可靠性以及靠容错性等优点，成为新一代的大数据处理平台。很多公司也开始提供基于Hadoop的商业软件、支持、服务以及培训。据估计，每年Hadoop的销售额会增长近60%，到2020年会达到500亿左右。随着越来越多的公司开始使用Hadoop产品，大量的数据迁移工作由此产生。理论上讲，Hadoop平台数据的迁移（包括迁入和迁出）是相关软件以及用户就可以完成的工作。例如，Apache的Sqoop就是一个用来将Hadoop和关系型数据库中的数据相互转移的工具。它可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。然而，大数据时代是的数据迁移需要耗费大量的人力。于是，Hadoop相关的数据迁移工具和服务的需求相应增加。为了能够方便数据迁移，无论是原有的数据迁移或者数据备份工具相关的公司，还是Hadoop厂商都开始提供相应的产品和服务。例如，Attunity公司推出的数据复制产品——Attunity Replicate。该产品针对EMC Greenplum多款产品进行了性能优化。除了Hadoop，它所支持的数据复制/迁移平台还包括Oracle、DB2、SQL Server、Greenplum以及Teradata等。此外，Diyotta DataMover也同样支持Hadoop平台中多种格式的数据迁入和迁出。大型机数据集成厂商Syncsort已经与 Hadoop厂商Cloudera宣布合作，准备将大型机数据与Hadoop集群更紧密地联系起来，从而进行大数据分析。据Syncsort总裁Josh Rogers预测，将大型机负载逐渐迁移到Hadoop集群将是未来Hadoop在企业中的一个主要应用场景。可以看出，基本上所有的数据迁移工具和服务都能够支持多数平台间的数据迁移。那么，方便性和整体服务就成为了提高产品竞争力的重要方面。像Hortonworks这样的Hadoop厂商充分利用自身的优势，已经开始推出自己的迁移支持和服务。这样，Hadoop厂商就可以在数据迁移工具和服务方面占据自己的市场，避免让Sqoop这样的产品成为Hadoop平台数据迁移中必须的第三方工具。在Hadoop相关的数据迁移工具和服务激烈的竞争中，寻求更好的设计理念，并能够把产品设计的目光放得更加长远就十分关键。在现在的设计中，能够为未来可能的变化预留接口。例如，提供对未来的Hadoop数据安全框架Apache Argus的支持就是十分重要的一方面。总的来讲，最好的Hadoop数据迁移方面的长期投资还在于理解目前已经存在的工具，然后结合其中的优点创造出更能满足用户需求产品。

正文到此结束