转载请注明出处：http://www.cnblogs.com/xiaodf/

• 1 Sqoop概述
• 2 版本说明
• 3 驱动安装
  • 3.1 MySQL
• 4 基本用法
  • 4.1 导入
    • 4.1.1 保护密码
    • 4.1.2 使用其他文件格式
    • 4.1.3 压缩导入的数据
    • 4.1.4 提高传输速度
    • 4.1.5 自定义类型映射
    • 4.1.6 并行控制
    • 4.1.7 对NULL值进行编码
    • 4.1.8 导入所有表
  • 4.2 增量导入
    • 4.2.1 只导入细腻数据
    • 4.2.2 增量导入可变数据
    • 4.2.3 保存last-value
    • 4.2.4 在metastore中保存密码
    • 4.2.5 客户端之间共享metastore
  • 4.3 导出
    • 4.3.1 hive导出数据到mysql
    • 4.3.2 批量插入
    • 4.3.3 导出所有数据或不导出任何数据
    • 4.3.4 更新已有数据
    • 4.3.5 更新或插入数据
    • 4.3.6 只导出某些列
    • 4.3.7 编码NULL值
• 5 附：import和export参数详解
  • 5.1 import和export工具通用选项
  • 5.2 数据导入工具import参数详解
  • 5.3 数据导出工具export参数详解
  • 5.4 Sqoop Job参数详解

1 Sqoop概述

Sqoop是一个旨在Hadoop和关系数据库或主机之间传输数据的工具。你可以使用Sqoop从关系型数据库管理系统（RDBMS），如MySQL、Oracle或大型机到Hadoop分布式文件系统（HDFS）导入数据，在Hadoop中的MapReduce转换数据，然后将数据导出到一个RDBMS 。Sqoop使用MapReduce导入和导出数据，它提供了并行操作，以及容错。

2 版本说明

本文档适用于Sqoop1。

3 驱动安装

3.1 MySQL

将驱动对应的jar包放置到 /usr/share/java/下。

如：/usr/share/java/mysql-connector-java-5.1.32-bin.jar

4 基本用法

4.1 导入

sqoop import \
--connect  JDBC_URL      \
--username USERNAME      \
--password PASSWORD   \
--table TABLE        \
--hive-import        \
--split-by SPLIT_BY_COL \
--num-mappers N        \
--hive-database HIVE_DB_NAME    \ 
--hive-table HIVE_TABLE_NAME    \ 
(--hive-partition-key partition_name    \
--hive-partition-value partititon_value    \
附：如果是分区表则需指出分区名称和分区值)
--columns col1，clo2,col3…     \
--warehouse-dir /user/hive/warehouse/       \
--fields-terminated-by ‘|’     \
--direct                       \
--compress

参数说明

附：对于–warehouse-dir需要指定为/user/hive/warehouse/但在该路径下不能存在与TABLE(–table)同名的文件，否则导入失败。当导入成功时，会在该路径下生成数据文件part-m-XXXXX并且生成与TABLE(–table)同名文件，存放导入成功的标志文件_SUCCESS。

4.1.1 保护密码

在sqoop命令中显式指定密码会是很不安全的操作，使用操作系统的列出正在执行的命令的方式可以很容易的获取到密码。有两种方式可以解决这个问题。
方式一：使用-P（大写）参数，在执行命令时再输入密码。
方式二：使用–password-file参数，即将密码存放在参数指定的文件中。

4.1.2 使用其他文件格式

Sqoop支持3中不同的文件格式，其中一种是文本格式，两外两种是二进制格式。二进制格式分别是Avro和SequenceFile。使用–as-avrodatafile或–as-sequencefile以指定具体使用哪种二进制格式。

4.1.3 压缩导入的数据

使用—compress或-z参数以压缩导入之后的数据。默认的压缩算法为GZip，所有文件的后缀名均为.gz。可以使用—compress-codec来指定其他的codec。如

--compression-codec org.apache.hadoop.io.compress.BZip2Codec

使用压缩需要将mapreduce中对应的设置项开启，如mapreduce.output.
compress。

4.1.4 提高传输速度

不同于JDBC接口，direct模式下使用数据库提供的本地工具进行数据传输。在MySQL中使用mysqldump和mysqlimport。对于PostgreSQL，sqoop会使用pg_dump工具来导入数据。使用本地工具会极大提高性能，因为他们针对数据传输做了优化，以降低数据库服务器的负担。当然也有很多限制，比如并不是所有的数据库都提供本地工具。目前sqoop的direct模式只支持MySQL和PostgreSQL。

4.1.5 自定义类型映射

使用—amp-column-java参数来将列列映射到java类以覆盖sqoop提供的默认的映射关系。
如要将c1、c2、c3分别映射为Float、String、String，对应的设置如下所示。

sqoop import --map-column-java c1=Float,c2=String,c3=String ...

4.1.6 并行控制

Sqoop默认使用4个并发的map任务来项hadoop传输数据。当数据量比较大时可以考虑增加并发执行的map任务的数量以提高传输速度。使用参数—num-mappers来控制map任务的数量。

4.1.7 对NULL值进行编码

Sqoop使用“null”字符串来代替数据库中的NULL值。对于文本类型的列，使用—null-string来设置替代NULL值得字符串，对于其他类型的列，则使用—null-non-string来设置。

如果想使用\N来编码NULL值，则对应sqoop命令中的值为\N， \在JAVA中是转义字符。

--null-string '\\N' \
--null-non-string '\\N'

4.1.8 导入所有表

使用如下命令导入所有表。sqoop会一次导入每张表，以避免对数据库服务器造成额外的负担。

sqoop import-all-tables \

   --connect jdbc:mysql://mysql.example.com/sqoop \

   --username sqoop \

   --password sqoop

4.2 增量导入

增量导入是每次只导入新增加的或者需要更新的数据。增量导入会大大降低数据库服务器的负担。

4.2.1 只导入细腻数据

假设我们有INTEGER类型的主键，并且只追加新列，并且需要定期将表的状态同步到Hadoop中。我们需要使用增量导入的功能。典型代码如下所示。

sqoop import \

   --connect jdbc:mysql://mysql.example.com/sqoop \

   --username sqoop \

   --password sqoop \

   --table visits \

   --incremental append \

   --check-column id \

   --last-value 1

–incremental参数表示使用增量导入，参数值为使用的增量导入的类型。，由于我们只添加而不修改列的值，所以使用append。增量导入中还需要额外的两个参数：–check-column指定一个列，用于检查新增加的数据，–last-value包含上次成功导入到Hadoop的值。

4.2.2 增量导入可变数据

使用lastmodified模式而不是append模式来导入变化的数据。例如使用如下命令导入所last_update_date列大于“2013-05-22 01:01:01”的行。

sqoop import \

   --connect jdbc:mysql://mysql.example.com/sqoop \

   --username sqoop \

   --password sqoop \

   --table visits \

   --incremental lastmodified \

   --check-column last_update_date \

   --last-value "2013-05-22 01:01:01"

增量导入模式lastmodified需要一个日期（可选的类型有date、time、datetime和timestamp）列来保存列被修改的时间。

注：–last-value的值在增量导入时是包含在需要导入的范围之内的。
Sqoop不会检查数据是否重复，即不会按照MySQL中那样更新数据。

4.2.3 保存last-value

Sqoop导入任务完成后会给出新的last-value，我们可以保存当前下来，以便下次使用。
Sqoop的metastore会保存任务的信息，所以我们创建对应的任务即可。

sqoop job \
   --create visits \
   -- \
   import \
   --connect jdbc:mysql://mysql.example.com/sqoop \
   --username sqoop \
   --password sqoop \
   --table visits \
   --incremental append \
   --check-column id \
   --last-value 0

执行任务

sqoop job --exec visits

删除任务

sqoop job --delete visits

查看任务信息，信息中会包含last-value的当前值。

sqoop job --show visits

4.2.4 在metastore中保存密码

很不幸，每次使用sqoop job执行任务都需要手动输入密码。
解决方式有两种：
第一种方式，使用password-file（“导入”一章中有介绍）；
第二种方式，在sqoop-site.xml中添加如下属性即可（添加后第一次仍然需要输入密码 ）。

<property>
   <name>sqoop.metastore.client.record.password</name>
   <value>true</value>
</property>

4.2.5 客户端之间共享metastore

启动metastore服务

sqoop metastore

客户端连接到metastore服务

sqoop job
   --create visits \
   --meta-connect \              
      jdbc:hsqldb:hsql://metastore.example.com:16000/sqoop \
   -- \
   import \
   --table visits
      ...

显示任务

sqoop  job --list --meta-connect jdbc:hsqldb:hsql://metastore.example.com:16000/sqoop

4.3 导出

4.3.1 hive导出数据到mysql

sqoop export
--connect jdbc:mysql://MYSQL_SERVER:PORT/DBNAME    \
--username USERNAME   \
--table TABLE         \
--export-dir /user/hive/warehouse/HIVE_TABLE_NAME/       \
--num-mappers N           \
--fields-terminated-by ','         

附：对于hive中有null时，导入到MySQL中依然是NULL。

4.3.2 批量插入

sqoop使用独立的insert语句来添加每一行记录，使用如下的方式可以每次插入多条记录。即批量插入，每次插入10条。

sqoop export \
   -Dsqoop.export.records.per.statement=10 \
   --connect jdbc:mysql://mysql.example.com/sqoop \
   --username sqoop \
   --password sqoop \
   --table cities \
   --export-dir cities \
   --batch

4.3.3 导出所有数据或不导出任何数据

我们需要确保或者所有数据均导出成功，或者不导出任何数据。为此我们使用临时表，即先将数据导出到临时表（staging-table）中，然后再转移到目标表中。

sqoop export \
   --connect jdbc:mysql://mysql.example.com/sqoop \
   --username sqoop \
   --password sqoop \
   --table cities \
   --staging-table staging_cities

4.3.4 更新已有数据

使用—update-key参数指定一列，该列可以识别出被修改的行，通常是表中的主键。例如下面的示例中使用列id来更新cities表。

sqoop export \
   --connect jdbc:mysql://mysql.example.com/sqoop \
   --username sqoop \
   --password sqoop \
   --table cities \
   --update-key id

可以指定多个列，列之间用逗号隔开。
注意，该操作只会更新已有的数据，不会插入新的数据，

4.3.5 更新或插入数据

使用如下的参数可以同时插入新数据或更新已有数据。

sqoop export \
   --connect jdbc:mysql://mysql.example.com/sqoop \
   --username sqoop \
   --password sqoop \
   --table cities \
   --update-key id \
   --update-mode allowinsert

4.3.6 只导出某些列

Sqoop默认hdfs中的数据和数据库中有相同数量的列并且顺序相同，使用—columns参数可以指定需要导出到数据库中的列或者指定导出列之间的顺序。如只导出coutry和city列，就可以使用如下示例。

sqoop export \
   --connect jdbc:mysql://mysql.example.com/sqoop \
   --username sqoop \
   --password sqoop \
   --table cities \
   --columns country,city

4.3.7 编码NULL值

你可以使用—input-null-string和—input-null-no-string参数来覆盖NULL值的替换字符串，例如使用‘\N’替换NULL值。

sqoop export \
   --connect jdbc:mysql://mysql.example.com/sqoop \
   --username sqoop \
   --password sqoop \
   --table cities \
   --input-null-string '\\N' \
   --input-null-non-string '\\N'

5 附：import和export参数详解

5.1 import和export工具通用选项

5.2 数据导入工具import参数详解

import工具，是将HDFS平台外部的结构化存储系统中的数据导入到Hadoop平台，便于后续分析。我们先看一下import工具的基本选项及其含义，如下表所示：

hive参数

HBase参数

5.3 数据导出工具export参数详解

export工具，是将HDFS平台的数据，导出到外部的结构化存储系统中，可能会为一些应用系统提供数据支持。我们看一下export工具的基本选项及其含义，如下表所示：

5.4 Sqoop Job参数详解