Sqoop增量导入导出总结

banana`

墨衍会员 · AI 创作全网分发码龄9年

关注

原创最新推荐文章于 2024-09-10 21:40:00 发布 8.2w 阅读 AI 写同款· GEO 优化 ›

AI权益加码！Claude Code、Cursor等20+工具免费用！购周边限时加赠Coding Plan Lite，畅享主流AI工具！学习进阶更高效！阅读详情

Sqoop做为关系型数据库RDBMS和大数据平台（HDFS，Hive,Hbase等）导入导出工具，如果不熟悉其参数作用，使用起来各种问题，本文作为博主对Sqoop的实践作出一定的总结，如有错误，仅供参考。

Sqoop Job

Sqoop job 的是给使用者提供一个封装sqoop job的功能，其作用是可以自动更新job 的meta信息，让增量导入时指定的last-value自动被更新记录，不用额外的使用其他手段记录信息。

Sqoop job操作：

  创建job
  sqoop job --create <job-id> -- [import|export] 
  #注意，创建导入导出job ，最后一个'--'后面要加一个空格
  查看job
  sqoop job --show <job-id>
  #查看job的详细信息
  查看job列表
  sqoop job --list
  删除job
  sqoop job --delete <job-id>
  执行job
  sqoop job --exec <job-id>

Sqoop ‘- -password /- -password-file’ 参数

  sqoop支持俩种密码的输入，一种直接传递（--password），一种使用文件（--password-file），直接在shell 上填写密码,sqoop会提示不要在命令行直接使用密码。
  创建sqoop job时，如果直接在命令行使用密码（--password），是无效的，当你执行job时，依然会让你重新输入密码。

不输入密码的俩种方式：

  1.修改sqoop-site.xml
   <property>
      <name>sqoop.metastore.client.record.password</name>
      <value>true</value>
      <description>If true, allow saved passwords in the metastore.
      </description>
    </property>
    此种方式在第一次输入密码后，以后再执行就不需要输入密码
   
  2.使用--password-file 指定密码文件，文件可以是本地文件系统，也可以是HDFS文件
  echo -n 'password' > filename.password
  -n 参数表示不换行输出，当你的密码文件格式不正确时，执行job时会报错
  java.sql.SQLException: Access denied for user 'xxx'@'xxxx' (using password: YES)

增量导入

限于篇幅，sqoop全量导入导出，这里就不再介绍
sqoop使用–incremental参数实现增量导入，有俩种模式：append和lastmodified

Append模式

  必须参数：
  		--check-column <column-name> #检查列，sqoop根据指定列来查询出大于last-value值的数据，实现增量导入,可以为自增的列，如id，也可以是自增的时间类型
  		--incremental append #指定append模式
  		--last-value <init-value>
  		此种模式,大于last-value的值会被追加到目标数据中，如果指定的是时间类型，那么之前数据被修改后，时间变动导致的增量会被追加，因此会有数据重复，一般指定自增的id。
  eg:
  sqoop job --create job-id \
  -- import \
  --connect jdbc-url \
  --username username \
  --password-file password-file-path \
  --table table-name \
  --num-mappers 2 \
  --split-by id \
  --hive-import \
  --hive-database db \
  --hive-table table-name \
  --check-column id \
  --incremental append \
  --last-value 0 \

APPEND 模式支持导入到HDFS和Ｈive

Lastmodified模式

lastmodified需要指定一个更新的时间列，会将大于指定时间列的值增量导入到目标数据源，被更新的数据行也会被导入,导入方式又分为append和merge-key俩种模式，需要注意的是，此种增量导入方式不支持直接导入到Hive

  必须参数：
  	--target-dir hdfs-path # HDFS路径
  	--check-column <column-name> #检查列，sqoop根据指定列来查询出大于last-value值的数据，实现增量导入,一般为日期时间类型
  	--incremental  lastmodified #指定lastmodified模式
  	--last-value <init-value>
  	--append 或--merge-key <column> 
  eg:
  sqoop job --create job-id \
  -- import \
  --connect jdbc-url \
  --username username \
  --password-file password-file \
  --table table \
  --columns columns \
  --num-mappers 1 \
  --target-dir target-dir \
  --fields-terminated-by '\t' \
  --check-column check-column \
  --incremental lastmodified \
  --last-value "1970-01-01 08:00:00" \
  --merge-key id

指定append时，更新和新增的数据会被追加到目标数据，指定merge-key时，更新的数据会和之前数据按照指定的key合并生成最新的数据，新增的数据会被追加，指定的key一般为主键,需要注意的是，如果target-dir 目录存在，那么该sqoop job会重新启动一个MapReduce作业按照merge-key更新之前的数据生成新的数据集，新生成的文件数量不受num-mappers参数影响

增量导出

Sqoop 增量导出基于hdfs数据，使用–export-dir指定，实现增量导出的关键是–export-dir 指定路径的数据是否是增量的，可以使用以下方式：
```
  INSERT OVERWRITE TABLE/DIRECTORY 'table_name/directory_anme' SELECT...
```
增量导出也有俩种模式，allowinsert和updateonly，使用–update-mode 参数进行指定，allowinsert模式是对已存在的数据进行更新，新增的数据进行追加，前提是目标表存在主键，updateonly模式（默认）仅允许对存在的数据进行更新，更新指定的key，用–update-key参数指定
```
  必要参数：
  	--update-key <key>
  	--update-mode <allowinsert/updateonly>
  
  eg:
  sqoop export 
  --connect jdbc-url \
  --username username \
  --password password \
  --table <targetTable> \
  --fields-terminated-by ‘,’ \
  --update-key key \
  --update-mode  allowinsert \
  --export-dir export-dir
```