开发API参考

外部API

Sqoop通过配置自动生成把关系型数据库导入Hadoop系统的类。该类包含导入Hadoop的每个字段。该类的实例保存表的一行数据。生成的类实现Hadoop中使用的序列化Api，即 Writable 和 DBWritable 接口。以及其他方法：

  • 一个解释分隔文本字段的parse()方法
  • 一个toString()方法，用于保留用户选择的分隔符

保证在生成的类中完整的方法在抽象类中指定:org.apache.sqoop.lib.SqoopRecord

SqoopRecord的实例可能依赖于Sqoop的公共API即：org.apache.sqoop.lib.*
Sqoop的客户端不需要直接与这些类中的任何一个进行交互，尽管Sqoop生成的类将依赖于它们。
RecordParser类将使用可控的分隔符和引号字符将一行文本解析为字段列表。
静态FieldFormatter类提供了一种方法，用于处理将在SqoopRecord.toString()实现中使用的字段中的字符的引用和转义
ResultSet和PreparedStatement对象以及SqoopRecords之间的数据编组是通过JdbcWritableBridge完成的。
BigDecimalSerializer包含一对方法，这些方法有助于在Writable接口上序列化BigDecimal对象

开发环境的准备

官方的源码可以进行阅读查看在对其编译比较麻烦，采用的是把集群上的sqoop-1.4.6.2.6.5.0-292.jar来作为依赖开发。

  1. 先把jar文件添加的本地的maven库中。

  2. 在本机的命令行环境运行

 mvn install:install-file -DgroupId=com.ambari.sqoop -DartifactId=sqoop -Dversion=1.4.6 -Dpackaging=jar -Dfile=D:\Develop\repository\sqoop\sqoop-1.4.6.2.6.5.0-292.jar

[外链图片转存失败(img-WnOA45HC-1564577503258)(https://www.github.com/Tu-maimes/document/raw/master/小书匠/1544078894416.png)]

相关参数简介:

属性描述
-DgroupId项目包名
-DartifactId工程名
-Dversion版本号
-Dpackaging表示文件的类型
-Dfile表示所有添加文件的绝对路径
  1. 依赖的pom文件

 		 <dependency>
            <groupId>com.ambari.sqoop</groupId>
            <artifactId>sqoop</artifactId>
            <version>1.4.6</version>
        </dependency>

开发Sqoop插件

Sqoop允许用户开发自己的插件。用户可以将他们的插件开发为单独的jar在$SQOOP_LIB中部署它们并使用Sqoop注册。Sqoop架构也是一个基于插件的架构，并且所有的内部工具（导入，导出，合并等）都是作为插件得到支持。用户可以开发自定义工具插件。一旦部署并注册到Sqoop，这些插件就可以像任何其他内部工具一样工作。运行sqoop help命令时，它们也会在工具中列出。

BaseSqoopTool - 用户定义工具的基类

继承与重写

BaseSqoopTool是所有Sqoop工具的基类。如果要开发自定义工具，则需要从BaseSqoopTool继承工具并重写以下方法：

  • public int run(SqoopOptions options) ：这是该工具的主要方法，并充当自定义工具的执行入口点。
  • public void configureOptions(ToolOptions toolOptions)：配置我们希望接收的命令行参数。您还可以指定所有命令行参数的描述。当用户执行时 sqoop help ，将以该方法提供的信息输出给用户。
  • public void applyOptions(CommandLine in, SqoopOptions out) ：解析所有选项并填充SqoopOptions，它在完成执行期间充当数据传输对象。
  • public void validateOptions(SqoopOptions options) ：提供您的选项所需的任何验证。

支持用户定义自定义选项

Sqoop解析用户传递的参数并存储在SqoopOptions对象中。然后，此对象充当数据传输对象。在运行实际的MapReduce，MapReduce阶段甚至后处理阶段之前，此对象被传递到处理的各个阶段。用户自定义了新的工具就会产生一些新的选项，这些选项不会映射到SqoopOptions类的任何现有成员。用户可以向SqoopOption类添加新成员，这意味着用户必须在sqoop中进行更改并对其进行编译，这对所有用户来说都是不可能的。其他选择是使用extraArgs会员。这是一个字符串数组，其中包含可以直接传递给第三方工具（如mysqldump等）的第三方工具选项。此数组字符串每次都需要解析才能理解参数。支持用户定义工具的自定义选项的最优雅方式是 customToolOptionsmap。这是SqoopOption类的映射成员。开发人员可以解析用户定义的参数，并使用适当的键/值对填充此映射。当SqoopOption对象被传递到处理的各个阶段时，这些值将随时可用，并且每次访问都不需要解析。
示例如下：

  • --hbase-col
  • --hdfs-line-separator
  • --hbase-rowkey-separator
    SqoopOption对象中没有这些选项可用。Tool Developer可以覆盖该applyOptions方法，在此方法中，可以在customToolOptions映射中解析和填充用户选项。完成后，SqoopOption对象可以在整个程序中传递，这些值将可供用户使用。
public static final String HBASE_COL = "hbase-col";
public static final String HDFS_LINE_SEPARATOR = "hdfs-line-separator";
public static final String HBASE_ROWKEY_SEPARATOR = "hbase-rowkey-separator";

下面是解析上述选项并填充customToolOptions映射的示例applyOptions示例：

	@Override
    public void applyOptions(CommandLine in, SqoopOptions out) throws 	SqoopOptions.InvalidOptionsException {
        try {
            Map<String, String> optionsMap = new HashMap<String, String>();
            super.applyOptions(in, out);
            applyHBaseOptions(in, out);
            if (in.hasOption(EXPORT_PATH_ARG)) {
                out.setExportDir(in.getOptionValue(EXPORT_PATH_ARG));
            }
            if (in.hasOption(HDFS_LINE_SEPARATOR)) {
                optionsMap.put(HDFS_LINE_SEPARATOR, in.getOptionValue(HDFS_LINE_SEPARATOR));
            }
            if (in.hasOption(HBASE_COL)) {
                optionsMap.put(HBASE_COL, in.getOptionValue(HBASE_COL));
            }
            if (in.hasOption(HBASE_ROWKEY_SEPARATOR)) {
                optionsMap.put(HBASE_ROWKEY_SEPARATOR, in.getOptionValue(HBASE_ROWKEY_SEPARATOR));
            }
            if (out.getCustomToolOptions() == null) {
                out.setCustomToolOptions(optionsMap);
            }
        } catch (NumberFormatException nfe) {
            throw new SqoopOptions.InvalidOptionsException("Error: expected numeric argument.\n Try --help for usage.");
        }
    }

配置我们希望接收的命令行参数。您还可以指定所有命令行参数的描述。

	@Override
    public void configureOptions(ToolOptions toolOptions) {
        super.configureOptions(toolOptions);
        toolOptions.addUniqueOptions(getHBaseOptions());
        RelatedOptions formatOpts = new RelatedOptions(
                "设置相关mapreduce的参数");
        formatOpts.addOption(OptionBuilder.withArgName("dir")
                .hasArg()
                .withDescription("要导出数据的hdfs地址")
                .withLongOpt(EXPORT_PATH_ARG)
                .create());
        formatOpts.addOption(OptionBuilder.withArgName("char")
                .hasArg()
                .withDescription("hdfs数据的行分隔符")
                .withLongOpt(HDFS_LINE_SEPARATOR)
                .create());
        formatOpts.addOption(OptionBuilder.withArgName("char")
                .hasArg()
                .withDescription("hbase的列簇")
                .withLongOpt(HBASE_COL)
                .create());
        formatOpts.addOption(OptionBuilder.withArgName("char")
                .hasArg()
                .withDescription("hbase的复合rowkey的字段分隔符")
                .withLongOpt(HBASE_ROWKEY_SEPARATOR)
                .create());
        toolOptions.addUniqueOptions(formatOpts);
    }

ToolPlugin插件的基类

开发了Sqoop的扩展工具,你需要使用插件类包装并使用Sqoop注册该插件类。您的插件类应该从org.apache.sqoop.tool.ToolPlugin 和重写getTools()方法扩展 。
示例如下：

import org.apache.sqoop.tool.ToolDesc;
import org.apache.sqoop.tool.ToolPlugin;
import java.util.Collections;
import java.util.List;
public class ExtendHBasePlugin extends ToolPlugin {
    @Override
    public List<ToolDesc> getTools() {
        return Collections
                .singletonList(new ToolDesc("extendHbase", ExtendHBase.class, "HDFS上的数据导入到HBase"));
    }
}

注册用户的自定义插件

  1. 把自定义的jar文件拷贝到相关集群的./Sqoop/lib目录，并在sqoop-site.xml进行注册。
<property>
    <name>sqoop.tool.plugins</name>
    <value>org.apache.sqoop.extend.ExtendHBasePlugin</value>
    <description>A comma-delimited list of ToolPlugin implementations
      which are consulted, in order, to register SqoopTool instances which
      allow third-party tools to be used.
    </description>
  </property>

注册结束后再命令行输入：sqoop help 显示自定义的命令即注册成功。

[外链图片转存失败(img-N13FOIKI-1564577503259)(https://www.github.com/Tu-maimes/document/raw/master/小书匠/1543979172525.png)]

Sqoop脚本示例

sqoop extendHbase \
    --hbase-table mytable \
    --column-family i \
    --hbase-row-key GDDM,GDXM \
    --export-dir /yss/guzhi/interface/gh.tsv \
    --hbase-rowkey-separator _ \
    --hdfs-line-separator \\t \
    --hbase-col GDDM,GDXM,BCRQ,CJBH,GSDM,CJSL,BCYE,ZQDM,SBSJ,CJSJ,CJJG,CJJE,SQBH,BS,MJBH

相关配置的简介

属性描述
extendHbase导出HDFS上的数据到HBase的指令
hbase-table要导入的HBase表名称,需要提前建表不支持自动建表
column-familyHBase表的列簇名称
hbase-row-keyHBase表Rowkey的设置,如果是指定多个列作为RowKey,彼此间的分隔符采用逗号间隔
export-dir要导出的HDFS上的文件
hbase-rowkey-separator如果RowKey采用的是复合列组合的方式的默认采用的分隔符是下划线,可以传递参数替换
hdfs-line-separatorHDFS上的文件数据行的分隔符
hbase-colHBase的列名称与HDFS上的数据列一一对应,彼此之间采用逗号分隔

注意：在设置RowKey时多个字段必须在hbase-col设置中必须包含。

# sqoop
Logo
CSDN学习社区

CSDN联合极客时间，共同打造面向开发者的精品内容学习社区，助力成长！

更多推荐

嵌入式作业（七）：基于Ardunio的STM32串口通信

嵌入式作业（七）0作业要求1Ardunio 完成STM32的串口通信（1）安装Ardunio IDE（2）stm32串口通信2关于 stduino IDE0作业要求安装 Ardunio IDE 和相关软件支持库，在Ardunio 完成STM32板子的串口通信程序：（1）持续向串口输出“Hello world！”；（2）当接收到“stop!”时，停止输出。网上有一个国人版的MCU集成开发平台， st

avatar CSDN学习社区

JDBC详解

JDBC文章目录JDBC什么是JDBC?JDBC驱动程序:Java使用JDBC访问数据库的步骤:设置classpath:Oracle连接字符串的书写格式:简单的例子:常用数据库的驱动程序及JDBC URL:Oracle数据库:SQL Server数据库MySQL数据库Access数据库PreparedStatement接口:JNDI-数据源（Data Source）与连接池（Connection

avatar CSDN学习社区

“模式识别与机器学习”学习笔记no2.再谈感知机

接**上篇：上篇主要进行了PLA，Pocket算法的理论过程分析和在给定数据集上利用pocket算法对数据集进行分类学习，得到错分数量最少的分类面。上篇中pocket算法的过程已经进行了编程和测试，框架已经建立了起来，这一篇主要上篇中没有提到或涉及不深的几个问题。1.数据集的构造。上篇是直接使用了题目给的向量，这次来根据正态分布来产生数据集。np.random.normal函数可以根据均值和方差生

avatar CSDN学习社区