Sqoop导入

Sqoop是一个用于在Apache Hadoop生态系统中传输数据的开源工具。它支持从传统的关系型数据库中导入数据到Hadoop的分布式文件系统(HDFS)，也可以将数据导入到Hadoop的分布式列式存储系统(HBase)。

安装

在使用Sqoop之前，需要先安装Sqoop。

安装Java

Sqoop是基于Java开发的，因此需要先安装Java。可以使用以下命令检查是否安装有Java：

java -version

如果没有安装Java，可以使用以下命令在Ubuntu上安装：

sudo apt update
sudo apt install default-jre
sudo apt install default-jdk

安装Sqoop

Sqoop可以从官方网站下载安装包，也可以使用以下命令在Ubuntu上安装：

sudo apt install sqoop

导入数据

在导入数据之前，需要先创建相应的数据库和表。可以使用以下SQL语句在MySQL中创建示例数据库和表：

CREATE DATABASE IF NOT EXISTS test;
USE test;

CREATE TABLE IF NOT EXISTS users (
    id INT NOT NULL AUTO_INCREMENT,
    name VARCHAR(50),
    age INT,
    PRIMARY KEY (id)
);

INSERT INTO users (name, age) VALUES
    ('Alice', 23),
    ('Bob', 25),
    ('Charlie', 27),
    ('Dave', 29);

导入到HDFS

可以使用以下命令将MySQL中的数据导入到HDFS中：

sqoop import \
--connect jdbc:mysql://localhost/test \
--username root \
--password password \
--table users \
--target-dir /user/hadoop/users

其中，connect参数指定数据库连接URL，username参数指定数据库用户名，password参数指定数据库密码，table参数指定要导入的表，target-dir参数指定导入数据的目录。

导入到HBase

可以使用以下命令将MySQL中的数据导入到HBase中：

sqoop import \
--connect jdbc:mysql://localhost/test \
--username root \
--password password \
--table users \
--hbase-table users \
--column-family info \
--hbase-create-table \
--hbase-row-key id

其中，hbase-table参数指定将数据导入到的HBase表，column-family参数指定列族，hbase-create-table参数指定如果HBase表不存在，则创建表，hbase-row-key参数指定行键。

总结

以上介绍了Sqoop的安装和使用，可以用于将关系型数据库中的数据导入到Hadoop生态系统中的分布式存储系统。Sqoop还支持将数据导出到关系型数据库中，是一个功能强大、易于使用的数据传输工具。