一、Sqoop 安装

Sqoop 是一个用于将关系数据库中的数据导入 Hadoop 或从 Hadoop 中导出到关系数据库的工具。它是一个开源的工具,目前支持 Apache Hadoop 和 Hive 0.7.0 或更高版本。Sqoop 是 Apache 的一个子项目,基于 Apache License v2.0 发布。

二、Sqoop 安装配置

1、首先,将 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 解压到指定目录,例如 /usr/local/sqoop/。

tar -xzvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local/sqoop/
Bash

2、设置环境变量,将 sqoop 的 bin 目录添加到 PATH 变量中。

export PATH=$PATH:/usr/local/sqoop/bin
Bash

3、配置 sqoop-env.sh,修改 HADOOP_COMMON_HOME 变量,指向 Hadoop 安装目录。

export HADOOP_COMMON_HOME=/usr/local/hadoop
Bash

4、检查 Sqoop 是否安装成功,在命令行窗口输入 sqoop version,如果看到 Sqoop 的版本信息,则说明安装成功。

sqoop version
Bash

三、Sqoop 使用

1、建立 MySQL 数据库,创建表,插入测试数据。

CREATE DATABASE sqoop_test;USE sqoop_test;CREATE TABLE user(id INT, name VARCHAR(20), age INT);INSERT INTO user VALUES(1, 'Tom', 20);INSERT INTO user VALUES(2, 'Bob', 30);
SQL

2、使用 sqoop 从 MySQL 数据库中导入数据到 Hadoop 中。

sqoop import --connect jdbc:mysql://localhost/sqoop_test --username root --password root --table user --target-dir /user/hadoop/sqoop_test/user
Bash

3、查看 Hadoop 中的数据,可以看到导入的数据。

hadoop fs -ls /user/hadoop/sqoop_test/user
Bash