养生 装修 购物 美食 感冒 便秘 营销 加盟 小吃 火锅 管理 创业 搭配 减肥 培训 旅游

sqoop如何导入数据到hive

时间:2024-11-02 22:33:25

通过Sqoop将关系型数据库数据到Hive有两种方式,缬方焱蜱一种是SqoopAPI,一种是使用HCat锾攒揉敫alogAPI。Sqoopapi支持的数据格式少,HCatalogapi支持的格式多,比如Sqoop方式不支持ORC格式的表,但是HCatalog支持。下面小编为大家分享两种导入方式的步骤代码。

sqoop如何导入数据到hive

工具/原料

演示程序:sqoophive

应用:分布式计算/hadoop

方法/步骤

1、首先演示HCatalogapi,导入代码如下。

sqoop如何导入数据到hive

2、或者如下图所示代码写法,源表和目标表字段名需要相同。

sqoop如何导入数据到hive

3、字段名不同,会产生报错NullPointerException。

sqoop如何导入数据到hive

4、没有sqoop的可以先下载sqoop安装包,安装方法见第二小节。

sqoop如何导入数据到hive

5、Sqoop方式参考命令,如下图命令。

sqoop如何导入数据到hive

6、用–query实现简单的数据抽取的方式。

sqoop如何导入数据到hive

7、要带where$CONDITIONS,否则会报错。

sqoop如何导入数据到hive

8、用上诉方法导入完成。完成后可用下图命令查看数据文件。

sqoop如何导入数据到hive

sqoop安装方法:

1、解压sqoop安装包到指定的目录。

sqoop如何导入数据到hive

2、进入sqoop的conf目录,复制sqoop-env-template.sh。

sqoop如何导入数据到hive

3、编辑sqoop-env.sh文件,路径要根据具体位置填写。

sqoop如何导入数据到hive

4、输入bin命令验证一下,显示下图为安装配置成功。

sqoop如何导入数据到hive

© 一点知识