hive数据的导入导出方式

  • Z时代
  • 2024-01-10
  • 分类：综合

coding

导入方式

1、load方式

load data local inpath 'local_path' into table tb_name;
从本地复制了文件到表的路径下
应用场景：大部分的使用，文件几乎都是默认现在本地的

2、load方式，HDFS
load data inpath 'hdfs_path' into table tb_name;
将文件移动到了表的路径下
应用场景：更适合大数据量的存储

3、load方式，overwrite

load data inpath 'hdfs_path' overwrite into table tb_name;
应用场景：适合一些重复写入的表（临时表），作为一个过渡使用

4、子查询方式，as

create table tb_name as select sql;
应用场景：对于数据查询结果的保存

5、insert方式
传统关系型数据库中，insert是插入一个值
在hive中insert into table后面还是跟一个语句（select语句）
insert into table select sql；
举例：
create table emp_insert like emp;

insert into table emp_insert select * from emp;

6、location
指定一个文件夹，然后将数据导入进去

导出方式

1、insert方式
格式：insert overwrite [local] directory 'path' select sql;
数据导出到本地
insert overwrite local directory '/opt/datas/emp_in01' select * from emp;
-》输出的目标可以提前存在，底层实现的时候，先删除再重新创建
-》指定分隔符
insert overwrite local directory '/opt/datas/emp_in01' row format delimited fields terminated by '\t' select * from emp;
-》HDFS
insert overwrite directory '/emp_insert' select * from emp;
-》注意：上一级的父目录必须存在

2、HDFS SHELL命令 -get
bin/hdfs dfs -get hdfs_path local_path

3、在Linux的命令行使用hive的-e -f参数，将输出重定向保存到本地文件

bin/hive -e "select * from student" > /opt/datas/

4、sqoop方式

如：

bin/sqoop export \
--connect \
jdbc:mysql://hostname:3306/sqoop \
--username root \
--password 123456 \
--table tomysql \
--export-dir /sqoop \
--num-mappers 1 \      --->设置分片个数
--input-fields-terminated-by '\t'   --->设置分隔符

5、hive支持export和import
-》export
export table tb_name to 'hdfs_path'
-》import
import table tb_name from 'hdfs_path'

以上是 hive数据的导入导出方式 的全部内容， 来源链接： utcz.com/z/509050.html

回到顶部