hive学习笔记之九：基础UDF

  • Z时代
  • 2024-01-10
  • 分类：综合

编程

欢迎访问我的GitHub

https://github.com/zq2599/blog_demos

内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；

《hive学习笔记》系列导航

  1. 基本数据类型

  2. 复杂数据类型

  3. 内部表和外部表

  4. 分区表

  5. 分桶

  6. HiveQL基础

  7. 内置函数

  8. Sqoop

  9. 基础UDF

  10. 用户自定义聚合函数(UDAF)

  11. UDTF

本篇概览

  • 本文是《hive学习笔记》的第九篇，前面学习的内置函数尽管已经很丰富，但未必能满足各种场景下的个性化需求，此时可以开发<font color="blue">用户自定义函数</font>（User Defined Function，UDF），按照个性化需求自行扩展；

  • 本篇内容就是开发一个UDF，名为<font color="blue">udf_upper</font>，功能是将字符串字段转为全大写，然后在hive中使用这个UDF，效果如下图红框所示：

  • 本篇有以下章节：

  1. 开发

  2. 部署和验证（临时函数）

  3. 部署和验证（永久函数）

源码下载

  1. 如果您不想编码，可以在GitHub下载所有源码，地址和链接信息如下表所示：

名称

链接

备注

项目主页

https://github.com/zq2599/blog_demos

该项目在GitHub上的主页

git仓库地址(https)

https://github.com/zq2599/blog_demos.git

该项目源码的仓库地址，https协议

git仓库地址(ssh)

git@github.com:zq2599/blog_demos.git

该项目源码的仓库地址，ssh协议

  1. 这个git项目中有多个文件夹，本章的应用在<font color="blue">hiveudf</font>文件夹下，如下图红框所示：

开发

  1. 新建名为<font color="blue">hiveudf</font>的maven工程，pom.xml内容如下，有两处需要关注的地方，接下来马上讲到：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.bolingcavalry</groupId>
    <artifactId>hiveudf</artifactId>
    <version>1.0-SNAPSHOT</version>
    <dependencies>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>1.2.2</version>
            <scope>provided</scope>
            <exclusions>
                <exclusion>
                    <groupId>org.pentaho</groupId>
                    <artifactId>pentaho-aggdesigner-algorithm</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.7</version>
            <scope>provided</scope>
        </dependency>
    </dependencies>
</project>

  1. 上述pom.xml中，两个依赖的<font color="blue">scope</font>为<font color="red">provided</font>，因为这个maven工程最终只需要将咱们写的java文件构建成jar，所以依赖的库都不需要；

  2. 上述pom.xml中排除了<font color="blue">pentaho-aggdesigner-algorithm</font>，是因为从maven仓库下载不到这个库，为了能快速编译我的java代码，这种排除的方式是最简单的，毕竟我用不上（另一种方法是手动下载此jar，再用maven install命令部署在本地）；

  3. 创建Upper.java，代码如下非常简单，只需存在名为<font color="blue">evaluate</font>的public方法即可：

package com.bolingcavalry.hiveudf.udf;
import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.hive.ql.exec.UDF;
public class Upper extends UDF {
    /**
     * 如果入参是合法字符串，就转为小写返回
     * @param str
     * @return
     */
    public String evaluate(String str) {
        return StringUtils.isBlank(str) ? str : str.toUpperCase();
    }
}

  1. 编码已完成，执行<font color="blue">mvn clean package -U</font>编译构建，在target目录下得到<font color="red">hiveudf-1.0-SNAPSHOT.jar</font>文件；

  2. 接下来将咱们做好的UDF部署在hive，验证功能是否正常；

部署和验证（临时函数）

  1. 如果希望UDF只在本次hive会话中生效，可以部署为临时函数，下面是具体的步骤；

  2. 将刚才创建的<font color="red">hiveudf-1.0-SNAPSHOT.jar</font>文件下载到hive服务器，我这边路径是<font color="blue">/home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar</font>；

  3. 开启hive会话，执行以下命令添加jar：

add jar /home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar;

  1. 执行以下命令创建名为<font color="blue">udf_upper</font>的临时函数：

create temporary function udf_upper as "com.bolingcavalry.hiveudf.udf.Upper";

  1. 找一个有数据并且有string字段的表（我这是student表，其name字段是string类型），执行以下命令：

select name, udf_upper(name) from student;

  1. 执行结果如下，红框中可见<font color="blue">udf_upper</font>函数将<font color="red">name</font>字段转为大写：

  1. 这个UDF只在当前会话窗口生效，当您关闭了窗口此函数就不存在了；

  2. 如果您想在当前窗口将这个UDF清理掉，请依次执行以下两个命令：

drop temporary function if exists udf_upper;
delete jar /home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar;

  1. 删除后再使用<font color="blue">udf_upper</font>会报错：

hive> select name, udf_upper(name) from student;
FAILED: SemanticException [Error 10011]: Line 1:13 Invalid function "udf_upper"

部署和验证（永久函数）

  1. 前面体验了临时函数，接下来试试如何让这个UDF永久生效(并且对所有hive会话都生效)；

  2. 在hdfs创建文件夹：

/home/hadoop/hadoop-2.7.7/bin/hadoop fs -mkdir /udflib

  1. 将jar文件上传到hdfs：

/home/hadoop/hadoop-2.7.7/bin/hadoop fs -put /home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar /udflib/

  1. 在hive会话窗口执行以下命令，使用hdfs中的jar文件创建函数，要注意的是jar文件地址是hdfs地址，一定不要漏掉<font color="red">hdfs:</font>前缀：

create function udf_upper as "com.bolingcavalry.hiveudf.udf.Upper"
using jar "hdfs:///udflib/hiveudf-1.0-SNAPSHOT.jar";

  1. 试一下这个UDF，如下图，没有问题：

6. 新开hive会话窗口尝试上述sql，依旧没有问题，证明UDF是永久生效的；

  • 至此，咱们已经对hive的UDF的创建、部署、使用都有了基本了解，但是本篇的UDF太过简单，只能用在一进一出的场景，接下来的文章咱们继续学习多进一出和一进多出。

你不孤单，欣宸原创一路相伴

  1. Java系列

  2. Spring系列

  3. Docker系列

  4. kubernetes系列

  5. 数据库+中间件系列

  6. DevOps系列

欢迎关注公众号：程序员欣宸

微信搜索「程序员欣宸」，我是欣宸，期待与您一同畅游Java世界... https://github.com/zq2599/blog_demos

以上是 hive学习笔记之九：基础UDF 的全部内容， 来源链接： utcz.com/z/519588.html

回到顶部