通过Java API从远程主机访问HDFS，进行用户身份验证

  • Z时代
  • 2024-01-10
  • 分类：问答

我需要通过Java

API从远程桌面使用HDFS集群。一切正常，直到进行写访问。如果我尝试创建任何文件，则会收到访问权限异常。路径看起来不错，但异常表明我的远程桌面用户名当然不是访问所需HDFS目录所需要的。

问题是：-是否可以使用Java API中的“简单”身份验证来表示不同的用户名？-您能否在hadoop / HDFS中为Java

API示例提供一些关于认证/授权方案的良好解释？

是的，我已经知道在这种情况下可以使用shell别名重载“

whoami”，但是我更喜欢避免这种解决方案。另外，这里的细节是我不喜欢使用某些技巧，例如通过SSH和脚本进行管道传输。我想仅使用Java

API来执行所有操作。先感谢您。

回答：

经过研究后，我得出以下解决方案：

  • 我实际上并不需要完整的Kerberos解决方案，当前客户端足以运行任何用户的HDFS请求就足够了。环境本身被认为是安全的。

  • 这为我提供了基于hadoop UserGroupInformation类的解决方案。将来我可以扩展它以支持Kerberos。

示例代码可能对“伪认证”和远程HDFS访问的人有用：

package org.myorg;
import java.security.PrivilegedExceptionAction;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.security.UserGroupInformation;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileStatus;
public class HdfsTest {
    public static void main(String args[]) {
        try {
            UserGroupInformation ugi
                = UserGroupInformation.createRemoteUser("hbase");
            ugi.doAs(new PrivilegedExceptionAction<Void>() {
                public Void run() throws Exception {
                    Configuration conf = new Configuration();
                    conf.set("fs.defaultFS", "hdfs://1.2.3.4:8020/user/hbase");
                    conf.set("hadoop.job.ugi", "hbase");
                    FileSystem fs = FileSystem.get(conf);
                    fs.createNewFile(new Path("/user/hbase/test"));
                    FileStatus[] status = fs.listStatus(new Path("/user/hbase"));
                    for(int i=0;i<status.length;i++){
                        System.out.println(status[i].getPath());
                    }
                    return null;
                }
            });
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

有类似问题的人的有用参考：

  • Cloudera博客文章“ Hadoop中的授权和身份验证 ”。简而言之，集中于对Hadoop安全方法的简单说明。没有特定于Java API解决方案的信息，但是有助于基本了解问题。

更新：

对于那些不需要本地用户而使用命令行hdfs或hadoop实用程序的用户的替代方法：

 HADOOP_USER_NAME=hdfs hdfs fs -put /root/MyHadoop/file1.txt /

实际上，您是根据本地权限读取本地文件的，但是在HDFS上放置文件时，您将像user一样经过身份验证hdfs。

这具有与所示的API代码非常相似的属性：

  1. 您不需要sudo。

  2. 您实际上不需要适当的本地用户“ hdfs”。

  3. 由于之前的要点，您不需要复制任何内容或更改权限。

以上是 通过Java API从远程主机访问HDFS，进行用户身份验证 的全部内容， 来源链接： utcz.com/qa/428841.html

回到顶部