java读取HDFS压缩文件乱码

Z时代
2024-01-10
分类：综合

java

java通过调用HDFS系统的FileSystem等API 直接读取HDFS的压缩文件会产生乱码

解决方法：

1.调用解码的API，解码后通过IO流处理。

public static void main(String[] args) throws IOException {　　　　　
　　　　　Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        boolean tag=fs.exists(new Path(args[0]));
        String ftag=tag?"exist":"not exist";
        logger.info("===>the HDFS File :"+ args[0] +"is "+ftag);
        InputStream in=fs.open(new Path(args[0]));
　　　　//核心转换部分
        CompressionCodecFactory factory = new CompressionCodecFactory(conf);  
        CompressionCodec codec = factory.getCodec(new Path(args[0])); 
        CompressionInputStream compin=codec.createInputStream(in);
        BufferedReader br= new BufferedReader(new InputStreamReader(compin));
        String line="";
        while((line=br.readLine())!=null){
           //TODO
        }
        //TODO 关闭流
}