HDFS产生小文件解决

• Z时代
• 2024-01-10
• 分类：综合

使用flume将数据写到HDFS上，出现大量的不到1kb的小文件。

危害：占用NameNode内存   n*150字节  （采用har归档：hadoop archive -archiveName  **.har -p  /输入路径  /输出路径）

　　　 增加切片个数  n个maptask

产生原因：

                  hdfs.rollInterval  30  默认30s产生下一个文件        （优化配置：3600s）

　　　　　或

　　　　　hdfs.rollSize 1024    默认1024节大小产生一个文件      （优化配置：134217728）

　　　　　或

　　　　　hdfs.rollCount  10     默认10条一个文件　　　　　　　　（优化配置：0 【禁止】）

以上是 HDFS产生小文件解决 的全部内容， 来源链接： utcz.com/z/535866.html