在Hadoop中更改文件拆分大小
我在HDFS目录中有一堆小文件。尽管文件 较小，
。也就是说，一个64mb文件（它是的默认拆分大小）TextInputFormat甚至需要几个小时才能处理。
我需要做的是 ，以便我可以 来完成工作。
所以问题是，怎么可能通过说来分割文件10kb？我需要实现我自己InputFormat和RecordReader这一点，或有任何参数设置？谢谢。
回答：
可以针对每个作业单独设置的参数。不要更改，
因为这对于HDFS是全局的，并且可能导致问题。
以上是 在Hadoop中更改文件拆分大小 的全部内容， 来源链接： utcz.com/qa/397432.html
