“`比如说作业中大部分都完成了，但是总有几个reduce一直在运行 这是因为这几个reduce中的处理的数据要远远大于其他的reduce，可能是因为对键值对任务划分的不均匀造成的数据倾斜 解决的方法可以在分区的时候重新定义分区规则对于value数据很多的key可以进行拆分、均匀打散等处理，或者是在map端的combiner中进行数据预处理的操作 “` Was this helpful? YesNo 0 / 0 上一篇: 简单说一下hadoop和spark的shuffle过程 下一篇: 为什么要用flume导入hdfs，hdfs的构架是怎样的 发表回复 取消回复0 Your email address will not be published. 在此浏览器中保存我的显示名称、邮箱地址和网站地址，以便下次评论时使用。