标签为 "hdfs" 的存档

[Hadoop]The number of tasks for this job 312292 exceeds the configured limit 250000

hadoop提交任务时提示:The number of tasks for this job 312292 exceeds the configured limit 250000.
出现这个错误时, 需要修改每个任务的限制的task数。
在streaming模式下,需要添加一个配置,大于自己所需的任务数(312292)即可:

-D mapred.jobtracker.maxtasks.per.job=320000