如何确保任务失败时不影响整体计算？

HadoopMapReduce通过多层级机制保障集群可靠性，其核心设计包含以下关键策略：

1.数据冗余存储

HDFS将数据块默认复制3份，分布于不同节点。若某节点故障，系统自动从副本读取数据，避免计算中断。

2.任务动态重分配

• Map任务：若执行失败，系统重新分配该任务至其他节点，直至成功完成。
• Reduce任务：采用“投机执行”机制，对延迟任务并行启动备份副本，取最早完成结果。

3.心跳检测与故障隔离

• 节点监控：JobTracker定期检查TaskTracker心跳，超时节点标记为“黑名单”，任务自动迁移。
• 资源隔离：通过YARN动态分配资源，避免单点故障扩散。

4.日志与状态持久化

• 任务日志：存储于HDFS，供故障后分析原因。
• 检查点机制：Reduce阶段定期保存中间结果，失败时从最近检查点恢复。

5.容错设计对比

技术延伸：MapReduce的容错机制与Spark的内存计算容错（如血缘关系重建）形成对比，前者更依赖磁盘冗余，适合离线批处理场景。

（注：本文内容基于公开技术文档整理，不涉及商业敏感信息。）