HDFS副本放置策略

一、Rack机架

一般情况下，一台机架大概如下配置：

• 1台刀片机
• 256G内存
• 56物理核
• 4块500G ssd 10块
• 1T/块 机械硬盘 1W转
• 2颗GPU（不是cpu）用于数据挖掘

二、副本放置策略

假设有一份数据，三副本

• 第一个副本：在DataNode数据节点提交时，第一个块是本地节点，目的是节省了本地资源，占用了更少的带宽，如果是在集群外提交，则随机挑选一台磁盘不太慢，CPU不太忙的节点上；
• 第二个副本：放置在与第一个副本不同的机架的节点上；
• 第三个副本：与第二个副本相同机架的不同节点上；
• 若有更多副本，随机放在节点中