首页 2015年11月

2015年11月

  • Spark分区器HashPartitioner详解和扩展

    Spark分区器HashPartitioner详解和扩展

    在Spark中,存在两类分区函数:HashPartitioner和RangePartitioner,它们都是继承自Partitioner,主要提供了每个RDD有几个分区(numPartitions)以及对于给定的值返回一个分区ID(0~numPartitions-1),也就是决定这个值是属于那个分区的。 1 HashPartitioner分区 HashPartitioner分区的原理很简单,对于给定的key,计算其hashCode,并除于分区的个数取余,如果余数小于0,则用余数+分区的个数,最后返回的值就是这个...

    storm 2015-11-30 26 0 storm
1