Shuffle 是什么

数据为什么要搬家

当计算需要按新的键、分区或并行度重新组织数据时，数据就可能跨进程或跨机器移动。这个重新分布过程通常会引入序列化、网络、磁盘和下游合并成本。

理解 Shuffle，是阅读 Spark 阶段、分布式 Join 和许多数据处理性能问题的入口。