https://index.zshipu.com/geek/tags/Stage/ Recent content in Stage on 知识铺的博客 Hugo -- gohugo.io zh-CN Tue, 15 Mar 2022 03:10:35 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AE%BD%E4%BE%9D%E8%B5%96%E7%AA%84%E4%BE%9D%E8%B5%96%E6%80%BB%E7%BB%93/ Tue, 15 Mar 2022 03:10:35 +0800 https://index.zshipu.com/geek/post/%E4%BA%92%E8%81%94%E7%BD%91/%E5%AE%BD%E4%BE%9D%E8%B5%96%E7%AA%84%E4%BE%9D%E8%B5%96%E6%80%BB%E7%BB%93/ 宽依赖与窄依赖 窄依赖（narrow dependency）和宽依赖（wide dependency, 也称 shuffle dependency）. 窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用， 子RDD分区通常对应常数个父RDD分区(O(1)，与数据规模无关), map/filter和union 相应的，宽依赖是