问题：简单说一下hadoop和spark的shuffle过程
出题人：京东出题专家：阿昀/京东数据中台
参考答案：
Hadoop：map端保存分片数据，通过网络收集到reduce端。
Spark：spark的shuffle实在DAGSchedular划分Stage的时候产生的，TaskSchedular要分发Stage到各个worker的executor。减少shuffle可以提高性能。
- 原文作者：知识铺
- 原文链接：https://index.zshipu.com/geek/post/%E9%9D%A2%E8%AF%95/08.%E4%BA%AC%E4%B8%9C%E7%AF%87/%E7%AE%80%E5%8D%95%E8%AF%B4%E4%B8%80%E4%B8%8Bhadoop%E5%92%8Cspark%E7%9A%84shuffle%E8%BF%87%E7%A8%8B/
- 版权声明：本作品采用知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议进行许可，非商业转载请注明出处（作者，原文链接），商业转载请联系作者获得授权。
- 免责声明：本页面内容均来源于站内编辑发布，部分信息来源互联网，并不意味着本站赞同其观点或者证实其内容的真实性，如涉及版权等问题，请立即联系客服进行更改或删除，保证您的合法权益。转载请注明来源，欢迎对文章中的引用来源进行考证，欢迎指出任何有错误或不够清晰的表达。也可以邮件至 sblig@126.com
