https://index.zshipu.com/geek001/tags/%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86/ Recent content in 数据处理 on 知识铺的博客 Hugo -- gohugo.io zh-CN Tue, 03 Sep 2024 13:17:40 +0000 https://index.zshipu.com/geek001/post/20240828/Python%E9%AB%98%E6%95%88%E5%A4%84%E7%90%86%E5%A4%A7%E6%95%B0%E6%8D%AE--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 03 Sep 2024 13:17:40 +0000 https://index.zshipu.com/geek001/post/20240828/Python%E9%AB%98%E6%95%88%E5%A4%84%E7%90%86%E5%A4%A7%E6%95%B0%E6%8D%AE--%E7%9F%A5%E8%AF%86%E9%93%BA/ 随着数据量的爆炸性增长，如何在Python中高效地处理大数据成为了许多开发者和数据科学家的关注焦点。Python以其简洁的语法和丰富的库支持，在数据处理领域占据了重要地位。本文将介绍几种在Python中高效处理大数据的常用方法。 目录 1. 使用Pandas进行数据分析 简介 高效处理策略 2. https://index.zshipu.com/geek001/post/20240507/Apache-Spark%E4%BD%9C%E4%B8%BA%E7%8B%AC%E7%AB%8B%E7%BB%9F%E4%B8%80%E6%A1%86%E6%9E%B6%E7%9A%84%E4%BC%98%E7%82%B9%E5%92%8C%E7%BC%BA%E7%82%B9--%E7%9F%A5%E8%AF%86%E9%93%BA/ Thu, 23 May 2024 01:09:53 +0000 https://index.zshipu.com/geek001/post/20240507/Apache-Spark%E4%BD%9C%E4%B8%BA%E7%8B%AC%E7%AB%8B%E7%BB%9F%E4%B8%80%E6%A1%86%E6%9E%B6%E7%9A%84%E4%BC%98%E7%82%B9%E5%92%8C%E7%BC%BA%E7%82%B9--%E7%9F%A5%E8%AF%86%E9%93%BA/ 优点和缺点分别是什么？ 相对于第三方工具，我只能看到好处并希望得到纠正。 根据我的经验，使用 ETL 工具，业务流程被迫以高度受限的方式实现，这种方式具有短期花哨的功能，但通常会以高度抽象的整体代码库结束，该代码库的任何优化都受到第三方供应商的摆布。随着数据量和质量的长期变化，获得表现不佳结 https://index.zshipu.com/geek001/post/20240507/FileBeat%E5%92%8CLogstash%E7%9A%84%E5%AF%B9%E6%AF%94%E4%B8%8E%E7%BB%93%E5%90%88%E4%BD%BF%E7%94%A8--%E7%9F%A5%E8%AF%86%E9%93%BA/ Thu, 23 May 2024 00:52:53 +0000 https://index.zshipu.com/geek001/post/20240507/FileBeat%E5%92%8CLogstash%E7%9A%84%E5%AF%B9%E6%AF%94%E4%B8%8E%E7%BB%93%E5%90%88%E4%BD%BF%E7%94%A8--%E7%9F%A5%E8%AF%86%E9%93%BA/ 1.FileBeat和Logstash的对比 注意：FileBeat是go语言写的，可以直接作为一个可执行程序运行，无需依赖 Java 环境。 Filebeat和Logstash都是Elastic Stack（以前称为ELK Stack）的组件，用于日志文件的处理和转发。它们常常一起使用，但是也可