https://index.zshipu.com/geek/tags/%E7%88%AC%E8%99%AB/ Recent content in 爬虫 on 知识铺的博客 Hugo -- gohugo.io zh-CN Sun, 26 Sep 2021 20:03:10 +0800 https://index.zshipu.com/geek/post/crawler/%E5%85%B3%E9%94%AE%E8%AF%8D%E5%BA%93-Go%E4%B8%AD%E4%BD%BF%E7%94%A8%E7%88%AC%E8%99%AB%E6%A1%86%E6%9E%B6/ Sun, 26 Sep 2021 20:03:10 +0800 https://index.zshipu.com/geek/post/crawler/%E5%85%B3%E9%94%AE%E8%AF%8D%E5%BA%93-Go%E4%B8%AD%E4%BD%BF%E7%94%A8%E7%88%AC%E8%99%AB%E6%A1%86%E6%9E%B6/ 简介 本项目基于golang开发，是一个开放的垂直领域的爬虫框架，框架中将各个功能模块区分开，方便使用者重新实现子模块，进而构建自己垂直方方向的爬虫。 本项目将爬虫的各个功能流程区分成Spider模块（主控），Downloader模块（下载器），PageProcesser模块（页面分